Será a IA mais perigosa que a bomba atômica?

Jonathan Tennenbaum*

Não devemos restringir o desenvolvimento da IA, mas limitar a proliferação de sistemas de IA em todas as esferas de atividades humanas

O surpreendente desempenho recente dos chamados “grandes modelos de linguagem”, com destaque para a série ChatGPT da OpenAI, tem suscitado expectativas de que sistemas capazes de igualar as capacidades cognitivas dos seres humanos, ou mesmo possuir inteligência “sobre-humana”, possam tornar-se realidade em breve.

Ao mesmo tempo, especialistas em inteligência artificial têm alertado sobre os perigos que um desenvolvimento descontrolado da IA representaria para a sociedade, ou mesmo para a sobrevivência da própria raça humana.

Será isso mero exagero, como o que tem cercado a IA por mais de meio século? Ou há de fato uma necessidade urgente de medidas para controlar o desenvolvimento da IA, mesmo ao custo de impedir o progresso neste campo revolucionário?

Em 22 de março deste ano, foi divulgada uma carta aberta inicialmente assinada por centenas de especialistas em inteligência artificial e personalidades destacadas como Elon Musk, alertando para o problema e pedindo uma moratória imediata de seis meses ao treinamento de sistemas de IA mais poderosos que o GPT-4.

Justificando tal necessidade, o documento argumenta:

“A IA avançada pode representar uma mudança profunda na história da vida na Terra e deve ser planejada e administrada com cuidado e recursos adequados. Infelizmente, esse nível de planejamento e administração não está acontecendo, mesmo que os últimos meses tenham visto laboratórios de IA travados em uma corrida descontrolada para desenvolver e implantar mentes digitais cada vez mais poderosas, que ninguém – nem mesmo os seus criadores – pode entender, prever ou controlar de forma confiável.

“Devemos perguntar-nos: deveríamos deixar que as máquinas inundem os nossos canais de informação com propaganda e inverdades? Deveríamos automatizar todos os trabalhos, incluindo os satisfatórios? Deveríamos desenvolver mentes não humanas que, eventualmente, possam superar-nos em número, inteligência, tornar-nos obsoletos e substituir-nos? Devemos arriscar perder o controle da nossa civilização?”

Eliezer Yudkowsky, amplamente considerado um dos fundadores do campo da inteligência artificial, foi ainda mais longe em um artigo publicado na revista Time, intitulado “Pausar desenvolvimentos de IA não é suficiente. Precisamos encerrar tudo”: “Essa moratória de seis meses seria melhor do que nenhuma moratória… Eu me abstive de assinar, porque acho que a carta está subestimando a gravidade da situação (…).”

Muitos pesquisadores envolvidos nessas questões, eu inclusive, esperam que o resultado mais provável da construção de uma IA sobrehumanamente inteligente, em qualquer coisa remotamente parecida com as circunstâncias atuais, é que literalmente todos na Terra morrerão. Não como em “talvez, possivelmente, alguma chance remota”, mas como em “essa é a coisa óbvia que aconteceria”.

O exemplo da bomba de hidrogênio

O espetáculo de cientistas de IA pedindo uma pausa ou, mesmo, a cessação do trabalho que avança rapidamente no seu próprio campo, não pode deixar de recordar-nos da história das armas nucleares.

O espantoso poder destrutivo da bomba atômica, tornada possível pela pesquisa científica, motivou a famosa observação de Einstein: “Ach! O mundo não está pronto para isso.”

Em 1949, alguns dos principais físicos nucleares e outros veteranos do projeto da bomba atômica durante a guerra se recusaram a participar do projeto de desenvolvimento de dispositivos baseados em fusão (“bombas de hidrogênio”), cuja liberação de energia poderia ser mil vezes ou mais superior à das bombas atômicas baseadas na fissão do átomo.

O Comitê Consultivo Geral da Comissão de Energia Atômica dos EUA era liderado por Robert Oppenheimer (muitas vezes considerado o “Pai da Bomba Atômica”) e integrado por Enrico Fermi, I.I. Rabi, James B. Conant, Lee A. DuBridge, Oliver A. Buckley, Glenn Seaborg, Hartley Rowe e Cyril Stanley Smith.

Em sua reunião final, em 30 de outubro de 1949, o comitê sugeriu que não se prosseguisse com o desenvolvimento da bomba de hidrogênio, afirmando que, com a decisão, “vemos uma oportunidade única de fornecer pelo exemplo algumas limitações à totalidade da guerra e, assim, limitar o medo e despertar as esperanças da humanidade”.

A maioria compartilhava a opinião de que a bomba de hidrogênio ameaçava o próprio futuro da raça humana: “Acreditamos que uma superbomba nunca deveria ser produzida. A humanidade estaria muito melhor se não tivesse uma demonstração da viabilidade de tal arma até que haja uma mudança no atual clima de opinião mundial.”

Em separado, Fermi e Rabi afirmaram: “O fato de não existirem limites para a destrutividade dessa arma torna a sua própria existência e o conhecimento de sua construção um perigo para a humanidade como um todo. É necessariamente uma coisa ruim, se considerada sob qualquer ângulo.” (Seaborg faltou à reunião e nenhum voto foi registrado para ele.)

Porém, o presidente Harry Truman passou por cima do comitê e o resto é história.

Claro, não se deve esquecer que, ao lado de suas aplicações militares, a energia atômica, na forma de reatores de fissão, trouxe enormes benefícios para a humanidade. A energia de fusão, embora liberada pela primeira vez sob a forma descontrolada da bomba de hidrogênio, promete benefícios ainda maiores.

“Inteligência artificial geral”

O mesmo argumento vale para as formas avançadas de IA.

Suponho que o análogo da bomba de hidrogênio, no domínio da inteligência artificial, seria a criação de dispositivos de “inteligência artificial geral” (IAG), que possuiriam todas as capacidades da mente humana e até as excederiam em algumas ordens de grandeza.

Os observadores divergem muito em suas opiniões sobre quando a meta da IAG possa ser alcançada. Alguns especialistas em IA afirmam que a IAG será alcançada em um futuro próximo, enquanto outros a consideram uma perspectiva muito remota, se não impossível.

Eu mesmo acredito, como já escrevi neste boletim (ver a série de artigos do autor publicados no Alerta Científico e Ambiental, entre 02/07/2020 e 05/11/2020), que uma IAG baseada nas tecnologias dos computadores digitais é impossível em princípio.

Esta conclusão é suportada pelos resultados de Kurt Gödel – posteriormente elaborados por outros – sobre as limitações fundamentais de qualquer sistema que seja equivalente a uma máquina de Turing. Isto se aplica em particular a todos os computadores digitais.

Como argumentei em outro artigo, minha opinião é ainda mais fortalecida pelo fato de que o funcionamento dos neurônios no cérebro humano não tem praticamente nada em comum com o funcionamento dos elementos de comutação “liga-desliga” que constituem a base dos computadores digitais. Um único neurônio é muitas ordens de magnitude mais complexo, como sistema físico, do que qualquer computador digital que possamos esperar construir em um futuro previsível. Acredito que a complexidade estonteante dos neurônios reais, que são células vivas e não elementos inertes de comutação, é essencial para a inteligência humana.

Tudo isso dito, no entanto, a principal mensagem do presente artigo é esta: é crucial perceber que os sistemas de IA não precisariam estar próximos da IAG – ou mesmo ser como a IAG – para que possam constituir uma séria ameaça à sociedade.

Quando o “aprendizado profundo” corre frouxo

Considerem o seguinte cenário: sistemas de IA, operando com base em “aprendizado profundo” (deep learning), gradualmente, adquirem capacidades para manipular seres humanos por meio de condicionamento psicológico e modificação comportamental. Tais sistemas, dado o acesso em larga escala à população, podem de fato assumir o controle da sociedade. Dado o comportamento frequentemente imprevisível dos sistemas baseados em aprendizado profundo, tal situação pode ter consequências catastróficas.

Não estamos tão longe desse cenário como se pode pensar.

Na variante mais simples, a liderança de uma nação implantaria deliberadamente uma rede de sistemas de IA com capacidade de modificação comportamental, na mídia, no sistema educacional e em outros lugares, para “otimizar” a sociedade. Este processo pode funcionar de início, mas logo fica fora de controle, levando ao caos e ao colapso.

Os desenvolvimentos que levam ao controle da IA sobre a sociedade também podem surgir independentemente das intenções humanas – por meio da atividade “espontânea” de sistemas de IA em rede com acesso suficiente à população e possuindo (ou adquirindo gradualmente) capacidades de modificação comportamental.

Como exemplo, muitos aplicativos de IA são explicitamente otimizados para modificar o comportamento humano, caso dos chatbots usados em psicoterapia. Em muitos outros casos, como na educação infantil, os aplicativos de IA têm fortes efeitos modificadores de comportamento.

Como qualquer outra tecnologia, cada aplicativo de IA tem os seus benefícios, bem como riscos potenciais. De um modo geral, hoje em dia, o desempenho desses sistemas ainda pode ser supervisionado por seres humanos. Porém, uma dimensão completamente diferente de risco surge quando eles são integrados em grandes “supersistemas”.

Para evitar mal-entendidos, não estou atribuindo aos sistemas de IA alguma misteriosa “vontade” ou “desejo” de dominar a sociedade. Estou apenas sugerindo que um cenário de uma sociedade controlada por IA pode se desenvolver como uma consequência não intencional da crescente integração desses sistemas e dos critérios de otimização e métodos de treinamento, nos quais se baseiam os sistemas de aprendizado profundo.

Em primeiro lugar, não é necessária uma inteligência semelhante à humana para se manipularem seres humanos. Isto pode ser feito até mesmo por dispositivos bastante primitivos, fato bem estabelecido muito antes do advento da IA, inclusive, por meio de experimentos de psicólogos behavioristas.

O desenvolvimento da IA abriu uma dimensão completamente nova. A respeito disto, vale a pena ler um artigo do conhecido especialista em IA Lance Eliot recentemente publicado na revista Forbes, no qual ele expõe com alguns detalhes várias maneiras pelas quais os chatbots e outros aplicativos de IA podem manipular psicologicamente as pessoas, mesmo quando esta não era a intenção.

Por outro lado, a modificação mental e comportamental deliberada por sistemas de IA é um campo em rápido crescimento e com aplicação contínua em diversos contextos.

Exemplos vêm facilmente à mente. Dezenas de bilhões de dólares têm sido investidos no uso de IA para publicidade e marketing – atividades que, por sua própria essência, envolvem manipulação psicológica e criação de perfis.

Em outra direção, a educação assistida por IA de crianças e adultos – exemplificada por sistemas avançados de E-learning baseados em IA – também pode ser vista como uma forma de modificação comportamental. De fato, as aplicações da IA no campo da educação tendem a se basear em modelos behavioristas de aprendizagem humana. Os sistemas avançados de ensino de IA são projetados para otimizar as respostas e os resultados de desempenho da criança, traçando o seu perfil individual, avaliando o seu progresso em tempo real e adaptando as suas atividades de acordo.

Outro exemplo é a proliferação de chatbots de IA que visam ajudar as pessoas a abandonar o fumo ou as drogas, a se exercitarem adequadamente ou a adotar hábitos mais saudáveis.

Ao mesmo tempo, os chatbots de IA estão encontrando aplicações crescentes no campo da psicologia. Um exemplo é o aplicativo “Woebot”, projetado “para ajudá-lo a lidar com os altos e baixos da vida” – especialmente direcionado a pessoas que sofrem de depressão.

Essas aplicações representam apenas os estágios iniciais de uma transformação de longo alcance da psicologia clínica e da psicoterapia.

Os impactos potenciais da IA no pensamento e no comportamento da população são muito potencializados pela forte tendência das pessoas de projetar inconscientemente qualidades “humanas” em sistemas como o GPT-4 da OpenAI. Este fenômeno de projeção abre caminho para que sofisticados sistemas de IA possam entrar em relações “pessoais” com os indivíduos e, de certa forma, se integrarem à sociedade.

Como sugere a rápida substituição de interlocutores humanos por chatbots, praticamente não há limite para o número de “pessoas virtuais” geradas por IA. Desnecessário dizer que isso abre um vasto campo para a modificação de comportamento e o condicionamento da população humana. Os perigos envolvidos são ressaltados pelo trágico caso de um homem belga que cometeu suicídio após um diálogo de seis semanas com o chatbot Chai.

Em síntese: a tecnologia de modificação comportamental baseada em IA já saiu da garrafa e não há limites bem definidos para o seu uso ou uso indevido. Na maioria dos casos – até onde sabemos –, os humanos cujo comportamento deve ser modificado concordam voluntariamente. Todavia, é só um pequeno passo para aplicações em que eles não saibam que uma modificação comportamental lhes está sendo aplicada.

A filtragem ou modificação do conteúdo de mídia da Internet por sistemas de IA e intervenções gerenciadas por IA nas mídias sociais podem moldar a vida mental e o comportamento de populações inteiras. Até certo ponto, isso já está ocorrendo, como na identificação baseada em IA e na remoção de “material ofensivo” do Facebook e de outras mídias sociais.

Estamos, no máximo, a poucos passos de uma situação em que os critérios para se julgar o que é “nocivo”, “censurável”, “verdadeiro” ou “falso” serão definidos pelos próprios sistemas de IA.

Cuidado com os “supersistemas”

Na sociedade atual, há uma tendência natural de se integrarem sistemas de dados em conjuntos maiores. Esta é uma prática rotineira na gestão de grandes empresas e cadeias de suprimentos e na “digitalização” de atividades de governos e serviços públicos, em parte motivada pela busca por maior eficiência. Apesar da resistência, existe um impulso natural para se estender o processo de compartilhamento de dados e a integração de sistemas de informação muito além dos limites de setores individuais.

Aonde isso pode levar quando os sistemas de informação relevantes envolverem IA de maneiras essenciais? Seria bastante natural, por exemplo, aplicar a IA para otimizar o desempenho de um funcionário avaliado por um sistema de IA, de acordo com as suas condições psicológica e médica, avaliadas por outro sistema de IA.

Por outro lado, a terapia psicológica por meio de um chatbot e a detecção de possíveis problemas de saúde podem ser otimizadas por um sistema de IA com base no perfil de IA do comportamento da pessoa no local de trabalho e de sua atividade na Internet.

Outro exemplo: usar a IA para otimizar os critérios usados pelos sistemas de IA para filtrar as mídias sociais, de modo a minimizar as probabilidades de agitação social, avaliadas por um sistema de IA. E o mesmo vale para a otimização de chatbots de IA usados por líderes políticos para redigir suas declarações públicas.

Refletindo sobre esses e outros exemplos, não é preciso muita imaginação para se compreender o enorme escopo de integração dos sistemas de IA envolvidos em diferentes aspectos da sociedade em sistemas cada vez maiores.

Mais importante ainda, a prática crescente de integração de sistemas de IA leva naturalmente a “supersistemas” hierarquicamente estruturados, nos quais os subsistemas superiores ditam os critérios de otimização (ou métricas), bem como os bancos de dados com base nos quais os sistemas de nível inferior “aprendem” e operam.

Para entender o que isso implica, deve-se ter em mente que a IA baseada em aprendizado profundo nada mais é do que uma combinação de algoritmos sofisticados de otimização matemática com grandes computadores e grandes conjuntos de dados.

O programa de computador relevante contém um grande número de variáveis numéricas, cujos valores são definidos durante a sua fase de “treinamento” e posteriormente modificados no decurso das interações do sistema com o mundo exterior, num processo de otimização interativo. Como qualquer outro processo de otimização, isso ocorre de acordo com um conjunto escolhido de critérios ou métricas.

Expressos metaforicamente, esses critérios definem o que o sistema “quer” ou está “tentando” realizar.

Em um típico sistema de IA dessa categoria, os critérios de otimização e o banco de dados de treinamento são escolhidos pelos projetistas humanos do sistema. Já o número de parâmetros internos gerados durante o “processo de treinamento” costuma ser tão alto que é impossível prever exatamente ou, mesmo, explicar o comportamento do sistema em determinadas circunstâncias.

O predecessor do GPT-4, o sistema GPT-3, já contém cerca de 175 bilhões de parâmetros internos. Como o funcionamento do sistema é determinado pela totalidade dos parâmetros de forma coletiva, geralmente, é impossível identificar o que corrigir quando o sistema se comporta mal. No campo da IA, essa situação é chamada de “problema de transparência”.

Hoje há muita discussão no campo da IA sobre o chamado “problema de alinhamento”: como garantir que os sistemas de IA, que estão em constante proliferação e evolução, permanecerão “alinhados” com os objetivos, preferências ou princípios éticos dos seres humanos? Eu diria que o problema do “alinhamento” é virtualmente impossível de se resolver, quando se tratam de “supersistemas” estruturados hierarquicamente.

Não é difícil perceber que o treinamento de sistemas se torna cada vez mais problemático, quanto mais alto subimos na hierarquia. Como podem ser determinadas as respostas “certas” e “erradas”, necessárias para o treinamento desses sistemas superiores? Onde podemos obter um banco de dados adequado? As consequências de uma determinada resposta aparecem apenas por meio da atividade dos sistemas de nível inferior, que o sistema de nível superior supervisiona. Isso leva tempo. A tendência será, portanto, encurtar o processo de treinamento – ao custo de aumentar a probabilidade de erros, ou mesmo de decisões extremamente inadequadas, nos níveis superiores da hierarquia.

O leitor deve ter notado a analogia com as dificuldades e riscos envolvidos em qualquer forma de atividade humana hierarquicamente organizada – desde uma única empresa até a estrutura de liderança de uma nação inteira. Tais questões, obviamente, antecedem a inteligência artificial em milhares de anos. Hoje, muitos argumentam que os sistemas de IA terão um desempenho melhor do que os humanos no gerenciamento de empresas, economias e, talvez, até da sociedade como um todo.

Não há dúvida de que os sistemas de IA realmente funcionam melhor do que os humanos em muitos contextos específicos. Além disso, a IA está melhorando constantemente. Mas para onde o processo contínuo de extensão e integração de sistemas de IA está nos levando – particularmente, quando ele leva a capacidades cada vez mais poderosas e abrangentes para moldar o pensamento e o comportamento humano?

Na história humana, as tentativas de se otimizar totalmente uma sociedade, na forma de um supersistema operando sob critérios estritos, geralmente, têm levado ao desastre. As sociedades sustentáveis sempre se caracterizaram por uma margem de manobra significativa para a tomada de decisões independentes, que tende a contrariar os critérios adotados para a otimização do sistema. Ironicamente, fornecer tais graus de liberdade produz, de longe, os melhores resultados.

De acordo com a carta aberta anteriormente citada, a maioria dos especialistas no campo da inteligência artificial concordaria que os aplicativos de IA sempre devem ocorrer sob algum tipo de supervisão humana. De forma mais geral, o desenvolvimento e a aplicação da IA devem ser regidos pela sabedoria humana – seja como for que ela seja definida.

Aqui, tentei argumentar que a proliferação da IA baseada em aprendizagem profunda em mais e mais domínios da atividade humana e a tendência de se integrarem tais sistemas em sistemas hierárquicos cada vez maiores, representam um enorme risco para a sociedade.

De fato, a questão deve ser ponderada: caso tal “supersistema” dê errado, ameaçando consequências catastróficas, quem ou o que intervirá para evitá-lo?

No célebre filme de ficção científica de Stanley Kubrick, 2001: uma odisséia no espaço, o astronauta sobrevivente intervém no último momento para desligar o sistema de IA. Mas o astronauta teria feito isso se o sistema de IA o tivesse condicionado psicologicamente a não fazê-lo?

Não acho que faça sentido tentar restringir o desenvolvimento da própria IA. Isto seria prejudicial e contraproducente. Mas a sabedoria determina que os perigos decorrentes da rápida proliferação de sistemas de IA em praticamente todas as esferas da atividade humana sejam controlados por uma regulamentação apropriada e por supervisão humana. Isto se aplica especialmente ao surgimento de “supersistemas” de IA dos tipos aqui discutidos.

* Doutor em Matemática, ex-editor da revista Fusion, colaborador do sítio Asia Times e do Instituto de Filosofia e História da Ciência da Universidade de Lisboa, divulgador de temas científico-tecnológicos e autor de vários livros sobre energia nuclear, todos publicados no Brasil pela Capax Dei Editora (www.capaxdei.com.br).