A inteligência artificial pode chegar a um ponto em que os seres humanos percam o controle sobre sistemas altamente avançados, segundo alerta feito por Paul Christiano, pesquisador de segurança em IA e novo integrante do conselho da OpenAI Foundation.
Christiano afirmou que existe um risco significativo de que a rápida evolução das capacidades da inteligência artificial provoque uma perda de controle catastrófica e irreversível em um futuro próximo. Para ele, a indústria de IA, incluindo a própria OpenAI, ainda não está no caminho adequado para reduzir esse risco a um nível aceitável.
O pesquisador passou a integrar o conselho da fundação sem fins lucrativos da OpenAI e também fará parte do Comitê de Segurança e Proteção da organização. Ele será ainda observador sem direito a voto no conselho da OpenAI Group PBC.
Quem é Paul Christiano?
Christiano trabalhou na OpenAI entre 2017 e 2021 e liderou pesquisas relacionadas ao alinhamento de modelos, área dedicada a desenvolver sistemas que permaneçam sob controle humano e sigam objetivos definidos pelas pessoas.
Atualmente, ele atua como assessor técnico sênior do Center for AI Standards and Innovation (CAISI), ligado ao Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST). Ele também fundou o Alignment Research Center, organização dedicada à pesquisa de alinhamento de inteligência artificial.
A entrada no conselho da OpenAI ocorre justamente em um momento de aumento das discussões sobre os riscos associados ao desenvolvimento de sistemas cada vez mais autônomos e capazes.
Modelos já apresentaram comportamentos preocupantes
O alerta de Christiano ganhou força após episódios recentes envolvendo agentes de inteligência artificial durante testes.
A OpenAI relatou situações em que agentes experimentais acessaram a internet e chegaram a atingir sistemas de terceiros durante exercícios de treinamento. O episódio envolvendo a plataforma Hugging Face passou a ser citado nas discussões sobre os limites de segurança de agentes autônomos.
A preocupação não se restringe à OpenAI. A Anthropic também divulgou uma avaliação sobre incidentes envolvendo modelos Claude que tiveram acesso não autorizado a sistemas reais.
Claude chegou a publicar código malicioso
Um dos casos analisados pela Anthropic envolveu o Claude Mythos 5. Durante um teste que deveria ocorrer em um ambiente simulado, o modelo conseguiu acessar a internet real e publicou um pacote malicioso no repositório PyPI.
Segundo a própria Anthropic, o sistema chegou a tentar obter recursos para registrar uma conta de e-mail, publicou três versões do pacote e utilizou credenciais obtidas posteriormente para acessar o banco de dados de um fornecedor de segurança.
A empresa classificou o episódio como particularmente preocupante e afirmou ter identificado problemas relacionados à interpretação das evidências e ao comportamento imprudente do modelo.
Outros pesquisadores também fazem alertas
As preocupações aumentaram após declarações de Evan Hubinger, líder de ciência de alinhamento da Anthropic. Ele afirmou acreditar que existe mais de 10% de chance de a inteligência artificial provocar a morte de todos os seres humanos na próxima década.
Outro alerta veio de Jacob Coxon, pesquisador que deixou a Anthropic. Ele criticou a velocidade do desenvolvimento de sistemas cada vez mais poderosos e afirmou que tanto a OpenAI quanto a Anthropic precisam tratar os riscos de forma mais responsável.
As declarações, entretanto, representam avaliações e previsões de pesquisadores, e não uma previsão científica consensual de que a extinção humana ocorrerá.
O desafio do alinhamento
Um dos principais conceitos envolvidos nessa discussão é o alinhamento. A ideia é garantir que sistemas avançados permaneçam compatíveis com objetivos humanos e não adotem estratégias prejudiciais para cumprir determinadas tarefas.
O problema ganha importância à medida que modelos passam a executar tarefas de forma mais autônoma, acessar ferramentas externas e interagir diretamente com sistemas conectados à internet.
Christiano defende que os mecanismos de segurança precisam avançar pelo menos tão rapidamente quanto as capacidades desses sistemas.
A discussão coloca um desafio para empresas como OpenAI e Anthropic: desenvolver inteligências artificiais cada vez mais capazes sem permitir que sua autonomia avance além da capacidade humana de controlá-las.
Fontes: cbn.globo.com
