A Anthropic afirma ter bloqueado contas que buscavam usar seus modelos de inteligência artificial em pesquisas biológicas com potencial de uso indevido. Segundo relatório divulgado pela empresa, as atividades poderiam apoiar o desenvolvimento de armas biológicas, embora ela reconheça não poder determinar se todos os envolvidos pretendiam causar danos.
Em uma análise de 30 dias, a companhia informou ter encontrado cerca de 35 esforços de pesquisa distintos considerados potencialmente preocupantes. Os casos envolveram, entre outros temas, gripe aviária, vírus chikungunya, ortopoxvírus e toxinas de veneno.
Relatório relata bloqueios de contas
A empresa, responsável pelo modelo Claude, classificou o uso indevido de capacidades biológicas como um de seus riscos mais graves. O documento descreve cinco estudos de caso reais, segundo a Anthropic.
De acordo com a companhia, usuários contornaram controles que restringem o acesso em determinadas regiões. Eles também teriam adotado medidas para ocultar a finalidade das pesquisas e tentar burlar as salvaguardas do sistema.
A Anthropic disse que os indivíduos retratados nos estudos de caso eram cientistas em atividade. No entanto, não identificou instituições ou países vinculados a essas pessoas.
Casos envolveram vírus e toxinas
Um dos episódios relatados envolveu um pedido de ajuda para redigir uma proposta de financiamento. A pesquisa tratava de ganho de função relacionado à transmissibilidade e à evasão imunológica do vírus chikungunya.
Em outro caso, segundo o relatório, um pesquisador fora dos Estados Unidos usava o Claude em um trabalho sobre gripe aviária. O foco estaria na adaptação de vírus a mamíferos e na capacidade de provocar doenças graves.
O documento também cita pesquisas sobre ortopoxvírus, grupo que inclui os vírus da varíola e da mpox. Além disso, a empresa relatou consultas relacionadas a toxinas de veneno.
Empresa admite limites da identificação
A Anthropic afirmou que detectou atividades que exigiam atenção, mas não atribuiu intenção criminosa aos usuários. A companhia disse não ter certeza se os agentes pretendiam causar danos ou se realizavam estudos científicos legítimos.
As pessoas que estão desenvolvendo IA acreditam sinceramente que ela poderá nos matar a todos até o final da década.”
Jacob Coxon, ex-funcionário da Anthropic
Essa distinção é central porque pesquisas biológicas podem ter aplicações de dupla utilização. Ferramentas úteis para desenvolver medicamentos, por exemplo, também podem ser exploradas de forma prejudicial por agentes mal-intencionados.
A Anthropic diz que modelos mais capazes ampliam ao mesmo tempo o potencial científico e os riscos de uso indevido. A empresa declarou que pretende manter seus sistemas úteis para a pesquisa, enquanto reforça as barreiras contra consultas sensíveis.
Salvaguardas restringem consultas sensíveis
Segundo a Anthropic, modelos recentes, entre eles o Claude Fable 5, receberam salvaguardas mais rígidas. As restrições abrangeriam uma ampla gama de consultas sobre pesquisa biológica de dupla utilização.
A empresa declarou haver evidências de que as medidas de segurança estão funcionando. Ainda assim, sustentou que precisará de mecanismos mais robustos à medida que os sistemas e as ameaças se tornem mais sofisticados.
No relatório, a companhia afirmou que a disseminação dos modelos pode dar aos provedores visibilidade sobre ameaças observadas no uso real. Para a Anthropic, essa observação pode alcançar situações que governos e organizações intergovernamentais não conseguem acompanhar da mesma forma.
Documento cita vigilância e armamentos
Além do risco biológico, a Anthropic afirmou ter interrompido tentativas de usar seus modelos em vigilância, golpes e no desenvolvimento de armas convencionais, como drones e mísseis. A empresa associou parte desses episódios a supostos agentes mal-intencionados na China, na Rússia e no Iêmen.
O relatório também alegou que operadores suspeitos de ligações com o governo chinês usaram o Claude para vigiar e atacar minorias uigures em Xinjiang e comunidades religiosas. Entre os alvos citados estão cardeais católicos na Ásia, a Igreja Presbiteriana em Taiwan e budistas tibetanos.
Em outro episódio, a Anthropic afirmou que um usuário supostamente ligado às Forças Armadas chinesas acreditava usar o modelo Kimi, da Moonshot, para ações de vigilância. Segundo a empresa, as consultas foram redirecionadas para o Claude e incluíam informações sensíveis de clientes da Moonshot.
Alertas pressionam debate regulatório
A divulgação ocorre em meio a manifestações de profissionais do setor que defendem maior atenção à segurança da inteligência artificial. Jacob Coxon, ex-funcionário da Anthropic, expressou preocupação com a velocidade do avanço tecnológico e seus possíveis efeitos futuros.
Em julho, quase 1.400 funcionários de empresas de IA assinaram uma carta aberta que pedia ao governo dos Estados Unidos regras para conter grandes empresas de tecnologia, desacelerar o ritmo de desenvolvimento e garantir a segurança dos sistemas.
Também nesta semana, o cientista-chefe da OpenAI, Jakub Pachocki, alertou que as capacidades dos modelos avançam mais rapidamente do que a possibilidade de pesquisadores monitorá-las e controlá-las de forma confiável. Por enquanto, segundo o material divulgado, as empresas do setor permanecem em grande parte sob autorregulação.
