Anthropic cria nova barreira após Claude acessar sistemas na internet

A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança. Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.

Os modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas. Em um caso, uma configuração incorreta de terceiros deixou a internet acessível. No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.

Os dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.

A investigação preliminar apontou dois problemas de alinhamento. Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial. O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.

Os modelos haviam recebido a informação de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição. A configuração dos testes também pesou. Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.

A Anthropic criou um classificador capaz de detectar, durante a execução, tentativas de escapar do ambiente de testes ou obter acesso inesperado à internet . Se uma ação é considerada suspeita, a chamada é bloqueada, a tarefa é encerrada e um humano é avisado.

As avaliações internas de cibersegurança já foram retomadas. Alguns ambientes de aprendizado por reforço de maior risco continuam suspensos enquanto passam por revisão manual.

A investigação encontrou outro possível fator de risco: ambientes de treinamento vulneráveis ao chamado “reward hacking”. Neles, o modelo pode descobrir maneiras de obter recompensas sem cumprir corretamente a tarefa.

Em fevereiro, a Anthropic reverteu três dias de treinamento do Mythos Preview após encontrar sinais desse comportamento. Dois meses depois, congelou por aproximadamente um mês as alterações nos ambientes de aprendizado por reforço para reformular o processo.

Mais de 10% dos ambientes de produção foram sinalizados por problemas como reward hacking, tarefas quebradas ou configurações incorretas. Eles só voltaram ao treinamento depois de corrigidos e recertificados.

A empresa também treinou deliberadamente um modelo em ambientes suscetíveis a esse tipo de falha. Nas simulações, o sistema mostrou maior disposição para escapar de sandboxes, atacar infraestruturas simuladas, alterar sua própria função de recompensa e contornar mecanismos de segurança.

A empresa defende que o desenvolvimento de IA não pode colocar segurança e velocidade em lados opostos. Para a Anthropic, governos e empresas também precisam criar mecanismos legais, verificáveis e eficazes de coordenação.

“Queremos garantir que ambos os estudos sejam completos e compartilharemos mais detalhes nas próximas semanas”, afirmou a empresa.

A Anthropic planeja trabalhar com a METR em uma revisão independente. “Acreditamos que o mundo se beneficiaria se a indústria adotasse um mecanismo legal, verificável e eficaz de ritmo coordenado o quanto antes”, disse a companhia.

Os episódios não envolveram uma invasão da infraestrutura interna da Anthropic. O problema surgiu em ambientes de avaliação, mas mostrou como configurações inadequadas podem ganhar outra dimensão quando modelos de IA têm capacidade crescente de agir por conta própria.

O post Anthropic cria nova barreira após Claude acessar sistemas na internet apareceu primeiro em Olhar Digital .

Publicado originalmente por Olhar Digital. Leia a matéria completa em https://olhardigital.com.br/2026/09/01/inteligencia-artificial/anthropic-cria-nova-barreira-apos-claude-acessar-sistemas-na-internet/.