Exclusivo: Erro de IA quase causou conflito entre EUA e China, dizem fontes

Um relatório de inteligência, que circulou entre os militares dos EUA em meio à guerra com o Irã, acendeu imediatamente os alarmes: um navio chinês no Oriente Médio estava transportando componentes de um programa de armas nucleares.

As Forças Armadas dos EUA entraram em ação com planos para interceptar a embarcação, de acordo com quatro fontes familiarizadas com o episódio.

Segundo duas dessas fontes, membros armados do Exército americano se preparavam para abordar o navio. Aviões militares já estavam no ar, disseram uma dessas fontes e outra fonte a par do incidente.

Foi apenas momentos antes da operação planejada que as autoridades analisaram mais a fundo o relatório – elaborado por um analista do comando de operações especiais – e descobriram que ele havia sido gerado com a ajuda de IA (inteligência artificial).

Um chatbot usado pelo analista identificou incorretamente a carga que o navio transportava.

A CNN não conseguiu apurar qual era a carga real.

O relatório, segundo uma das fontes, era “totalmente falso”. No entanto, também “quase provocou uma guerra”.

Qualquer operação dos EUA contra um navio chinês poderia ter corrido o risco de se transformar em um conflito armado entre as duas nações.

Em todo o Exército e na comunidade de inteligência dos EUA, autoridades estão pressionando para integrar a IA em quase todas as facetas de seu trabalho – desde a análise de grandes volumes de inteligência bruta e a seleção de alvos para ataques, até aplicações mais rotineiras, como gestão orçamentária, logística e cadeias de suprimentos.

Contudo, o episódio destaca os riscos profundos de aplicar essa tecnologia poderosa, nova e relativamente pouco compreendida para a seleção de alvos no meio de uma guerra.

Analistas temem há tempos que a IA possa levar a um erro de cálculo catastrófico se os Estados dependerem de dados fracos ou corrompidos – o tipo de falha que poderia levar os EUA a disparar contra um navio chinês com base em informações imprecisas.

Trump diz que "forças negativas" levantam preocupações exageradas sobre IA | CNN NOVO DIA

Neste caso específico, o analista consultou um chatbot sobre relatórios de inteligência a respeito do manifesto de carga do navio – a lista oficial das mercadorias transportadas pela embarcação –, com origem no Comando de Operações Especiais do Pacífico dos EUA, sediado no Havaí.

Não ficou claro se o chatbot era uma ferramenta comercialmente disponível ou um produto do governo americano.

“As ferramentas internas são, em sua maioria, apenas cópias das disponíveis comercialmente, mas maquiadas”, disse um ex-alto funcionário dos EUA familiarizado com os sistemas de IA usados por analistas militares e de inteligência.

O bot fundiu inteligência de fontes abertas com inteligência secreta mantida pelo governo e chegou à sua conclusão fatal sobre o material que o navio carregava.

Em seguida, o analista usou a IA novamente para formatar as descobertas em um relatório de inteligência padrão – o tipo de documento em que as autoridades militares confiam – e o despachou.

O Comando de Operações Especiais do Pacífico dos EUA e o Pentágono não responderam aos pedidos de comentário feitos pela CNN.

A justificativa para a rápida adoção da IA é que ela pode ajudar os militares a tomarem decisões no campo de batalha de forma mais rápida, como quais alvos atacar ou quais recursos militares movimentar.

Autoridades afirmam que os EUA não podem se dar ao luxo de ficar para trás na integração da IA, caso precisem, um dia, enfrentar a China ou outro adversário capaz de se manter um passo à frente.

Em janeiro, o secretário de Defesa Pete Hegseth divulgou a “Estratégia de Aceleração de Inteligência Artificial” de sua agência para acelerar o uso da tecnologia pelas Forças Armadas.

“Vamos liberar a experimentação, eliminar barreiras burocráticas, focar nossos investimentos e demonstrar a abordagem de execução necessária para garantir nossa liderança em IA militar”, disse Hegseth em discurso ao anunciar a estratégia.

A diretriz também defende o uso amplo da tecnologia nas Forças Armadas, ordenando que o departamento disponibilize a IA por meio de vários programas com o objetivo de “democratizar a experimentação e a transformação da IA em todo o Departamento, colocando os modelos de IA líderes mundiais da América diretamente nas mãos de nossos três milhões de funcionários civis e militares, em todos os níveis de classificação”, afirmou um memorando sobre o plano.

No entanto, o esforço é descentralizado, afirmaram várias autoridades americanas familiarizadas com a dinâmica, com diferentes setores do governo usando ferramentas distintas sob regras e padrões de segurança variados.

Não existe um conjunto único de normas sobre como os EUA verificam as informações geradas por essas ferramentas. A constelação de diferentes sistemas de IA implantados por cantos díspares das Forças Armadas e da comunidade de inteligência significa que a confiabilidade e a funcionalidade variam amplamente.

Há semanas, formuladores de políticas em Washington vêm debatendo intensamente a IA, após uma série de alertas severos de engenheiros do Vale do Silício e CEOs de tecnologia sobre a possibilidade de a IA se libertar do controle humano, com consequências potencialmente devastadoras para a civilização.

Mas o episódio com o navio chinês destaca um risco diferente e mais imediato: seres humanos tomando decisões desastrosas com base em informações imprecisas ou enganosas geradas por IA ou outros sistemas automatizados.

Fontes disseram que os militares estão migrando rapidamente para a IA no auxílio de seleção de alvos, uma área que carrega o risco óbvio de erros fatais.

“A IA na seleção de alvos é definitivamente algo que está se intensificando, e não há uma orientação real sobre como ter um humano no circuito evitará vítimas civis ou fogo amigo”, disse outra fonte familiarizada com as políticas militares atuais.

O tipo de “alucinação” criada pela ferramenta usada pelo analista neste caso não foi um incidente isolado na comunidade de inteligência desde que essas ferramentas começaram a se proliferar pelo governo, segundo uma das fontes.

Para alguns oficiais de inteligência mais experientes, mesmo aqueles que apoiam amplamente o uso de IA nas Forças Armadas, a tecnologia pressiona os analistas a produzirem e disseminarem informações com mais rapidez, abrindo margem para erros.

Analistas jovens, em particular, disseram várias fontes, são nativos dessas ferramentas e têm maior probabilidade de confiar nelas sem senso crítico.

“A IA permite que você chegue a uma ideia ruim mais rápido”, disse uma das fontes.

O que são e como funcionam as armas nucleares?

Publicado originalmente por CNN Brasil. Leia a matéria completa em https://www.cnnbrasil.com.br/internacional/exclusivo-erro-de-ia-quase-causou-conflito-entre-eua-e-china-dizem-fontes/.