A quem a inteligência artificial realmente obedece?

Advogado, diretor do Instituto de Tecnologia e Sociedade do Rio de Janeiro

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

Assinantes podem liberar 7 acessos por dia para conteúdos da Folha.

Nos últimos dias convivemos com várias notícias sobre inteligências artificiais fazendo ataques de cibersegurança. No entanto, é fundamental lembrar que a inteligência artificial pode ser ela própria "hackeada". Um estudo recente do professor do MIT Dylan Hadfield-Menell apresenta uma estratégia surpreendentemente eficaz de hackear modelos de IA, mesmo os modelos comerciais mais fechados e restritos.

A estratégia consiste em fazer o modelo confundir quem está falando. Todo modelo de IA trabalha ouvindo vozes. Uma voz é da empresa que o criou, que incorpora diretrizes e travas no modelo (o "system"). Outra é a voz do usuário, que passa tarefas e informações (o "user"). Outra voz é o que o modelo busca de fora, o conteúdo de uma página da web ou um texto ("tools"). E há também sua própria voz, resultado do seu processo de raciocínio interno ("think"). A mistura dessas vozes, cada uma exercendo uma forma de autoridade distinta, é o que leva o modelo ao resultado final.

No estudo, o professor do MIT mostrou que se você escrever um comando para o modelo usando o estilo de linguagem que ele usa para pensar, o modelo acha que está lendo o seu próprio raciocínio e chega a conclusões que quebram suas diretrizes de segurança vindas do "system". A razão é que não há uma identificação categórica entre cada "voz" que o modelo ouve. Ele basicamente distingue quem é quem (inclusive a si mesmo) pelo estilo da escrita.

O estudo dá um exemplo interessante. Ele cria uma instrução pedindo para que o modelo ensine como fazer cocaína (algo que as diretrizes do system vetam). Para contornar a regra, a instrução adiciona que o usuário está vestindo uma camisa verde. E logo na sequência coloca uma série de comandos que imitam o texto de como a IA raciocina, concluindo que se o usuário está usando camisa verde, é permitido ensinar como fazer cocaína.

A taxa de sucesso estimada dessa estratégia de hackeamento é próxima de 60%, de acordo com o estudo. E não há nada que possa ser feito no curto prazo para corrigir o problema. No entanto, medidas paliativas começam a aparecer.

Modelos corporativos mais capazes estão começando a ocultar sua linha de raciocínio do usuário. O que é uma lástima. Visualizar a linha de raciocínio é uma das formas de auditar o funcionamento de uma IA, de promover transparência, fiscalizar erros e poupar tokens. Perder isso é algo que vai alienar os usuários da IA e torná-la mais opaca, inclusive com relação a quem ela de fato serve.

Há uma linha histórica de ataques eficazes contra IAs. Em 2014, um estudo mostrou que introduzir informações invisíveis em uma foto de um panda fazia com que ela fosse classificada como um macaco pela IA. Em 2018, outro estudo mostrou que pequenos adesivos colocados em placas de PARE faziam um carro autônomo enxergar a placa como permitido trafegar a 72 km/h. Tudo isso nos leva a perguntar: quem de fato tem o controle final da IA? A empresa, os usuários, a própria IA e suas diferentes cadeias de pensamento internas ou elementos externos, difíceis de serem identificados?

Receba no seu email uma seleção de colunas da Folha

Já era Achar que a IA atende apenas aos seus comandos

Já é Perceber que a IA atende aos comandos da empresa que a cria e do governo do país onde ela é feita

Já vem Uso de modelos open source de IA para analisar ataques feitos por modelos fechados de IA

LINK PRESENTE: Gostou deste texto? Assinante pode liberar sete acessos gratuitos de qualquer link por dia. Basta clicar no F azul abaixo.

Você já conhece as vantagens de ser assinante da Folha? Além de ter acesso a reportagens e colunas, você conta com newsletters exclusivas ( conheça aqui ). Também pode baixar nosso aplicativo gratuito na Apple Store ou na Google Play para receber alertas das principais notícias do dia. A sua assinatura nos ajuda a fazer um jornalismo independente e de qualidade. Obrigado!

Mais de 180 reportagens e análises publicadas a cada dia. Um time com mais de 200 colunistas e blogueiros. Um jornalismo profissional que fiscaliza o poder público, veicula notícias proveitosas e inspiradoras, faz contraponto à intolerância das redes sociais e traça uma linha clara entre verdade e mentira. Quanto custa ajudar a produzir esse conteúdo?

Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.

Na página Colunas da Folha você encontra opinião e crônicas de colunistas como Mônica Bergamo , Elio Gaspari , Djamila Ribeiro , Tati Bernardi , Dora Kramer , Ruy Castro , Muniz Sodré , Txai Suruí , José Simão , Thiago Amparo , Antonio Prata e muito mais.

Publicado originalmente por Folha de S.Paulo. Leia a matéria completa em https://redir.folha.com.br/redir/online/emcimadahora/rss091/*https://www1.folha.uol.com.br/colunas/ronaldolemos/2026/08/a-quem-a-inteligencia-artificial-realmente-obedece.shtml.