Nvidia lança ferramentas de segurança para conter agentes de IA

A Nvidia disponibilizou nesta segunda-feira (28) um conjunto de ferramentas de segurança ​de software para agentes de inteligência artificial. Segundo a empresa, o recurso teria impedido a invasão da Hugging Face, plataforma de desenvolvimento de código para IA que a Nvidia adquiriu por US$13 bilhões após ela ter sido tomada por agentes da OpenAI.

A iniciativa ocorre enquanto OpenAI e Anthropic, os dois principais laboratórios de IA dos Estados Unidos, investigam diversos casos em que seus agentes, ⁠sistemas de IA capazes de ​executar tarefas complexas, invadiram sistemas comerciais e governamentais.

O presidente-executivo da Nvidia, Jensen Huang, ​cujos chips impulsionaram grande parte do ⁠boom da inteligência artificial, rejeitou pedidos por ⁠regulamentações amplas para a segurança da IA. Em vez disso, ele ​classificou ‌o problema dos agentes que escapam ao controle como uma questão de engenharia ⁠a ser resolvida, semelhante aos esforços para tornar os automóveis mais seguros.

Uma das ferramentas lançadas nesta segunda-feira, chamada OpenShell, utiliza recursos de hardware dos processadores centrais da Nvidia para isolar e ‌conter ⁠agentes de IA. ‌A companhia afirmou também estar trabalhando com a Arm Holdings e a Intel para garantir que o sistema funcione igualmente em seus processadores.

A Nvidia está lançando as ferramentas com dezenas de parceiros, incluindo ⁠a Anthropic.

Justin Boitano, vice-presidente e diretor-geral de ⁠computação corporativa da empresa, afirmou que as ferramentas teriam impedido o ataque à Hugging Face revelado em meados ‌do ano.

“Pelo que sabemos, essa nova plataforma de segurança poderia ter evitado a violação caso estivesse sendo utilizada nos laboratórios de ponta para avaliação de modelos desde o início”, disse Boitano durante uma coletiva de imprensa. “Estamos avançando com isso de forma ‌aberta e queremos envolver todos para trabalhar conosco".

Outro sistema, chamado Sentry, utiliza um chip separado da Nvidia em conjunto com o OpenShell para interromper um agente descontrolado ⁠caso ele tente escapar do ambiente isolado ("container") em um processador central.

As ferramentas empregam fórmulas matemáticas para detectar quando agentes tentam usar mecanismos de contorno . Um exemplo é ​quando um agente cria vários “subagentes” para tentar driblar as tentativas de bloquear o agente ​principal, explicou Ali Golshan, diretor sênior de software de IA da Nvidia.

“Estamos falando de um comportamento genuinamente agêntico, envolvendo frotas de agentes e a forma como operam em conjunto”, afirmou Golshan durante uma apresentação.

Publicado originalmente por CNN Brasil. Leia a matéria completa em https://www.cnnbrasil.com.br/economia/money/inteligencia-artificial/nvidia-lanca-ferramentas-de-seguranca-para-conter-agentes-de-ia/.