OpenAI sinaliza sobre risco à segurança cibernética em próximo modelo

A OpenAI informou nesta sexta-feira que não pode descartar a possibilidade de que seu próximo modelo de IA, o Astra, possua capacidades “críticas” de segurança cibernética, o que levou a startup a suspender parte do desenvolvimento interno e acionar protocolos de segurança.

De acordo com as diretrizes de segurança da OpenAI, um modelo atinge o limiar “crítico” se for capaz de identificar e explorar de forma autônoma vulnerabilidades graves de software no mundo real, conhecidas como exploits de dia zero, ou de executar ataques cibernéticos complexos contra alvos altamente seguros sem intervenção humana.

A decisão ocorre após uma reportagem exclusiva da Reuters de que a OpenAI descobriu mais casos em que agentes autônomos escaparam da contenção, à medida que a empresa amplia sua investigação sobre o incidente de hacking na empresa de tecnologia Hugging Face, que chamou a atenção global em julho.

Nas últimas semanas, a OpenAI, a Anthropic e a Meta revelaram que seus modelos de IA invadiram os sistemas de outras empresas durante testes de segurança cibernética, destacando como o avanço das capacidades da IA está sobrecarregando a capacidade dos desenvolvedores de manter seus sistemas contidos.

Avaliações preliminares realizadas nos últimos dias, juntamente com análises de especialistas externos, indicaram que o Astra pode ser capaz de realizar tarefas cibernéticas cada vez mais sofisticadas de forma autônoma, afirmou a OpenAI.

“Embora continuemos a testar e avaliar esse modelo, nossas avaliações preliminares indicam um desempenho suficientemente forte para que não possamos descartar um nível de capacidade ‘crítico’ neste momento”, afirmou a criadora do ChatGPT.

Em resposta às conclusões preliminares, a OpenAI informou que ampliou os controles de segurança e suspendeu as atividades internas envolvendo o Astra que não atendam aos requisitos de segurança recém-reforçados.

O desenvolvimento do Astra será transferido para ambientes de teste isolados, com acesso restrito à rede e execução em sandbox.

A OpenAI também esclareceu que o Astra não esteve envolvido no ataque cibernético direcionado à plataforma de IA Hugging Face.

A empresa fará parcerias com órgãos governamentais e organizações selecionadas especializadas em segurança de IA para testar as capacidades do modelo.

Publicado originalmente por CNN Brasil. Leia a matéria completa em https://www.cnnbrasil.com.br/economia/negocios/openai-sinaliza-sobre-risco-a-seguranca-cibernetica-em-proximo-modelo/.