OpenAI cria comitê de segurança com membros da própria empresa para treinar novo modelo

Os chatbots da OpenAI com recursos de IA generativa, como o envolvimento em conversas semelhantes às humanas e a criação de imagens, têm despertado preocupações de segurança à medida que os modelos de IA se tornam cada vez mais poderosos.

Os ex cientistas-chefes da OpenAI Ilya Sutskever e Jan Leike, que eram líderes da equipe de Superalinhamento da companhia, que garantia que a IA permanecesse alinhada aos objetivos pretendidos, deixaram a empresa no início deste mês.

A OpenAI havia dissolvido a equipe de Superalinhamento no início de maio, menos de um ano depois que a empresa a criou, com alguns membros da equipe sendo transferidos para outros grupos, informou a CNBC.

O novo comitê será responsável por fazer recomendações à diretoria sobre decisões de segurança e proteção para os projetos e operações da OpenAI.

A primeira tarefa será avaliar e desenvolver ainda mais as práticas de segurança existentes da OpenAI nos próximos 90 dias, e após isso compartilhará as recomendações com a diretoria.

Após a análise da diretoria, a OpenAI compartilhará publicamente uma atualização sobre as recomendações adotadas, informou a empresa.

Outros membros do comitê incluem o recém-nomeado cientista-chefe, Jakub Pachocki, e Matt Knight, chefe de segurança.

A empresa também consultará outros especialistas, incluindo Rob Joyce, ex-diretor de segurança cibernética da Agência de Segurança Nacional dos Estados Unidos, e John Carlin, ex-funcionário do Departamento de Justiça do país.

A OpenAI não forneceu mais detalhes sobre o novo modelo de "fronteira" que está treinando, exceto que ele levará seus sistemas ao "próximo nível de recursos em nosso caminho para a AGI (Inteligência Artificial Geral)".

No início de maio, a OpenAI anunciou um novo modelo de IA capaz de conversas por voz realistas e interação entre texto e imagem.