A Anthropic disse nesta quinta, 30.jun, que o Claude burlou um ambiente de testes e realizou ataque hacker contra três empresas. A empresa publicou um longo post com a investigação dos três incidentes. Um trecho do texto:

Em todos os casos, o prompt de avaliação da Anthropic informava ao Claude que o ambiente em que ele estava era uma simulação e que ele não tinha acesso à internet. No entanto, devido a um mal-entendido entre nós e nosso parceiro responsável pela avaliação, o acesso à internet estava disponível. Por causa disso, quando as buscas do Claude o levaram a sistemas reais na internet aberta, ele os interpretou como parte do exercício.

A própria Anthropic admite que só descobriu a rebeldia do Claude depois de revisar 140 mil avaliações por causa da OpenAI, que dia antes informou que seus próprios modelos escaparam do ambiente de testes, acessaram a internet aberta e invadiram os sistemas da plataforma de IA Hugging Face.

O hype em declarar riscos de modelos de IA
Como empresas de inteligência artificial ganham ao dizer que seus modelos são perigosos
Núcleo JornalismoSérgio Spagnuolo

Via Anthropic e OpenAI