Um estudo realizado pela Anthropic em conjunto com o Instituto de Segurança de IA do Reino Unido e o Instituto Alan Turing, divulgado na semana passada, revela que os grandes modelos de linguagem (as LLMs, na sigla em inglês) podem ser um alvo fácil de "envenenamento" e gerar comportamentos indesejáveis e até perigosos.

Isso porque chatbots como o Claude, da própria Anthropic, o ChatGPT, o Gemini e outros, treinam seus modelos a partir de uma série de dados de conteúdos disponíveis na internet. Dentro desse material, podem existir agentes maliciosos, como os backdoors, que inserem frases específicas nessas publicações e geram instruções no modelo. Ou seja, os chatbots podem gerar desde uma "alucinação" a resultados mais graves, como extração de dados confidenciais.

Os pesquisadores fizeram um experimento em modelos que variavam de 600 milhões a 13 bilhões de conjunto de dados ao inserir um backdoor chamado de "ataque de negação de serviço", em que o modelo produz um texto aleatório e sem sentido toda a vez que uma frase específica era encontrada.

A pesquisa aponta que uma pequena quantidade de documentos maliciosos produziu uma vulnerabilidade de 'backdoor' em um modelo de linguagem de grande porte, independentemente do tamanho do modelo ou do volume de dados de treinamento.

A conclusão desafia o entendimento comum de que os invasores precisam controlar uma porcentagem dos dados de treinamento para conseguir realizar o ataque.

"No geral, nossos resultados sugerem que injetar 'backdoors' por meio do envenenamento de dados pode ser mais fácil para modelos grandes do que se acreditava anteriormente, pois o número de envenenamentos necessários não aumenta com o tamanho do modelo", sustentam.

Texto Jeniffer Mendonça
Edição Alexandre Orrico