Por que a IA precisa aprender a dizer ‘não sei’

A resposta está no próprio mecanismo de funcionamento desse tipo de IA. Chatbots conversacionais como o ChatGPT, Gemini e outros são chamados de modelos de linguagem. Esse tipo de IA trabalha com a distribuição de probabilidades de uma sequência de palavras. Isso significa que, ao pedirmos para a IA escrever um poema, uma carta de recomendação ou responder a uma pergunta complexa, o modelo encaixa uma palavra após a outra, seguindo as melhores probabilidades, até construir a resposta.

Então, quando a IA afirma que Senna morreu em Interlagos, como relatou o colunista do UOL Flávio Gomes, podemos entender que, naquele contexto, fazia sentido, pelo menos do ponto de vista estatístico, escrever dessa forma. Afinal, quantos textos usados no treinamento do modelo não traziam as palavras Senna e Interlagos lado a lado?

Do ponto de vista técnico, a IA operou como deveria: encaixou as palavras com mais probabilidades. Não houve um erro de funcionamento, e é por isso que a comunidade científica passou a usar o termo “alucinação”. E, no nosso caso, só sabemos que a informação está incorreta porque conhecemos o mundo de outra forma e temos conhecimento sobre o assunto.

Este é um dos pontos mais críticos do uso indiscriminado da IA. Em todas as minhas aulas e palestras, costumo alertar: “o problema da IA não é apenas estar errada. É estar errada e ainda nos convencer de que está certa”. A IA não diz “acho que é isso”, ou “não tenho certeza”. Ela afirma. E pode errar com convicção.

É fácil perceber o erro quando a IA diz que Senna morreu em Interlagos. Mas e quando estamos fazendo uma pergunta justamente por que não temos conhecimento sobre o assunto? Como saber se IA está dando uma resposta correta ou estamos diante de uma alucinação?

E quando somamos a pressa à preguiça humana, o estrago está feito. Pessoas que não questionam a máquina acabam repassando conteúdos errados. A situação é tão séria que já invadiu até a ciência: hoje existem inúmeros artigos científicos retratados por terem usado referências alucinadas pela IA.