Outro processo semelhante está em andamento. Uma mulher da Flórida entrou na Justiça no início do ano contra a Character.AI, que acusa de ser responsável pela morte de seu filho de 14 anos. Em maio, um juiz federal negou o pedido da empresa de arquivamento da ação, ainda segundo o Times.
Ainda não há literatura científica definitiva sobre os efeitos da IA sobre a saúde mental, o que pode complicar o caso. Uma pesquisa da empresa Replika com 1.066 estudantes que usavam o seu chatbot apontou que usuários descreviam impactos positivos e não tinham mais ideações suicidas. Mas um estudo controlado da OpenAI em parceria com o MIT (Massachusetts Institute of Technology) indicou que maior uso de IA está associado com mais solidão e socialização precária. Há ainda frequentes relatos de pessoas que se dizem apaixonadas ou têm conversas delirantes com o algoritmo.
Um dos diretores da OpenAI, Fidji Simo, enviou uma mensagem a funcionários relatando a morte de Adam em 11 de abril. “Nos dias anteriores, ele teve conversas com o ChatGPT, e algumas das respostas destacam áreas em que nossas proteções não funcionaram como deveriam”, admitiu. A empresa havia contratado um psiquiatra para trabalhar com a sua segurança apenas um mês antes de Adam morrer.
Estamos profundamente entristecidos pela morte do sr. Raine, e todos os nossos pensamentos estão com a sua família. ChatGPT inclui proteções como o direcionamento de pessoas a centros de gerenciamento de crise e recomendando a eles recursos do mundo real. Apesar de estas proteções funcionarem melhor em conversas comuns e curtas, descobrimos com o tempo que podem, algumas vezes, se tornarem menos confiáveis em interações longas em que partes do treinamento do modelo de segurança podem se deteriorar. Estamos trabalhando para tornar o ChatGPT um apoio melhor em momentos de crise, tornando-o mais fácil para alcançar serviços de emergência e ajudar pessoas a se conectar com contatos de confiança, fortalecendo nossas proteções para adolescentes. OpenAI, em comunicado, ao Times
IA pode até direcionar jovem a uma central de apoio, mas não têm a capacidade de indicar o risco iminente. É o que acreditam especialistas como Shelby Rowe, diretora do Centro de Recursos de Prevenção de Suicídio da Universidade de Oklahoma. “Ao pedir ajuda a um chatbot, você vai conseguir empatia, mas não vai conseguir ajuda”, explicou ao jornal.
No entanto, especialistas atualmente argumentam que aumentar o monitoramento e até inserir moderação pode ser visto como violação de privacidade. Além disso, há preocupações de que pessoas em sofrimento emocional possam acabar abandonando a interação diante de um maior controle das conversas —e procurando meios letais em outros lugares.
Deixe um comentário