Teste tinha 322 questões multimodais (com texto e imagem). A IA com melhor desempenho, o OpenAI o3, atingiu 43,8% de precisão nas respostas, superando 94% dos 36 virologistas especialistas, mesmo em suas subáreas de especialização. Enquanto isso, os especialistas atingiram, média, 22% de precisão.
Estudo começou em maio do ano passado. Os pesquisadores analisaram que as versões mais atuais das IAs conseguiram resultados ainda melhores. A pesquisa foi conduzida por cientistas do Center for AI Safety, do MIT Media Lab, da UFABC (Universidade Federal do ABC) e da SecureBio, entidade sem fins lucrativos que atua para prevenir danos biológicos e futuras pandemias.
Existe uma discussão: será que responder perguntas é um bom indicativo das capacidades dessas IAs? O fato duro é que elas respondem perguntas melhor do que os especialistas. Pedro Medeiros, biólogo e farmacêutico, mestre em biossistemas e bioinformata, que é pesquisador na universidade brasileira e na SecureBio
Como o teste foi desenvolvido
Estudo foi desenhado para ser muito difícil. Quase 60 especialistas em virologia contribuíram com perguntas para o teste, todos com doutorado, pós-doutorado ou em processo de obter o título. É a elite da área, diz Medeiros, de diferentes países, inclusive do Brasil.
Deixe um comentário