Mas a OpenAI teve problemas com o aumento de escala. Um dos problemas foi a barreira de dados com a qual a empresa se deparou, e o ex-cientista-chefe da OpenAI, Ilya Sutskever, disse no ano passado que, embora o poder de processamento estivesse crescendo, o volume de dados não estava.
Ele se referiu ao fato de que os modelos de linguagem de grande porte são treinados em conjuntos de dados maciços que vasculham toda a Internet, e os laboratórios de IA não têm outras opções para grandes quantidades de dados textuais gerados por humanos.
Além da falta de dados, outro problema é que as “execuções de treinamento” de modelos grandes têm maior probabilidade de apresentarem falhas induzidas por hardware, dada a complexidade do sistema, e os pesquisadores podem não saber o desempenho final dos modelos até o fim da execução, o que pode levar meses.
Ao mesmo tempo, a OpenAI descobriu outro caminho para uma IA mais inteligente, chamado de “computação em tempo de teste”, uma maneira de fazer com que o modelo de IA gaste mais tempo com o poder de computação “pensando” em cada pergunta, permitindo que ele resolva tarefas desafiadoras, como matemática ou operações complexas que exigem raciocínio e tomada de decisões avançados.
O GPT-5 atua como um roteador, ou seja, se um usuário perguntar ao GPT-5 um problema particularmente difícil, ele usará a computação em tempo de teste para responder à pergunta.
Esta é a primeira vez que o público em geral terá acesso à tecnologia de computação em tempo de teste da OpenAI.
Deixe um comentário