Busca no Tempo de Inferência: Nova Lei de Escala da IA ou Apenas um Truque?
O mundo da IA está agitado com uma potencial nova "lei de escala" chamada "busca no tempo de inferência". Mas o que é isso e é realmente uma virada de jogo? Vamos nos aprofundar.
O Que é Busca no Tempo de Inferência?
As leis de escala da IA descrevem como o desempenho do modelo de IA melhora com o aumento do tamanho do conjunto de dados e do poder computacional. Embora o pré-treinamento já tenha sido a abordagem dominante, a escala pós-treinamento e a escala do tempo de teste surgiram. Agora, pesquisadores do Google e da UC Berkeley propõem a "busca no tempo de inferência" como uma possível quarta lei.
A busca no tempo de inferência envolve gerar várias respostas possíveis para uma consulta e, em seguida, selecionar a "melhor". Os pesquisadores afirmam que este método pode aumentar significativamente o desempenho de modelos como o Gemini 1.5 Pro, superando até mesmo o o1-preview do OpenAI em certos benchmarks.
Eric Zhao, doutorando do Google e coautor do artigo, explicou no X que "apenas amostrando aleatoriamente 200 respostas e autoverificando, o Gemini 1.5 - um modelo antigo do início de 2024 - supera o o1-preview e se aproxima do o1". Ele também observou que a autoverificação se torna mais fácil em escala.
Ceticismo de Especialistas
Apesar da empolgação inicial, alguns especialistas permanecem céticos quanto à aplicabilidade generalizada da busca no tempo de inferência.
Matthew Guzdial, pesquisador de IA da Universidade de Alberta, destaca que essa abordagem funciona melhor quando uma boa "função de avaliação" está disponível, o que significa que a melhor resposta pode ser facilmente identificada. No entanto, muitas consultas do mundo real não têm soluções tão claras.
"[S]e não podemos escrever código para definir o que queremos, não podemos usar a busca [no tempo de inferência]", explica Guzdial. "Para algo como a interação geral da linguagem, não podemos fazer isso [...] Geralmente não é uma ótima abordagem para realmente resolver a maioria dos problemas."
Mike Cook, pesquisador do King's College London, ecoa esse sentimento, enfatizando que a busca no tempo de inferência não melhora necessariamente o processo de raciocínio do modelo. Em vez disso, é uma solução alternativa para as limitações da IA, que às vezes pode fazer previsões confiantes, mas incorretas.
"[A busca no tempo de inferência] não 'eleva o processo de raciocínio' do modelo", disse Cook. "[É] apenas uma maneira de contornarmos as limitações de uma tecnologia propensa a cometer erros apoiados com muita confiança."
A Busca Continua
As limitações da busca no tempo de inferência podem decepcionar aqueles que procuram maneiras mais eficientes de dimensionar o "raciocínio" do modelo. Como os próprios pesquisadores reconhecem, os modelos de raciocínio atuais podem ser incrivelmente caros computacionalmente. Portanto, a busca por técnicas de dimensionamento novas e eficazes continua sendo uma prioridade no campo da IA.
Source: TechCrunch