O MIT, em conjunto com a Escola de Engenharia da Harvard, testa agentes de IA usando o jogo Battleship para entender como eles perguntam e aprendem. O objetivo \u00e9 reduzir custos e melhorar a efici\u00eancia de modelos em ambientes incertos.<\/p>\n
Os pesquisadores criaram o formato Collaborative Battleship, em que um capit\u00e3o faz perguntas e o spotter responde. Come\u00e7aram com mais de 40 participantes humanos para mapear perguntas e respostas, gerando o conjunto de dados BattleshipQA.<\/p>\n
Em seguida, validaram modelos de linguagem de diferentes portes. Mesmo sem treinamento pr\u00e9vio, LMs avan\u00e7ados completaram o jogo com menos turnos que humanos, enquanto modelos menores mostraram desempenho inferior. O desafio principal \u00e9 formular boas perguntas.<\/p>\n
A melhoria veio ao aplicar uma estrat\u00e9gia de infer\u00eancia de Monte Carlo, que pondera op\u00e7\u00f5es com base na probabilidade de acerto a cada resposta. Com isso, modelos menores alcan\u00e7aram vit\u00f3rias expressivas sobre jogadores humanos, reduzindo a diferen\u00e7a de desempenho.<\/p>\n
O destaque ficou com o Llama 4 Scout, que sem refinamentos vencia humanos em 8% das partidas. Com aperfei\u00e7oamento da estrat\u00e9gia, o \u00edndice de vit\u00f3rias subiu para 82%, superando tamb\u00e9m modelos de ponta a custo muito menor.<\/p>\n
Al\u00e9m disso, a equipe reduziu a lacuna na precis\u00e3o das respostas. Ao transformar perguntas em c\u00f3digo que verifica as solu\u00e7\u00f5es, a precis\u00e3o aumentou em m\u00e9dia 15%. Em consequ\u00eancia, modelos como GPT-4o-mini tiveram ganho pr\u00f3ximo de 30% no desempenho.<\/p>\n
\u201cO estudo mostra que perguntar bem depende de prever o mundo e simular hip\u00f3teses\u201d, afirma Gabriel Grand, da CSAIL. A equipe tamb\u00e9m usou Python para converter perguntas em comandos que guiam o spotter e melhorar explicita\u00e7\u00f5es das verifica\u00e7\u00f5es.<\/p>\n
Os pesquisadores estendem o experimento para al\u00e9m de Battleship, aplicando a t\u00e9cnica a jogos como Guess Who? e avaliando a performance de modelos grandes e pequenos. GPT-4o atingiu 90% de acerto; GPT-5 manteve o papel de spotter para aumentar a precis\u00e3o.<\/p>\n
Segundo os autores, ainda h\u00e1 espa\u00e7o para aperfei\u00e7oamento, especialmente na resolu\u00e7\u00e3o de perguntas complexas. O objetivo \u00e9 ampliar os testes para cen\u00e1rios mais desafiadores, com maior espa\u00e7o de op\u00e7\u00f5es e decis\u00f5es mais estrat\u00e9gicas para os agentes.<\/p>\n","protected":false},"excerpt":{"rendered":"