Um estudo da MIT revela que plataformas que classificam os LLMs mais recentes podem ser pouco confi\u00e1veis. Pequenas mudan\u00e7as em dados crowdsourced podem alterar o ranking e levar a acreditar que um modelo \u00e9 superior para um uso espec\u00edfico. A pesquisa mostra que remover uma fra\u00e7\u00e3o min\u00fascula de votos pode reverter a posi\u00e7\u00e3o dos modelos no topo.<\/p>\n
Os pesquisadores desenvolveram um m\u00e9todo r\u00e1pido para testar a robustez dessas plataformas. A t\u00e9cnica identifica quais votos individuais mais influenciam o resultado, permitindo que usu\u00e1rios verifiquem os votos mais relevantes e inspectem seu impacto no ranking.<\/p>\n
O estudo analisa plataformas de ranking que, em geral, pedem aos usu\u00e1rios que compara\u00e7\u00e3o dois modelos e escolham qual entrega a melhor resposta. Os resultados s\u00e3o coletados para criar listas de desempenho em tarefas como codifica\u00e7\u00e3o e compreens\u00e3o visual.<\/p>\n
Ao aplicar a t\u00e9cnica a plataformas populares, os cientistas observaram que a remo\u00e7\u00e3o de apenas dois votos de um conjunto com mais de 57 mil j\u00e1 mudava o modelo l\u00edder. Em outra plataforma mais robusta, 83 de 2.575 avalia\u00e7\u00f5es precisaram ser descartados para inverter as posi\u00e7\u00f5es dominantes.<\/p>\n
Os autores destacam que muitos votos influentes parecem resultar de erro do usu\u00e1rio, como cliques indevidos ou falta de aten\u00e7\u00e3o. Recomendam coletar feedback adicional, como n\u00edveis de confian\u00e7a, para tornar as avalia\u00e7\u00f5es mais est\u00e1veis.<\/p>\n
Os pesquisadores defendem estrat\u00e9gias mais rigorosas para avaliar rankings de LLMs e sugerem que mediadores humanos possam ajudar a reduzir ru\u00eddos. Embora o estudo n\u00e3o trate de mitiga\u00e7\u00e3o, aponta caminhos para tornar as plataformas mais robustas diante de dados imperfeitos.<\/p>\n
A pesquisa foi conduzida por Tamara Broderick e colegas da EECS da MIT, incluindo Jenny Huang, Yunyi Shen e Dennis Wei da IBM Research. O trabalho ser\u00e1 apresentado em uma confer\u00eancia internacional sobre Representa\u00e7\u00f5es de Aprendizado. Fontes de apoio incluem \u00f3rg\u00e3os como Office of Naval Research, MIT-IBM Watson AI Lab, NSF, Amazon e CSAIL.<\/p>\n","protected":false},"excerpt":{"rendered":"