A pesquisa prop\u00f5e acelerar o treinamento de modelos de linguagem de grande escala (LLMs) ao usar o tempo ocioso de computadores. O m\u00e9todo, desenvolvido por pesquisadores do MIT e parceiros, permite dobrar a velocidade de treinamento sem perder precis\u00e3o. A t\u00e9cnica envolve treinar um modelo menor para prever as sa\u00eddas do modelo maior, que verifica as respostas.<\/p>\n
O sistema, chamado Taming the Long Tail (TLT), usa dois componentes adapt\u00e1veis. Primeiro, um drafter trein\u00e1vel durante ociosidade de processadores. Segundo, um motor de rollout adaptativo que ajusta a estrat\u00e9gia de decodifica\u00e7\u00e3o conforme a carga de treino. O objetivo \u00e9 transformar tempo ocioso em ganho de velocidade.<\/p>\n
Em RL, o treinamento de LLMs envolve gerar v\u00e1rias respostas e selecionar a melhor, repetindo o processo milhares de vezes. O custo \u00e9 elevado porque a fase de rollout pode consumir at\u00e9 85% do tempo de treino. O drafter r\u00e1pido reduz esse custo ao prever sa\u00eddas para verifica\u00e7\u00e3o.<\/p>\n
O estudo demonstra que o TLT acelera o treinamento entre 70% e 210%, mantendo a acur\u00e1cia. Os resultados foram testados em diferentes LLMs de racioc\u00ednio, com dados do mundo real. O drafter menor tamb\u00e9m pode servir \u00e0 implanta\u00e7\u00e3o eficiente.<\/p>\n
A equipe destaca que o drafter \u00e9 treinado de forma cont\u00ednua, alinhando-se ao modelo-alvo sem aumentar custo. Dados de verifica\u00e7\u00e3o s\u00e3o usados para orientar a sele\u00e7\u00e3o de estrat\u00e9gias de decodifica\u00e7\u00e3o para cada lote de entradas.<\/p>\n
A pesquisa contou com apoio do MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company e NSF. Os autores envolvidos incluem Qinghao Hu, Shang Yang e outros pesquisadores do MIT, NVIDIA, ETH Zurich e UMass Amherst. A apresenta\u00e7\u00e3o ocorrer\u00e1 em confer\u00eancia da ACM.<\/p>\n","protected":false},"excerpt":{"rendered":"