DisCIPL \u00e9 o novo framework desenvolvido pela CSAIL do MIT para tornar o racioc\u00ednio de grandes modelos mais eficiente, dividindo tarefas entre um modelo l\u00edder e m\u00faltiplos seguidores menores. O objetivo \u00e9 manter a precis\u00e3o em tarefas com regras estritas, reduzindo o tempo de resposta e o consumo de energia.<\/p>\n
A ideia envolve um modelo \u201cchef\u00e3o\u201d que planeja a tarefa e redistribui o trabalho entre LMs menores. O sistema permite paralelizar dezenas de modelos, aumentando a escalabilidade. Em avalia\u00e7\u00f5es, DisCIPL mostrou ganhos relevantes em consist\u00eancia de respostas e economia de recursos.<\/p>\n
O l\u00edder, por meio de instru\u00e7\u00f5es em uma linguagem espec\u00edfica chamada LLaMPPL, orienta os seguidores a executar partes da tarefa. O processo corrige sa\u00eddas dos LMs menores para manter coer\u00eancia com as restri\u00e7\u00f5es solicitadas. A abordagem foi testada em textos breves, listas de compras com or\u00e7amento e roteiros de viagem.<\/p>\n
Os experimentos indicam que o DisCIPL conseguiu reduzir em 40,1% o racioc\u00ednio realizado em etapas, al\u00e9m de obter 80,2% de economia de custos em rela\u00e7\u00e3o a sistemas de refer\u00eancia como o1. Modelos menores, como o Llama-3.2-1B, atuaram como seguidores, com custo por token significativamente menor.<\/p>\n
Em tarefas reais, DisCIPL competiu com o GPT-4o em planejamento de conte\u00fado e se manteve pr\u00f3ximo do desempenho de sistemas avan\u00e7ados de racioc\u00ednio. Em cen\u00e1rios de produtos com limita\u00e7\u00f5es de palavras, o framework entregou sa\u00eddas mais r\u00e1pidas e com menor exig\u00eancia computacional.<\/p>\n
O conceito combina a ideia de contratar tarefas espec\u00edficas entre v\u00e1rias unidades de processamento de linguagem e o uso de LLaMPPL para controle fino das regras. A pesquisa envolve equipe do MIT CSAIL, com participa\u00e7\u00e3o de pesquisadores de Berkeley e Yale em an\u00e1lises independentes.<\/p>\n
Os autores planejam expandir o modelo para incluir recurs\u00e3o completa, permitindo que o mesmo modelo atue como l\u00edder e seguidor de forma mais integrada. Tamb\u00e9m estudam aplicar DisCIPL a racioc\u00ednio matem\u00e1tico e a atendimentos com prefer\u00eancias vagas dos usu\u00e1rios.<\/p>\n
O estudo contou com financiamento de institui\u00e7\u00f5es como MIT Quest for Intelligence, Siegel Family Foundation e MIT-IBM Watson AI Lab, entre outros. A apresenta\u00e7\u00e3o ocorreu em confer\u00eancias de linguagem e workshops no fim de 2024.<\/p>\n","protected":false},"excerpt":{"rendered":"