- DisCIPL é um framework em que um modelo “chefão” planeja e redistribui tarefas para modelos seguidores menores, usando a linguagem de controle LLaMPPL.
- Em testes, o sistema apresentou 40,1% de raciocínio mais curto e 80,2% de economia de custos em comparação com o modelo de referência o1, com possibilidade de paralelizar dezenas de LMs.
- Em tarefas como listas de ingredientes, roteiros de viagem e propostas com limites de palavras, DisCIPL ficou competitivo com o1 e superou o GPT-4o em algumas situações, especialmente na adesão a regras.
- O funcionamento envolve o “chefão” definir a estratégia e orientar os seguidores, que produzem saídas sob regras específicas; o raciocínio é feito por meio de código Python, o que torna o processo mais compacto.
- Os autores pretendem expandir para uma versão mais recursiva, aplicar a raciocínio matemático e testar atendimentos a preferências vagas; o estudo foi apresentado pela CSAIL do MIT e recebeu apoio de instituições e empresas.
DisCIPL é o novo framework desenvolvido pela CSAIL do MIT para tornar o raciocínio de grandes modelos mais eficiente, dividindo tarefas entre um modelo líder e múltiplos seguidores menores. O objetivo é manter a precisão em tarefas com regras estritas, reduzindo o tempo de resposta e o consumo de energia.
A ideia envolve um modelo “chefão” que planeja a tarefa e redistribui o trabalho entre LMs menores. O sistema permite paralelizar dezenas de modelos, aumentando a escalabilidade. Em avaliações, DisCIPL mostrou ganhos relevantes em consistência de respostas e economia de recursos.
Como funciona o DisCIPL
O líder, por meio de instruções em uma linguagem específica chamada LLaMPPL, orienta os seguidores a executar partes da tarefa. O processo corrige saídas dos LMs menores para manter coerência com as restrições solicitadas. A abordagem foi testada em textos breves, listas de compras com orçamento e roteiros de viagem.
Resultados e comparações
Os experimentos indicam que o DisCIPL conseguiu reduzir em 40,1% o raciocínio realizado em etapas, além de obter 80,2% de economia de custos em relação a sistemas de referência como o1. Modelos menores, como o Llama-3.2-1B, atuaram como seguidores, com custo por token significativamente menor.
Aplicação prática e desempenho
Em tarefas reais, DisCIPL competiu com o GPT-4o em planejamento de conteúdo e se manteve próximo do desempenho de sistemas avançados de raciocínio. Em cenários de produtos com limitações de palavras, o framework entregou saídas mais rápidas e com menor exigência computacional.
Contexto e desenvolvimento
O conceito combina a ideia de contratar tarefas específicas entre várias unidades de processamento de linguagem e o uso de LLaMPPL para controle fino das regras. A pesquisa envolve equipe do MIT CSAIL, com participação de pesquisadores de Berkeley e Yale em análises independentes.
Perspectivas futuras
Os autores planejam expandir o modelo para incluir recursão completa, permitindo que o mesmo modelo atue como líder e seguidor de forma mais integrada. Também estudam aplicar DisCIPL a raciocínio matemático e a atendimentos com preferências vagas dos usuários.
Apoio institucional
O estudo contou com financiamento de instituições como MIT Quest for Intelligence, Siegel Family Foundation e MIT-IBM Watson AI Lab, entre outros. A apresentação ocorreu em conferências de linguagem e workshops no fim de 2024.
Entre na conversa da comunidade