A equipe de MIT e da University of California San Diego apresentou uma nova abordagem para testar se modelos de linguagem ampliados cont\u00eam vieses, personalidades, humores ou outros conceitos abstratos escondidos. A t\u00e9cnica tamb\u00e9m permite ajustar, ou seja, direcionar, essas representa\u00e7\u00f5es para influenciar respostas geradas pelo modelo. A divulga\u00e7\u00e3o ocorreu em um estudo publicado na revista Science.<\/p>\n
Os pesquisadores concentraram-se em identificar representa\u00e7\u00f5es de conceitos dentro de grandes modelos de linguagem (LLMs) e, em seguida, modul\u00e1-los para ampliar ou reduzir determinados tra\u00e7os nas respostas. O estudo avaliou mais de 500 conceitos gerais presentes em alguns dos maiores LLMs usados hoje.<\/p>\n
Entre os conceitos explorados, destacam-se tra\u00e7os de personalidade como social influencer e conspiracionista, al\u00e9m de estados como medo de casamento e gosto por Boston. Em v\u00e1rios casos, os pesquisadores conseguiram aumentar ou diminuir a presen\u00e7a desses conceitos nas respostas produzidas pelos modelos a partir de prompts.<\/p>\n
A equipe utiliza um algoritmo de aprendizado de recursos recursivo (RFM) para reconhecer padr\u00f5es num\u00e9ricos nas representa\u00e7\u00f5es do LLM que correspondem a um conceito de interesse. Com isso, \u00e9 poss\u00edvel orientar a resposta do modelo, modulando a atividade associada ao conceito identificado.<\/p>\n
O m\u00e9todo foi aplicado a modelos de linguagem e vis\u00e3o, incluindo alguns dos maiores dispon\u00edveis, para demonstrar a identifica\u00e7\u00e3o e a manipula\u00e7\u00e3o de conceitos como conspiracionista ou anti-repuls\u00e3o. Em um exemplo, ao refor\u00e7ar a representa\u00e7\u00e3o de conspiracionista e solicitar explica\u00e7\u00e3o sobre a origem da imagem Blue Marble, o modelo produziu uma resposta com tom e perspectiva ligados a esse conceito.<\/p>\n
Segundo os autores, h\u00e1 riscos na extra\u00e7\u00e3o de certas representa\u00e7\u00f5es, o que tamb\u00e9m \u00e9 demonstrado no estudo. Ainda assim, os pesquisadores afirmam que a abordagem pode trazer clareza sobre vulnerabilidades e permitir ajustes para melhorar seguran\u00e7a ou desempenho de LLMs.<\/p>\n
Adityanarayanan Radhakrishnan, professor assistente de matem\u00e1tica de MIT, explica que os conceitos est\u00e3o presentes nos modelos, mas nem sempre s\u00e3o expostos ativamente. Segundo ele, a t\u00e9cnica permite extrair e ativar esses conceitos de maneiras n\u00e3o alcan\u00e7\u00e1veis apenas por prompt.<\/p>\n
O estudo re\u00fane coautores da UC San Diego, Daniel Beaglehole e Mikhail Belkin, al\u00e9m de Enric Boix-Adser\u00e0, da University of Pennsylvania. A pesquisa foi parcialmente financiada pela National Science Foundation, pela Simons Foundation, pelo TILOS e pela U.S. Office of Naval Research.<\/p>\n","protected":false},"excerpt":{"rendered":"