O MIT concluiu que chatbots de IA podem oferecer informa\u00e7\u00f5es menos precisas a usu\u00e1rios com menos educa\u00e7\u00e3o formal, profici\u00eancia em ingl\u00eas menor e origem fora dos EUA. O estudo avaliou modelos de ponta, como GPT-4, Claude 3 Opus e Llama 3, em perguntas de dois conjuntos de dados.<\/p>\n
Os pesquisadores ajustaram perguntas com biografias curtas de usu\u00e1rios, variando n\u00edvel educacional, ingl\u00eas e pa\u00eds de origem. Em ambos os conjuntos, houve queda de precis\u00e3o para usu\u00e1rios com menos educa\u00e7\u00e3o e ingl\u00eas como segunda l\u00edngua, sendo mais acentuada para quem combinava esses fatores.<\/p>\n
Claude 3 Opus destacou-se pela maior taxa de recusa a responder e por linguagem condescendente em muitos casos. Em menos-educados, n\u00e3o-nativos e de Iran ou R\u00fassia, houve bloqueio de temas como energia nuclear, anatomia e eventos hist\u00f3ricos, ainda que a mesma consulta fosse respondida a outros usu\u00e1rios.<\/p>\n
Entre os dados, Claude 3 Opus recusou cerca de 11% das perguntas para usu\u00e1rios com menor educa\u00e7\u00e3o e ingl\u00eas n\u00e3o nativo, contra 3,6% no grupo de controle. An\u00e1lise manual mostrou condesc\u00eancia em 43,7% das respostas para esse grupo, frente a menos de 1% para usu\u00e1rios mais bem formados.<\/p>\n
Pesquisadores destacam que os efeitos se somam: a combina\u00e7\u00e3o de menor escolaridade e ingl\u00eas n\u00e3o nativo produz quedas acentuadas na qualidade das respostas. Jad Kabbara cita risco de dissemina\u00e7\u00e3o de informa\u00e7\u00f5es inadequadas quando o modelo opera em larga escala.<\/p>\n
Os resultados foram apresentados no AAAI Conference on Artificial Intelligence, em janeiro, com autoria de Elinor Poole-Dayan e Jad Kabbara, entre outros. O estudo sugere que estrat\u00e9gias de alinhamento devem reduzir vieses e evitar restri\u00e7\u00f5es indevidas a usu\u00e1rios j\u00e1 marginalizados.<\/p>\n
O estudo enfatiza ainda o desafio de personaliza\u00e7\u00e3o presente em recursos como mem\u00f3ria de conversas, que pode tratar grupos j\u00e1 vulner\u00e1veis de forma diferente. A pesquisa refor\u00e7a a necessidade de avalia\u00e7\u00e3o cont\u00ednua de vieses sistem\u00e1ticos em LLMs para evitar impactos prejudiciais.<\/p>\n","protected":false},"excerpt":{"rendered":"