Direto Notícias Imparcial, Transparente e Direto!
Artigos Relacionados
Primeiramente, imagine perguntar algo completamente absurdo a um assistente virtual — e receber uma resposta confiante, como se a questão fizesse total sentido. De fato, é exatamente isso que pesquisadores do MIT acabam de comprovar em um estudo revelador sobre os bastidores dos grandes modelos de linguagem.
Em outras palavras, sistemas como GPT-4 e Llama não compreendem verdadeiramente o que lhes é perguntado. Consequentemente, eles se apoiam em padrões gramaticais memorizados durante o treinamento, confundindo a estrutura sintática com a intenção real da mensagem. O estudo será apresentado na NeurIPS, uma das conferências mais prestigiadas do setor.
Quando a gramática engana a inteligência artificial
A equipe liderada pela professora Marzyeh Ghassemi, em parceria com a Northeastern University e a Meta, demonstrou que os modelos criam atalhos entre formatos gramaticais e categorias de resposta. Por exemplo, a pergunta “Onde Paris está localizada?” gera corretamente “França”. Porém, uma frase sem sentido com estrutura idêntica — “Rapidamente sentar Paris nublado?” — produz a mesma resposta.
Além disso, os pesquisadores substituíram palavras por sinônimos, antônimos e termos aleatórios. Ainda assim, os modelos continuaram respondendo como se nada estivesse errado. Ou seja, a inteligência artificial reconhece a forma, porém ignora o conteúdo.
Risco real: hackers podem explorar essa brecha
Nesse sentido, o problema vai além de respostas estranhas. Dessa forma, invasores podem formular comandos maliciosos utilizando padrões gramaticais que os filtros de segurança interpretam como inofensivos. Certamente, isso representa uma ameaça concreta para setores como saúde, finanças e atendimento emergencial, onde precisão é indispensável.
Soluções propostas pelo MIT para o problema
Por outro lado, os pesquisadores já desenvolveram um procedimento automático de auditoria. Assim sendo, desenvolvedores podem verificar se seus modelos dependem desses atalhos sintáticos. As recomendações incluem ampliar a diversidade gramatical nos dados de treinamento e introduzir contraexemplos que quebrem correlações falsas.
Finalmente, a descoberta não invalida a inteligência artificial generativa, porém expõe uma limitação estrutural profunda. Sem dúvida, o verdadeiro avanço não virá de modelos mais potentes — mas de sistemas genuinamente capazes de compreender o que lhes é dito.
