Detectar escrita por meio de inteligência artificial é uma tarefa árdua: fazer isso corretamente significa ser eficaz na identificação, mas também ter cuidado para não acusar falsamente um ser humano de usá-la. E poucas ferramentas alcançam o equilíbrio certo. Uma equipe de pesquisadores da Universidade de Michigan afirma ter criado uma nova maneira de saber se um texto escrito por IA passa nos dois testes — algo que pode ser especialmente útil no meio acadêmico e em políticas públicas, à medida que o conteúdo de IA prolifera e se torna mais indistinguível do conteúdo gerado por humanos.
A equipe chama sua ferramenta de “Liketropy”, que é inspirada na espinha dorsal teórica de seu método: ela combina probabilidade e entropia, duas ideias estatísticas que impulsionam seu teste. Eles criaram “testes estatísticos de tiro zero”, que podem determinar se um texto foi escrito por um humano ou por um Modelo de Linguagem Grande, sem exigir treinamento prévio com exemplos de cada um. A ferramenta atual concentra-se em Modelos de Linguagem de Grande Escala (LLMs), um tipo específico de IA para produção de texto. Ela utiliza propriedades estatísticas do próprio texto, como o quão surpreendentes ou previsíveis as palavras são, para decidir se ele parece mais humano ou gerado por máquina.
Em testes com conjuntos de dados de larga escala — mesmo aqueles cujos modelos foram ocultados do público ou nos quais o texto gerado por IA foi projetado para superar os detectores —, os pesquisadores afirmam que sua ferramenta apresentou bom desempenho. Quando o teste é projetado com LLMs específicos em mente como potenciais geradores do texto, ele atinge uma precisão média acima de 96% e uma taxa de falsas acusações de apenas 1%. “Fomos muito intencionais em não criar um detector que apenas apontasse o dedo. Detectores de IA podem ser excessivamente confiantes, e isso é arriscado — especialmente em educação e política”, disse Tara Radvand , doutoranda da Ross School of Business da Universidade de Michigan e coautora do estudo. “Nosso objetivo era ser cautelosos com falsas acusações, mas ainda sinalizar conteúdo gerado por IA com confiança estatística.”
Entre as descobertas inesperadas dos pesquisadores estava o quão pouco eles precisavam saber sobre um modelo de linguagem para serem capazes de capturá-lo. O teste funcionou e ainda teve um bom desempenho, desafiando a suposição de que a detecção depende de acesso, treinamento ou cooperação, disse Radvand. A equipe foi motivada pela justiça, especialmente para estudantes internacionais e falantes não nativos de inglês. A literatura emergente mostra que alunos que falam inglês como segunda língua podem ser injustamente sinalizados por escreverem “semelhantes à IA” devido ao tom ou à estrutura das frases.
“Nossa ferramenta pode ajudar esses alunos a autoavaliar seus trabalhos de forma transparente e de baixo risco antes do envio”, aponta Radvand.Quanto aos próximos passos, ela e seus colegas planejam expandir sua demonstração para uma ferramenta adaptável a diferentes domínios. Eles descobriram que áreas como direito e ciências, bem como aplicações como admissão em faculdades, têm limites diferentes na relação entre “cauteloso e eficaz”. Uma aplicação crucial dos detectores de IA é reduzir a disseminação de desinformação nas redes sociais. Algumas ferramentas treinam intencionalmente os LLMs a adotar crenças extremas e disseminar desinformação nas redes sociais para manipular a opinião pública.
Como esses sistemas podem gerar conteúdo falso em larga escala, os pesquisadores afirmam ser crucial desenvolver ferramentas de detecção confiáveis que possam sinalizar esse tipo de conteúdo e comentários. A identificação precoce ajuda as plataformas a limitar o alcance de narrativas prejudiciais e a proteger a integridade do discurso público. Eles também planejam conversar com líderes empresariais e universitários da UM sobre a perspectiva de adotar sua ferramenta como um complemento ao “UM GPT” (um chatbot semelhante ao ChatGPT, mas com algumas vantagens, é uma plataforma versátil e segura para uso geral de IA dentro do ecossistema da universidade, sem custos extras e com modelos poderosos.) e ao assistente de IA “UM Maizey” (plataforma no‑code que permite criar chatbots personalizados usando seus próprios dados; é um kit modular para criar chatbots com conteúdo próprio, sem precisar programar) para verificar se o texto foi gerado por essas ferramentas em comparação com um modelo de IA externo, como o ChatGPT. A Liketropy recebeu o prêmio de Melhor Apresentação no Simpósio de Estudantes de Michigan para Ciências Estatísticas Interdisciplinares, um evento anual organizado por estudantes de pós-graduação. Também foi destaque da Paris Women in Machine Learning and Data Science, uma comunidade francesa de mulheres interessadas em aprendizado de máquina e ciência de dados que organiza diversos eventos.
