Sistemas de inteligência artificial como o ChatGPT fornecem respostas aparentemente plausíveis para qualquer pergunta que você possa fazer. Mas nem sempre revelam lacunas em seu conhecimento ou áreas em que há incertezas. Esse problema pode ter consequências enormes, já que os sistemas de IA são cada vez mais usados para tarefas como desenvolver medicamentos, sintetizar informações e dirigir carros autônomos.
Agora, a Themis AI, spin-off do MIT, está ajudando a quantificar a incerteza dos modelos e a corrigir resultados antes que eles causem problemas maiores. A plataforma Capsa da empresa pode funcionar com qualquer modelo de aprendizado de máquina para detectar e corrigir resultados não confiáveis em segundos. Ela funciona modificando modelos de IA para permitir que eles detectem padrões no processamento de dados que indiquem ambiguidade, incompletude ou viés.
“A ideia é pegar um modelo, envolvê-lo no Capsa, identificar as incertezas e os modos de falha do modelo e, então, aprimorá-lo”, afirma Daniela Rus, cofundadora da Themis AI e professora do MIT, que também é diretora do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL). “Estamos entusiasmados em oferecer uma solução que pode aprimorar modelos e oferecer garantias de que o modelo está funcionando corretamente.” Daniela Rus fundou a Themis AI em 2021 com Alexander Amini e Elaheh Ahmadi, dois ex-pesquisadores afiliados em seu laboratório. Desde então, eles ajudaram empresas de telecomunicações com planejamento e automação de redes, empresas de petróleo e gás a usar IA para entender imagens sísmicas e publicaram artigos sobre o desenvolvimento de chatbots mais confiáveis.
“Queremos viabilizar a IA nas aplicações de maior risco de todos os setores”, afirma Amini. “Todos nós já vimos exemplos de IA alucinando ou cometendo erros. À medida que a IA for implantada de forma mais ampla, esses erros poderão levar a consequências devastadoras. Nosso software pode tornar esses sistemas mais transparentes.”
O laboratório de Daniela pesquisa a incerteza dos modelos há anos. Em 2018, ela recebeu financiamento da Toyota para estudar a confiabilidade de uma solução de direção autônoma baseada em aprendizado de máquina. “Esse é um contexto crítico de segurança em que entender a confiabilidade do modelo é muito importante”, ela afirma. Em um trabalho separado , Daniela, Amini e seus colaboradores construíram um algoritmo capaz de detectar preconceitos raciais e de gênero em sistemas de reconhecimento facial e reponderar automaticamente os dados de treinamento do modelo, demonstrando que o viés foi eliminado. O algoritmo funcionou identificando as partes não representativas dos dados de treinamento subjacentes e gerando novas amostras de dados semelhantes para rebalanceá-los.
Em 2021, os futuros cofundadores demonstraram que uma abordagem semelhante poderia ser usada para ajudar empresas farmacêuticas a usar modelos de IA para prever as propriedades de candidatos a medicamentos. Eles fundaram a Themis AI no final daquele ano. “Orientar a descoberta de medicamentos pode economizar muito dinheiro”, diz Daniela Rus. “Esse foi o caso de uso que nos fez perceber o quão poderosa essa ferramenta poderia ser.”
Hoje, a Themis trabalha com empresas de diversos setores, e muitas delas estão construindo grandes modelos de linguagem. Usando o Capsa, os modelos conseguem quantificar sua própria incerteza para cada saída. “Muitas empresas estão interessadas em usar LLMs baseados em seus dados, mas estão preocupadas com a confiabilidade”, observa Stewart Jamieson, chefe de tecnologia da Themis AI. “Ajudamos os LLMs a relatar sua confiança e incerteza, o que permite respostas mais confiáveis a perguntas e a sinalização de resultados não confiáveis.”
A Themis AI também está em discussões com empresas de semicondutores para desenvolver soluções de IA em seus chips que possam funcionar fora de ambientes de nuvem. “Normalmente, esses modelos menores que funcionam em celulares ou sistemas embarcados não são muito precisos em comparação com o que você poderia executar em um servidor, mas podemos obter o melhor dos dois mundos: baixa latência e computação de ponta eficiente sem sacrificar a qualidade”, explica Jamieson. “Vemos um futuro em que os dispositivos de ponta fazem a maior parte do trabalho, mas, sempre que não tiverem certeza do resultado, podem encaminhar essas tarefas para um servidor central.”
As empresas farmacêuticas também podem usar o Capsa para melhorar os modelos de IA usados para identificar candidatos a medicamentos e prever seu desempenho em ensaios clínicos. “As previsões e os resultados desses modelos são muito complexos e difíceis de interpretar – especialistas dedicam muito tempo e esforço tentando entendê-los”, observa Amini. “O Capsa pode fornecer insights desde o início para entender se as previsões são respaldadas por evidências no conjunto de treinamento ou se são apenas especulações sem grande embasamento. Isso pode acelerar a identificação das previsões mais fortes, e acreditamos que isso tem um enorme potencial para o bem da sociedade.”
A equipe da Themis AI acredita que a empresa está bem posicionada para aprimorar o que há de mais moderno em tecnologia de IA em constante evolução. Por exemplo, a empresa está explorando a capacidade da Capsa de aprimorar a precisão de uma técnica de IA conhecida como raciocínio em cadeia, na qual os LLMs explicam os passos que seguem para chegar a uma resposta. “Vimos sinais de que o Capsa poderia ajudar a orientar esses processos de raciocínio para identificar as cadeias de raciocínio de maior confiança”, diz Amini. “Acreditamos que isso tem enormes implicações em termos de melhoria da experiência do LLM, redução de latências e redução dos requisitos de computação. É uma oportunidade de altíssimo impacto para nós.”
Para Daniela, que foi cofundadora de diversas empresas desde que chegou ao MIT, a Themis AI é uma oportunidade de garantir que sua pesquisa no MIT tenha impacto. “Meus alunos e eu estamos cada vez mais apaixonados por ir além e tornar nosso trabalho relevante para o mundo”, ela aponta. “A IA tem um enorme potencial para transformar indústrias, mas também levanta preocupações. O que me entusiasma é a oportunidade de ajudar a desenvolver soluções técnicas que abordem esses desafios e também de construir confiança e entendimento entre as pessoas e as tecnologias que estão se tornando parte de suas vidas cotidianas.”
