A ambiguidade na imagem médica pode representar grandes desafios para os médicos que buscam identificar doenças. Por exemplo, em uma radiografia de tórax, o derrame pleural, um acúmulo anormal de líquido nos pulmões, pode se assemelhar muito a infiltrados pulmonares, que são acúmulos de pus ou sangue. Um modelo de inteligência artificial poderia auxiliar o médico na análise de raios-X, ajudando a identificar detalhes sutis e aumentando a eficiência do processo de diagnóstico. No entanto, como tantas condições possíveis podem estar presentes em uma única imagem, o médico provavelmente desejaria considerar um conjunto de possibilidades, em vez de ter apenas uma previsão de IA para avaliar.
Uma maneira promissora de produzir um conjunto de possibilidades, chamada classificação conforme, é conveniente porque pode ser facilmente implementada sobre um modelo de aprendizado de máquina existente. No entanto, pode produzir conjuntos impraticavelmente grandes. Pesquisadores do MIT desenvolveram uma melhoria simples e eficaz que pode reduzir o tamanho dos conjuntos de previsões em até 30%, além de tornar as previsões mais confiáveis. Ter um conjunto de predição menor pode ajudar o médico a encontrar o diagnóstico correto com mais eficiência, o que pode melhorar e agilizar o tratamento dos pacientes. Esse método pode ser útil em uma série de tarefas de classificação — por exemplo, para identificar a espécie de um animal em uma imagem de um parque de vida selvagem —, pois oferece um conjunto de opções menor, porém mais preciso.
“Com menos aulas para considerar, os conjuntos de previsões são naturalmente mais informativos, pois você escolhe entre menos opções. De certa forma, você não está realmente sacrificando nada em termos de precisão por algo mais informativo”, diz Divya Shanmugam, pós-doutoranda na Cornell Tech, que conduziu esta pesquisa enquanto era aluna de pós-graduação no MIT. Shanmugam conta com a colaboração de Helen Lu; Swami Sankaranarayanan, ex-pós-doutorado do MIT que agora é pesquisador científico na Lilia Biosciences; e do autor sênior John Guttag, Professor Dugald C. Jackson de Ciência da Computação e Engenharia Elétrica do MIT e membro do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL). A pesquisa será apresentada na Conferência sobre Visão Computacional e Reconhecimento de Padrões em junho.
Garantias de previsão
Assistentes de IA implantados para tarefas de alto risco, como classificação de doenças em imagens médicas, normalmente são projetados para produzir uma pontuação de probabilidade junto com cada previsão, para que o usuário possa avaliar a confiabilidade do modelo. Por exemplo, um modelo pode prever que há 20% de chance de uma imagem corresponder a um diagnóstico específico, como pleurisia. Mas é difícil confiar na confiança prevista de um modelo, pois muitas pesquisas anteriores demonstraram que essas probabilidades podem ser imprecisas. Com a classificação conforme, a previsão do modelo é substituída por um conjunto de diagnósticos mais prováveis, juntamente com a garantia de que o diagnóstico correto está em algum lugar do conjunto.
Mas a incerteza inerente às previsões de IA muitas vezes faz com que o modelo produza conjuntos grandes demais para serem úteis. Por exemplo, se um modelo estiver classificando um animal em uma imagem como uma das 10.000 espécies potenciais, ele pode gerar um conjunto de 200 previsões para oferecer uma garantia forte. “São muitas classes para alguém analisar até descobrir qual é a classe certa”, diz Shanmugam. A técnica também pode não ser confiável porque pequenas alterações nas entradas, como girar levemente uma imagem, podem produzir conjuntos de previsões totalmente diferentes.
Para tornar a classificação conforme mais útil, os pesquisadores aplicaram uma técnica desenvolvida para melhorar a precisão dos modelos de visão computacional, chamada de aumento no tempo de teste (TTA). O TTA cria múltiplas ampliações de uma única imagem em um conjunto de dados, talvez cortando a imagem, invertendo-a, ampliando-a, etc. Em seguida, ele aplica um modelo de visão computacional a cada versão da mesma imagem e agrega suas previsões. “Dessa forma, você obtém múltiplas previsões a partir de um único exemplo. Agregar previsões dessa forma melhora a precisão e a robustez das previsões”, explica Shanmugam.
Maximizando a precisão
Para aplicar a TTA, os pesquisadores armazenam alguns dados de imagem rotulados usados para o processo de classificação conforme. Eles aprendem a agregar os aumentos nesses dados armazenados, aumentando automaticamente as imagens de forma a maximizar a precisão das previsões do modelo subjacente. Em seguida, eles executam a classificação conforme nas novas previsões do modelo, transformadas por TTA. O classificador conforme gera um conjunto menor de previsões prováveis para a mesma garantia de confiança.
“Combinar o aumento do tempo de teste com a previsão conforme é simples de implementar, eficaz na prática e não requer retreinamento do modelo”, diz Shanmugam. Em comparação ao trabalho anterior em previsão conforme em vários benchmarks de classificação de imagens padrão, seu método aumentado por TTA reduziu os tamanhos dos conjuntos de previsão em todos os experimentos, de 10 para 30 por cento. É importante ressaltar que a técnica alcança essa redução no tamanho do conjunto de previsões, mantendo a garantia de probabilidade.
Os pesquisadores também descobriram que, mesmo sacrificando alguns dados rotulados que normalmente seriam usados para o procedimento de classificação conforme, a TTA aumenta a precisão o suficiente para compensar o custo da perda desses dados. “Isso levanta questões interessantes sobre como usamos dados rotulados após o treinamento do modelo. A alocação de dados rotulados entre diferentes etapas pós-treinamento é uma direção importante para trabalhos futuros”, afirma Shanmugam. No futuro, os pesquisadores pretendem validar a eficácia dessa abordagem no contexto de modelos que classificam texto em vez de imagens. Para aprimorar ainda mais o trabalho, os pesquisadores também estão considerando maneiras de reduzir a quantidade de computação necessária para o TTA.
