Um drone autônomo que transporta água para ajudar a extinguir um incêndio florestal na Serra Nevada pode encontrar ventos fortes de Santa Ana que ameaçam desviá-lo de seu curso. Adaptar-se rapidamente a essas perturbações desconhecidas em voo representa um enorme desafio para o sistema de controle de voo do drone. Para ajudar esse drone a permanecer no alvo, pesquisadores do MIT desenvolveram um novo algoritmo de controle adaptativo baseado em aprendizado de máquina que poderia minimizar seu desvio da trajetória pretendida diante de forças imprevisíveis, como rajadas de vento.
Ao contrário das abordagens convencionais, a nova técnica não exige que a pessoa que programa o drone autônomo saiba nada com antecedência sobre a estrutura dessas perturbações incertas. Em vez disso, o modelo de inteligência artificial do sistema de controle aprende tudo o que precisa a partir de uma pequena quantidade de dados observacionais coletados em 15 minutos de voo. Importante ressaltar que a técnica determina automaticamente qual algoritmo de otimização deve ser usado para se adaptar às perturbações, o que melhora o desempenho do rastreamento. Ela escolhe o algoritmo que melhor se adapta à geometria das perturbações específicas que o drone está enfrentando.
Os pesquisadores treinam seu sistema de controle para fazer as duas coisas simultaneamente usando uma técnica chamada metaaprendizagem, que ensina o sistema a se adaptar a diferentes tipos de perturbações. Juntos, esses ingredientes permitem que seu sistema de controle adaptativo alcance 50% menos erro de rastreamento de trajetória do que os métodos básicos em simulações e tenha melhor desempenho com novas velocidades de vento que não foram observadas durante o treinamento. No futuro, esse sistema de controle adaptativo poderá ajudar drones autônomos a entregar encomendas pesadas com mais eficiência, apesar dos ventos fortes, ou monitorar áreas propensas a incêndios em um parque nacional.
“O aprendizado simultâneo desses componentes é o que dá força ao nosso método. Ao alavancar o meta-aprendizado, nosso controlador pode automaticamente fazer escolhas que serão melhores para uma adaptação rápida”, afirma Navid Azizan, Professor Assistente da Cátedra Esther e Harold E. Edgerton no Departamento de Engenharia Mecânica do MIT e no Instituto de Dados, Sistemas e Sociedade (IDSS), pesquisador principal do Laboratório de Sistemas de Informação e Decisão (LIDS) e autor sênior de um artigo sobre este sistema de controle. Azizan conta com a colaboração do autor principal, Sunbochen Tang, aluno de pós-graduação do Departamento de Aeronáutica e Astronáutica, e de Haoyuan Sun, aluno de pós-graduação do Departamento de Engenharia Elétrica e Ciência da Computação. A pesquisa foi apresentada recentemente na Conferência de Aprendizagem para Dinâmica e Controle.
Encontrando o algoritmo certo
Normalmente, um sistema de controle incorpora uma função que modela o drone e seu ambiente, incluindo algumas informações existentes sobre a estrutura de potenciais perturbações. Mas, em um mundo real repleto de condições incertas, muitas vezes é impossível projetar manualmente essa estrutura com antecedência. Muitos sistemas de controle utilizam um método de adaptação baseado em um algoritmo de otimização popular, conhecido como descida de gradiente, para estimar as partes desconhecidas do problema e determinar como manter o drone o mais próximo possível da trajetória alvo durante o voo. No entanto, a descida de gradiente é apenas um algoritmo em uma família maior de algoritmos disponíveis para escolha, conhecida como descida de espelho.
“A descida do espelho é uma família geral de algoritmos e, para qualquer problema, um desses algoritmos pode ser mais adequado do que outros. O importante é escolher o algoritmo específico certo para o seu problema. Em nosso método, automatizamos essa escolha”, diz Azizan. Em seu sistema de controle, os pesquisadores substituíram a função que contém alguma estrutura de potenciais perturbações por um modelo de rede neural que aprende a aproximá-las a partir de dados. Dessa forma, eles não precisam ter uma estrutura a priori das velocidades do vento que este drone poderia encontrar com antecedência.
O método deles também utiliza um algoritmo para selecionar automaticamente a função de descida do espelho correta enquanto aprende o modelo de rede neural a partir dos dados, em vez de presumir que o usuário já tenha escolhido a função ideal. Os pesquisadores fornecem a esse algoritmo uma gama de funções para escolher, e ele encontra a que melhor se adapta ao problema em questão. “Escolher uma boa função de geração de distância para construir a adaptação correta de descida do espelho é muito importante para obter o algoritmo certo para reduzir o erro de rastreamento”, acrescenta Tang.
Aprendendo a se adaptar
Embora a velocidade do vento que o drone possa encontrar possa mudar a cada vez que ele decola, a rede neural e a função de espelho do controlador devem permanecer as mesmas para que não precisem ser recomputadas a cada vez. Para tornar seu controlador mais flexível, os pesquisadores usam meta-aprendizagem, ensinando-o a se adaptar, mostrando-lhe uma variedade de famílias de velocidade do vento durante o treinamento. “Nosso método pode atender a diferentes objetivos porque, usando meta-aprendizagem, podemos aprender uma representação compartilhada por meio de diferentes cenários de forma eficiente a partir de dados”, explica Tang.
No final, o usuário fornece ao sistema de controle uma trajetória alvo e ele recalcula continuamente, em tempo real, como o drone deve produzir empuxo para mantê-lo o mais próximo possível dessa trajetória, ao mesmo tempo em que acomoda a perturbação incerta que ele encontra. Tanto em simulações quanto em experimentos do mundo real, os pesquisadores mostraram que seu método levou a um erro de rastreamento de trajetória significativamente menor do que as abordagens de base com todas as velocidades do vento testadas. “Mesmo que as perturbações do vento sejam muito mais fortes do que vimos durante o treinamento, nossa técnica mostra que ainda pode lidar com elas com sucesso”, acrescenta Azizan.
Além disso, a margem pela qual seu método superou as linhas de base aumentou à medida que a velocidade do vento se intensificou, mostrando que ele pode se adaptar a ambientes desafiadores. A equipe agora está realizando experimentos de hardware para testar seu sistema de controle em drones reais com condições de vento variadas e outras perturbações. Eles também querem estender seu método para que ele possa lidar com perturbações de múltiplas fontes simultaneamente. Por exemplo, mudanças na velocidade do vento podem fazer com que o peso de um pacote que o drone esteja carregando se desloque durante o voo, especialmente quando o drone estiver transportando cargas úteis com muita água.
Eles também querem explorar o aprendizado contínuo, para que o drone possa se adaptar a novas perturbações sem a necessidade de ser treinado novamente com os dados que viu até agora. “Navid e seus colaboradores desenvolveram um trabalho inovador que combina meta-aprendizagem com controle adaptativo convencional para aprender características não lineares a partir de dados. A chave para sua abordagem é o uso de técnicas de descida de espelho que exploram a geometria subjacente do problema de maneiras que a técnica anterior não conseguia. Seu trabalho pode contribuir significativamente para o projeto de sistemas autônomos que precisam operar em ambientes complexos e incertos”, afirma Babak Hassibi, Professor Mose e Lillian S. Bohn de Engenharia Elétrica e Ciências da Computação e Matemática no Caltech.
