A velocidade com que surgem inovações tecnológicas por todo o mundo é surpreendente. E a tendência é que isso se acelere cada vez mais. Mas quais os impactos nocivos da tecnologia digital? Um novo estudo da Universidade de Cambridge publicado na revista Science aponta que a pesquisa científica sobre os danos revolução digital está presa em um “ciclo de falhas” que se move muito lentamente para permitir que os governos e a sociedade responsabilizem as empresas de tecnologia. A pesquisadora Amy Orben, da Universidade de Cambridge, e o J. Nathan Matias, da Universidade Cornell, dizem que o ritmo em que novas tecnologias são implantadas para bilhões de pessoas coloca uma pressão insuportável sobre os sistemas científicos que tentam avaliar seus efeitos.
Eles argumentam que as grandes empresas de tecnologia efetivamente terceirizam pesquisas sobre a segurança de seus produtos para cientistas independentes em universidades e instituições de caridade que trabalham com uma fração dos recursos – enquanto as empresas também obstruem o acesso a dados e informações essenciais. Isso contrasta com outros setores, onde os testes de segurança são, em grande parte, realizados “internamente”.
Orben e Matias pedem uma revisão da “produção de evidências” que avalie o impacto da tecnologia em tudo, desde a saúde mental até a discriminação. Suas recomendações incluem acelerar o processo de pesquisa, para que intervenções políticas e projetos mais seguros sejam testados paralelamente à coleta inicial de evidências, e criar registros de danos relacionados à tecnologia informados pelo público. “Grandes empresas de tecnologia agem cada vez mais com a percepção de impunidade, enquanto a confiança em sua preocupação com a segurança pública está diminuindo”, disse Orben, da Unidade de Cognição e Ciências do Cérebro do MRC de Cambridge. “Políticos e o público estão recorrendo a cientistas independentes como árbitros da segurança tecnológica.”
“Cientistas como nós estamos comprometidos com o bem público, mas somos solicitados a responsabilizar uma indústria bilionária sem o apoio adequado para nossa pesquisa ou as ferramentas básicas para produzir evidências de boa qualidade rapidamente. Precisamos consertar urgentemente esse ecossistema científico e político para que possamos entender e gerenciar melhor os riscos potenciais representados por nossa sociedade digital em evolução”, disse Orben.
‘Ciclo de feedback negativo’
No artigo científico mais recente, os pesquisadores apontam que as empresas de tecnologia frequentemente seguem políticas de implantação rápida de produtos primeiro e, em seguida, buscam “depurar” potenciais danos. Isso inclui, por exemplo, distribuir produtos de IA generativa para milhões de pessoas antes de concluir os testes básicos de segurança.
Quando incumbidos de compreender os potenciais danos das novas tecnologias, os pesquisadores contam com a “ciência de rotina” que – tendo impulsionado o progresso social por décadas – agora está atrasada em relação à taxa de mudança tecnológica a ponto de se tornar, às vezes, “inutilizável”.
Com muitos cidadãos pressionando os políticos a agirem em relação à segurança digital, Orben e Matias argumentam que as empresas de tecnologia usam o ritmo lento da ciência e a falta de evidências concretas para resistir às intervenções políticas e “minimizar sua própria responsabilidade”. Mesmo que a pesquisa receba os recursos adequados, eles observam que os pesquisadores terão que entender produtos que evoluem em um ritmo sem precedentes.
“Os produtos tecnológicos mudam diariamente ou semanalmente e se adaptam aos indivíduos. Mesmo os funcionários de uma empresa podem não compreender totalmente o produto em um dado momento, e a pesquisa científica pode estar desatualizada quando concluída, quanto mais publicada”, disse Matias, que lidera o Laboratório de Cidadãos e Tecnologia (CAT) da Universidade Cornell. “Ao mesmo tempo, alegações sobre a inadequação da ciência podem se tornar uma fonte de atraso na segurança tecnológica quando a ciência desempenha o papel de guardiã das intervenções políticas”, disse Matias.
Assim como as indústrias petrolífera e química se aproveitaram da lentidão da ciência para desviar as evidências que fundamentam a responsabilidade, executivos de empresas de tecnologia seguiram um padrão semelhante. Alguns até se recusaram a comprometer recursos substanciais em pesquisas de segurança sem certos tipos de evidências causais, que também se recusam a financiar.
Os pesquisadores descrevem o atual “ciclo de feedback negativo”:
As empresas de tecnologia não financiam adequadamente a pesquisa em segurança, transferindo a responsabilidade para cientistas independentes que carecem de dados e financiamento. Isso significa que evidências causais de alta qualidade não são produzidas dentro dos prazos exigidos, o que enfraquece a capacidade do governo de regulamentar – desincentivando ainda mais a pesquisa em segurança, já que as empresas ficam isentas de responsabilidade. Orben e Matias argumentam que esse ciclo deve ser redesenhado e oferecem maneiras de fazer isso.
Relatando danos digitais
Para acelerar a identificação de danos causados por tecnologias on-line, os formuladores de políticas ou a sociedade civil poderiam criar registros para relatórios de incidentes e incentivar o público a contribuir com evidências quando sofrer danos. Métodos semelhantes já são usados em áreas como toxicologia ambiental, onde o público relata sobre cursos d’água poluídos, ou programas de relatórios de acidentes de veículos que informam sobre segurança automotiva, por exemplo.
“Não ganhamos nada quando as pessoas são instruídas a desconfiar de suas experiências de vida devido à ausência de evidências quando essas evidências não estão sendo compiladas”, disse Matias. Os registros existentes, desde registros de mortalidade até bancos de dados de violência doméstica, também poderiam ser ampliados para incluir informações sobre o envolvimento de tecnologias digitais, como a IA. Os autores do artigo também descrevem um sistema de “evidência mínima viável”, no qual formuladores de políticas e pesquisadores ajustam o “limite de evidência” necessário para mostrar potenciais danos tecnológicos antes de começar a testar intervenções.
Esses limites de evidências poderiam ser definidos por painéis compostos por comunidades afetadas, pelo público ou por “tribunais científicos”: grupos de especialistas reunidos para fazer avaliações rápidas. “Evidências causais de danos tecnológicos são frequentemente necessárias antes que designers e cientistas possam testar intervenções para construir uma sociedade digital mais segura”, disse Orben. No entanto, os testes de intervenção podem ser usados para avaliar maneiras de ajudar indivíduos e a sociedade, e identificar potenciais danos no processo. Precisamos migrar de um sistema sequencial para um sistema ágil e paralelizado.
Em um sistema de evidências mínimas viáveis, se uma empresa obstruir ou deixar de apoiar pesquisas independentes e não for transparente sobre seus próprios testes internos de segurança, a quantidade de evidências necessárias para começar a testar possíveis intervenções seria reduzida. Orben e Matias também sugerem aprender com o sucesso da “Química Verde”, que vê um órgão independente manter listas de produtos químicos classificados por potencial de dano, para ajudar a incentivar os mercados a desenvolver alternativas mais seguras.
“Os métodos e recursos científicos que temos para a criação de evidências no momento simplesmente não conseguem acompanhar o ritmo do desenvolvimento da tecnologia digital”, disse Orben. “Cientistas e formuladores de políticas devem reconhecer as falhas deste sistema e ajudar a criar um melhor antes que a era da IA exponha ainda mais a sociedade aos riscos da mudança tecnológica descontrolada.” Matias acrescentou: “Quando a ciência sobre os impactos das novas tecnologias é muito lenta, todos perdem.”
