James Dawes, professor de inglês no Macalester College, analisa a situação atual e o possível futuro que enfrentaremos se nada for feito para impedir o desenvolvimento de 'robôs assassinos'.
Sistemas de armas autônomos - comumente conhecidos como robôs assassinos - podem ter matado seres humanos pela primeira vez no ano passado, de acordo com um relatório recente do Conselho de Segurança das Nações Unidas sobre a guerra civil na Líbia. A história bem poderia identificar isso como o ponto de partida da próxima grande corrida armamentista, que tem potencial para ser o ponto final da humanidade.
A Convenção das Nações Unidas sobre Certas Armas Convencionais debateu a questão do banimento de armas autônomas em sua reunião de revisão uma vez a cada cinco anos em Genebra, de 13 a 17 de dezembro de 2021, mas não chegou a um consenso sobre a proibição. Estabelecida em 1983, a convenção foi atualizada regularmente para restringir algumas das armas convencionais mais cruéis do mundo, incluindo minas terrestres, armadilhas explosivas e armas incendiárias.
Os sistemas de armas autônomos são robôs com armas letais que podem operar de forma independente, selecionando e atacando alvos sem um humano pensando nessas decisões. Militares em todo o mundo estão investindo pesadamente em pesquisa e desenvolvimento de armas autônomas. Só os EUA orçaram US $ 18 bilhões para armas autônomas entre 2016 e 2020.
Enquanto isso, as organizações de direitos humanos e humanitárias estão correndo para estabelecer regulamentos e proibições sobre o desenvolvimento de armas. Sem essas verificações, os especialistas em política externa alertam que tecnologias de armas autônomas disruptivas desestabilizarão perigosamente as estratégias nucleares atuais, tanto porque podem mudar radicalmente as percepções de domínio estratégico, aumentando o risco de ataques preventivos, quanto porque podem ser combinadas com produtos químicos, biológicos, radiológicos e as próprias armas nucleares.
Como um especialista em direitos humanos com foco na formação de armamento da inteligência artificial, acho que as armas autônomas tornam os equilíbrios instáveis e as salvaguardas fragmentadas do mundo nuclear - por exemplo, a autoridade minimamente restrita do presidente dos EUA para lançar um ataque - mais instáveis e mais fragmentado. Dado o ritmo de pesquisa e desenvolvimento de armas autônomas, a reunião da ONU pode ter sido a última chance de impedir uma corrida armamentista.
Erros letais e caixas pretas
Vejo quatro perigos principais com armas autônomas. O primeiro é o problema de identificação incorreta. Ao selecionar um alvo, as armas autônomas serão capazes de distinguir entre soldados hostis e crianças de 12 anos brincando com armas de brinquedo? Entre civis fugindo de um local de conflito e insurgentes fazendo uma retirada tática?
O problema aqui não é que as máquinas cometam esses erros e os humanos não. É que a diferença entre erro humano e erro algorítmico é como a diferença entre enviar uma carta e enviar um tweet. A escala, o escopo e a velocidade dos sistemas de robôs assassinos - comandados por um algoritmo de seleção de alvos, implantados em todo o continente - podem fazer com que as identificações errôneas por humanos individuais, como um recente ataque de drone dos EUA no Afeganistão, pareçam meros erros de arredondamento em comparação.
O especialista em armas autônomas Paul Scharre usa a metáfora da arma em fuga para explicar a diferença. Uma arma em fuga é uma metralhadora defeituosa que continua a disparar depois que um gatilho é liberado. A arma continua a disparar até que a munição se esgote porque, por assim dizer, a arma não sabe que está cometendo um erro. Armas em fuga são extremamente perigosas, mas felizmente elas têm operadores humanos que podem quebrar a conexão da munição ou tentar apontar a arma em uma direção segura. As armas autônomas, por definição, não têm essa proteção.
É importante ressaltar que a IA com arma não precisa nem mesmo ser defeituosa para produzir o efeito de arma em fuga. Como vários estudos sobre erros algorítmicos em setores têm mostrado, os melhores algoritmos - operando conforme projetado - podem gerar resultados internamente corretos que, no entanto, espalham erros terríveis rapidamente entre as populações.
Por exemplo, uma rede neural projetada para uso em hospitais de Pittsburgh identificou a asma como um redutor de risco em casos de pneumonia; o software de reconhecimento de imagem usado pelo Google identificou os negros como gorilas; e uma ferramenta de aprendizado de máquina usada pela Amazon para classificar candidatos a empregos sistematicamente atribuídos notas negativas às mulheres.
O problema não é apenas que, quando os sistemas de IA erram, eles erram em massa. É que, quando erram, seus criadores muitas vezes não sabem por que o fizeram e, portanto, como corrigi-los. O problema da caixa preta da IA torna quase impossível imaginar o desenvolvimento moralmente responsável de sistemas de armas autônomos.
Os problemas de proliferação
Os próximos dois perigos são os problemas de proliferação de gama baixa e alta. Vamos começar com os mais baixos. Os militares que desenvolvem armas autônomas agora partem do pressuposto de que serão capazes de conter e controlar o uso de armas autônomas. Mas se a história da tecnologia de armas ensinou alguma coisa ao mundo, é esta: as armas se espalham.
As pressões do mercado podem resultar na criação e venda generalizada do que pode ser considerado a arma autônoma equivalente ao rifle de assalto Kalashnikov: robôs assassinos baratos, eficazes e quase impossíveis de conter enquanto circulam pelo mundo. As armas autônomas "Kalashnikov" podem cair nas mãos de pessoas fora do controle do governo, incluindo terroristas internacionais e domésticos.
A proliferação de alta tecnologia é igualmente ruim, no entanto. As nações poderiam competir para desenvolver versões cada vez mais devastadoras de armas autônomas, incluindo aquelas capazes de montar armas químicas, biológicas, radiológicas e nucleares. Os perigos morais do aumento da letalidade das armas seriam amplificados pelo aumento do uso de armas.
As armas autônomas de última geração provavelmente levarão a guerras mais frequentes porque reduzirão duas das principais forças que historicamente preveniram e encurtaram as guerras: a preocupação com os civis no exterior e a preocupação com os próprios soldados. As armas provavelmente serão equipadas com dispendiosos governadores éticos projetados para minimizar os danos colaterais, usando o que a Relatora Especial da ONU, Agnes Callamard, chamou de "mito de um ataque cirúrgico" para reprimir protestos morais. As armas autônomas também reduzirão a necessidade e o risco para os próprios soldados, alterando drasticamente a análise de custo-benefício que as nações submetem ao lançar e manter guerras.
As guerras assimétricas - isto é, as guerras travadas no solo de nações que carecem de tecnologia concorrente - provavelmente se tornarão mais comuns. Pense na instabilidade global causada pelas intervenções militares soviéticas e americanas durante a Guerra Fria, desde a primeira guerra por procuração até o blowback experimentado em todo o mundo hoje. Multiplique isso por todos os países que atualmente buscam armas autônomas de última geração.
Finalmente, as armas autônomas minarão o tapa-buraco final da humanidade contra crimes de guerra e atrocidades: as leis internacionais de guerra. Essas leis, codificadas em tratados que remontam à Convenção de Genebra de 1864, são a tênue linha azul internacional que separa a guerra com honra do massacre. Eles têm como premissa a ideia de que as pessoas podem ser responsabilizadas por suas ações mesmo durante a guerra, que o direito de matar outros soldados durante o combate não dá o direito de assassinar civis. Um exemplo proeminente de alguém responsabilizado é Slobodan Milosevic, ex-presidente da República Federal da Iugoslávia, que foi indiciado por crimes contra a humanidade e crimes de guerra pelo Tribunal Criminal Internacional da ONU para a Antiga Iugoslávia.
Mas como as armas autônomas podem ser responsabilizadas? Quem é o culpado por um robô que comete crimes de guerra? Quem seria levado a julgamento? A arma? O soldado? Os comandantes do soldado? A empresa que fez a arma? Organizações não-governamentais e especialistas em direito internacional temem que as armas autônomas levem a uma séria lacuna de responsabilidade.
Para responsabilizar um soldado criminalmente pelo uso de uma arma autônoma que comete crimes de guerra, os promotores precisariam provar actus reus e mens rea, termos latinos que descrevem um ato culpado e uma mente culpada. Isso seria difícil por uma questão de direito e possivelmente injusto por uma questão de moralidade, visto que as armas autônomas são inerentemente imprevisíveis. Acredito que a distância que separa o soldado das decisões independentes tomadas por armas autônomas em ambientes de rápida evolução é simplesmente grande demais.
O desafio legal e moral não fica mais fácil transferindo a culpa para a cadeia de comando ou de volta para o local de produção. Em um mundo sem regulamentos que exigem um controle humano significativo de armas autônomas, haverá crimes de guerra sem criminosos de guerra para responsabilizar. A estrutura das leis de guerra, junto com seu valor dissuasor, será significativamente enfraquecida.
Uma nova corrida armamentista global
Imagine um mundo no qual militares, grupos insurgentes e terroristas internacionais e domésticos possam implantar força letal teoricamente ilimitada com risco teoricamente zero em momentos e locais de sua escolha, sem resultante responsabilização legal. É um mundo onde o tipo de erros algorítmicos inevitáveis que atormentam até mesmo gigantes da tecnologia como Amazon e Google podem agora levar à eliminação de cidades inteiras.
Em minha opinião, o mundo não deve repetir os erros catastróficos da corrida armamentista nuclear. Ele não deve entrar em distopia como um sonâmbulo.