O general é um robô a inteligência artificial vai à guerra

Prévia do material em texto

1/5
O general é um robô: a inteligência artificial vai à guerra
Eu a vi umn A partir de 1970O filme de ficção científica “Colossus: The Forbin Project”, os Estados
Unidos decidem entregar o controle de seu arsenal estratégico para Colossus, um enorme
supercomputador. - Um grande erro. Quase imediatamente fica claro que, como seu criador Dr. Charles
Forbin diz: “O colosso é construído ainda melhor do que pensávamos”. Na verdade, é uma inteligência
artificial auto-convidada – descobrindo rapidamente que os soviéticos também ativaram um sistema
quase idêntico e se juntam a ele para assumir o planeta. Ao longo do caminho, Colossus nua um
complexo petrolífero russo e uma base de mísseis dos EUA para impor seu controle. Agora, em vez de
duas superpotências humanas que ameaçam o Armagedom nuclear, a sobrevivência contínua da
humanidade está à mercê (ou equivalente de IA da misericórdia) de um supercomputador.
2/5
BOOK REVIEW“Exército de Nenhum: Armas Autônomas e o Futuro da Guerra”, de Paul
Scharre (W.W.W. Norton, 448 páginas).
“O objetivo em me construir era evitar a guerra”, anuncia Colossus. “Este objeto é alcançado. Não vou
permitir a guerra. É um desperdício e inútil. O homem é o seu pior inimigo. Eu vou conter o homem.”
Para o seu raciocínio legal, tudo é perfeitamente racional. Mas sua definição de racionalidade difere
tragicamente da dos seres humanos.
Não corremos o risco de um Colossus tomar o planeta, pelo menos ainda não. Mas a perspectiva de
armas autônomas letais (AWs) sob controle não-humano é muito real e imediata. Como Paul Scharre
aponta em “Army of None: Autônomos Armas e o Futuro da Guerra”, já temos robôs fazendo de tudo,
desde a limpeza da sala de estar até dirigir carros, rastrear (e às vezes derrubar) terroristas. O passo de
drones armados controlados remotamente por humanos para máquinas totalmente autônomas que
podem encontrar, atingir e matar tudo por conta própria é menos uma questão de tecnologia do que
nossa própria escolha: nos voltamos contra o Colossus ou não?
Tais questões costumavam ser estritamente a província da ficção científica, fantasia e lenda, desde os
golems da cultura judaica até Frankenstein de Mary Shelley e os robôs de Karel Oapek, Isaac Asimov e
a série “Exterminador do Exterminador”. “Eu me pergunto se James Cameron não tinha feito os filmes do
Exterminador do Exterminador de Assassinos, como os debates sobre armas autônomas seriam
diferentes”, observa Scharre. Se a ficção científica não tivesse nos preparado com visões de robôs
assassinos que extinguiriam a humanidade, temíamos máquinas letais autônomas? Possivelmente não.
Mas no século 21, contemplar a moralidade e a conveniência de criar agentes artificiais capazes de ação
mortal independente rapidamente passou de um desvio intelectual para uma preocupação iminente.
https://undark.org/tag/book-reviews/
3/5
O próprio Scharre é um veterano da linha de frente não apenas dos corredores de Washington e do
Pentágono como consultor e formulador de políticas, mas de quatro viagens de combate no Iraque e no
Afeganistão como um EUA. Ranger do Exército. Quando ele fala de ética militar, tomada de decisão e
assassinato, é com a autoridade de um homem que esteve lá, alguém que zerou outros seres humanos
na mira de um rifle e enfrentou a decisão de puxar ou não o gatilho – a mesma decisão que alguns
agora querem delegar para máquinas.
“A humanidade está no limiar de uma nova tecnologia que poderia mudar fundamentalmente nossa
relação com a guerra”, escreve ele. Desde a invenção do arco e da flecha, a tecnologia ditou a direção
da guerra, tornando possível destruir e matar de forma mais eficiente e a distâncias maiores. A
automação tornou-se um fator na Guerra Civil Americana com a invenção da arma Gatling, seguida
pelas metralhadoras devastadoras da Primeira Guerra Mundial. Mas mesmo que as armas operassem
mais ou menos automaticamente, os seres humanos ainda estavam puxando os gatilhos.
Agora estamos nos aproximando de uma nova era em que o controle humano, a agência e a tomada de
decisões éticas podem ser supérfluos. Como Scharre demonstra, a tecnologia de armas totalmente
autônomas está avançando rapidamente. Mas enquanto a evolução da tecnologia é inevitável, usá-la
não é.
Quer os chamemos de robôs, drones, sistemas de armas semi-autônomas ou algum outro termo
pentágono extravagante, era inevitável que, uma vez que a tecnologia existisse, ela seria adaptada para
uso militar. “Ninguém planejou uma revolução robótica, mas os militares dos EUA se depararam em um,
pois implantaram milhares de robôs aéreos e terrestres para atender às necessidades urgentes no
Iraque e no Afeganistão”, diz Scharre. Tais dispositivos certamente não eram novos; drones primitivos
existiam desde a Primeira Guerra Mundial, e os mísseis guiados haviam alcançado extrema sofisticação
e precisão na década de 1960. Mas à medida que se tornaram cada vez mais baratos e mais versáteis,
seu uso também se tornou mais fácil e mais razoável: por que arriscar soldados humanos em patrulhas
de reconhecimento arriscado ou descarte de bombas quando robôs controlados remotamente poderiam
fazer o mesmo? “Desempilhados dos limites fisiológicos dos seres humanos”, ressalta Scharre, tais
máquinas “podem ser menores, mais leves, mais rápidas e mais manobráveis. Eles podem ficar no
campo de batalha muito além dos limites da resistência humana, por semanas, meses ou até mesmo
anos sem descanso. Eles podem assumir mais riscos, abrindo oportunidades táticas para missões
perigosas ou até mesmo suicidas sem arriscar vidas humanas. Os sistemas computadorizados também
podem lidar com múltiplas ameaças em situações de combate caóticas, movendo-se muito rápido para
os seres humanos lidarem.
Ainda é verdade que, com poucas exceções, máquinas como drones devem ser controladas de longe
por operadores humanos, exigindo links de comunicação que podem ser interrompidos ou bloqueados,
tornando o drone ou robô essencialmente inúteis. Daí o próximo passo na evolução robótica: total
autonomia – não apenas para permitir a observação passiva sobre o território inimigo, mas para
encontrar o inimigo e destruí-lo. Para fazer isso, é necessário (como dizem os estrategistas com
desapego frio) para “delegar autoridade letal”.
Scharre descreve alguns desses sistemas que já existem, como o drone Harpy israelense, projetado
para vagar por território hostil e destruir qualquer radar inimigo que detecte. Já na década de 1980, os
EUA A Marinha desenvolveu o Tomahawk Anti-Ship Missile (TASM), que poderia ser disparado de um
https://www.smithsonianmag.com/arts-culture/unmanned-drones-have-been-around-since-world-war-i-16055939/
4/5
navio para uma área remota para procurar e destruir automaticamente navios inimigos. Embora nunca
tenha sido usado dessa maneira, foi tecnicamente o primeiro AW totalmente operacional do mundo.
Como a maioria das outras questões que agora enfrentamos em relação às tecnologias de IA (Você quer
confiar em sua vida para um carro autônomo? Quanto de sua vida pessoal você quer que Alexa
ouvisse?), As questões em torno de AWs são repletas de complexidade e complicações, mas em um
nível muito mais profundo, penetrando no coração da moralidade e ética humanas. Se darmos às
máquinas o poder da vida e da morte, quem é responsável pelas vítimas? Como podemos garantir que
eles façam as mesmas distinções entre insurgentes hostis e civis inocentes, julgamentos que às vezes
são impossíveis de fazer racionalmente – e e se eles estiverem errados?
Scharre dá exemplos de sua própria experiência de combate lidando com tais desafios, e como sua
própria humanidade e julgamento afetaram suas decisões. Mas não podemos ter certeza de que as
armas autônomas se comportarão de forma semelhante. Como um pesquisador de IA diz a Scharre, “É
quase certo que, à medida que a IA se torna mais complicada, entenderemos cada vez menos”. O que
parece ser uma decisão eminentemente razoável para os algoritmos inescrutáveis que controlam um AW
pode ser moralmente abominável para os sereshumanos. Colossus, Alexa e seu Roomba não pensam
da maneira que fazemos – a inteligência deles é diferente da dos humanos.
E não é preciso armas totalmente autônomas para criar tais problemas. Scharre relata vários exemplos
de armas automatizadas e semi-automatizadas, todas com controladores humanos ostensivamente “on
ou in the loop” (uma distinção vital que ele também explica), que, no entanto, causaram tragédias,
incluindo os sistemas de mísseis Patriot que derrubaram aeronaves amigas na guerra do Iraque.
Uma medida óbvia é negociar e decidir sobre algum tipo de restrição mutuamente aceitas sobre o
desenvolvimento e implantação de AWs sob a autoridade e orientação do direito internacional, assim
como foi tentado com outras armas no passado. Mas isso está longe de ser uma solução perfeita,
Scharre deixa claro. Mesmo quando as nações do mundo decidem que uma determinada tecnologia é
simplesmente horrível demais para usar – por exemplo, gás venenoso ou guerra biológica – é preciso
apenas um ditador terrorista ou implacável para perturbar o carrinho de maçã. Os EUA e outras nações
podem estabelecer seus nobres padrões e abster-se de construir armas “desumanas”, mas e se outros
países não forem bem-sucedidos? Scharre fornece uma longa tabela de proibições internacionais bem-
sucedidas e malsucedidas de armas, de flechas envenenadas e bestas a bombardeios aéreos e
submarinos a minas terrestres e bombas de fragmentação. Não é um disco encorajador.
Scharre oferece possibilidades, mas não há soluções firmes para as questões que envolvem armas
autônomas, porque, como ele admite, “não há respostas fáceis”. Ele também oferece alguma esperança.
Ainda há tempo para considerar, questionar e decidir sobre moderação e cautela, seja qual for a forma
que possa tomar e por mais imperfeita que seja. “A tecnologia para permitir máquinas que podem tirar a
vida por conta própria, sem julgamento humano ou tomada de decisão, está sobre nós”, diz ele. “O que
fazemos com essa tecnologia depende de nós.”
Enquanto isso, aqueles que estão contemplando, projetando ou sonhando com armas autônomas fariam
bem em dar certo a alguns conselhos do Dr. Forbin, o criador de Colosso: “Eu acho que ‘Frankenstein’
deveria ser leitura obrigatória”.
5/5
Mark Wolverton é um escritor de ciência, autor e dramaturgo cujos artigos apareceram em Undark,
Wired, Scientific America, Popular Science, Air & Space Smithsonian e American Heritage, entre outras
publicações. Seu próximo livro “Burning the Sky: Operation Argus and the Untold Story of the Cold War
Nuclear Tests in Outer Space” será publicado em novembro. Em 2016-17, ele foi um membro do Knight
Science Journalism no MIT.