Hoe AI daadwerkelijk een nucleaire oorlog zou kunnen ontketenen

Zolang AI bestaat, hebben mensen angsten gehad voor AI en kernwapens. Films zijn daar een goed voorbeeld van. Skynet uit de Terminator -franchise wordt zelfbewust en vuurt kernraketten af ​​op Amerika. WOPR van WarGames begint bijna een nucleaire oorlog door een miscommunicatie. Kathryn Bigelows recente release, House of Dynamite , vraagt ​​zich af of AI betrokken is bij een nucleaire raketaanval op Chicago.

AI is al aanwezig in onze nucleaire sector, vertelt Josh Keating van Vox aan Noel King, co-host van Today, Explained . "Computers zijn hier vanaf het begin bij betrokken geweest", zegt hij. "Sommige van de eerste digitale computers die ooit zijn ontwikkeld, werden gebruikt tijdens de bouw van de atoombom in het Manhattan Project." Maar we weten niet precies waar of hoe het erbij betrokken is.

Moeten we ons zorgen maken? Nou ja, misschien wel, betoogt Keating. Maar niet dat AI zich tegen ons keert.

Hieronder een fragment van hun gesprek, bewerkt voor lengte en duidelijkheid. Er is veel meer te horen in de volledige aflevering, dus luister naar Today, Explained waar je ook podcasts kunt vinden, waaronder Apple Podcasts , Pandora en Spotify .

Er is een deel in A House of Dynamite waarin ze proberen te achterhalen wat er is gebeurd en of AI erbij betrokken is. Zijn deze films met deze angsten ergens op het goede spoor?

Het interessante aan films, als het om een ​​nucleaire oorlog gaat, is: dit is een soort oorlog die nog nooit is uitgevochten. Er zijn geen veteranen van nucleaire oorlogen, afgezien van de twee bommen die we op Japan hebben gegooid, wat een heel ander scenario is. Ik denk dat films altijd een buitensporige rol hebben gespeeld in de debatten over kernwapens. Je kunt teruggaan naar de jaren 60, toen het Strategic Air Command zijn eigen weerlegging van Dr. Strangelove en Fail Safe produceerde. In de jaren 80 was die tv-film The Day After een soort stimulans voor de beweging voor kernwapenbevriezing. President [Ronald] Reagan was blijkbaar erg geschokt toen hij de film zag, en het beïnvloedde zijn denken over wapenbeheersing met de Sovjet-Unie.

In het specifieke onderwerp dat ik bestudeer, namelijk AI en kernwapens, is er een verrassend aantal films verschenen die dat als plot hebben. En het komt vaak ter sprake in de beleidsdebatten hierover. Ik heb mensen ontmoet die voorstander zijn van de integratie van AI in het nucleaire commandosysteem en die zeiden: "Kijk, dit wordt geen Skynet." Generaal Anthony Cotton, de huidige commandant van Strategic Command – de tak van het leger die verantwoordelijk is voor kernwapens – pleit voor een breder gebruik van AI-tools. Hij verwees naar de film WarGames uit 1983 en zei: "We krijgen meer AI, maar er komt geen WOPR in het strategische commando."

Waar [de films] volgens mij wat tekortschieten, is de angst dat een superintelligente AI onze kernwapens zal overnemen en gebruiken om ons uit te roeien. Voorlopig is dat een theoretische zorg. Wat ik een meer reële zorg vind, is of de mensen die verantwoordelijk zijn voor de beslissingen over de productie van kernwapens, naarmate AI steeds meer onderdelen van het commando- en controlesysteem binnendringt, wel echt begrijpen hoe de AI's werken? En hoe dit de manier waarop ze deze beslissingen nemen zal beïnvloeden, wat – zonder overdrijving – wel eens tot de belangrijkste beslissingen in de menselijke geschiedenis zou kunnen behoren.

Begrijpen de mensen die aan kernwapens werken de AI?

We weten niet precies waar AI zich bevindt in de nucleaire sector. Maar mensen zullen verbaasd zijn als ze horen hoe lowtech het nucleaire commando- en controlesysteem werkelijk was. Tot 2019 gebruikten ze floppydisks voor hun communicatiesystemen. Ik heb het dan nog niet eens over die kleine plastic floppydisks die op je opslagpictogram in Windows lijken. Ik bedoel, die oude, buigzame floppydisks uit de jaren 80. Ze willen dat deze systemen beveiligd zijn tegen cyberaanvallen van buitenaf, dus ze willen niet dat alles met de cloud verbonden is.

Maar aangezien er een voortdurend moderniseringsproces van de nucleaire technologie gaande is, dat miljarden dollars kost, bestaat een groot deel daarvan uit het updaten van deze systemen. Meerdere commandanten van StratCom, waaronder een paar met wie ik sprak, gaven aan dat ze vinden dat AI hier deel van uit zou moeten maken. Wat ze allemaal zeggen, is dat AI niet verantwoordelijk zou moeten zijn voor de beslissing of we kernwapens lanceren. Ze denken dat AI gewoon enorme hoeveelheden informatie kan analyseren en dat veel sneller kan dan mensen. En als je A House of Dynamite hebt gezien, dan laat die film heel goed zien hoe snel de president en zijn senior adviseurs een aantal absoluut buitengewone, moeilijke beslissingen zullen moeten nemen.

Wat zijn de belangrijkste argumenten tegen een combinatie van AI en kernwapens?

Zelfs de beste AI-modellen die we vandaag de dag tot onze beschikking hebben, zijn nog steeds foutgevoelig. Een andere zorg is dat er van buitenaf inmenging in deze systemen kan plaatsvinden. Het kan gaan om hacking of een cyberaanval, of buitenlandse overheden zouden manieren kunnen bedenken om onjuiste informatie in het model te sluizen. Er zijn berichten dat Russische propagandanetwerken actief proberen desinformatie te sluizen in de trainingsdata die worden gebruikt door westerse AI-chatbots voor consumenten. Een andere zorg is de manier waarop mensen met deze systemen omgaan. Veel onderzoekers hebben gewezen op een fenomeen dat 'automation bias' wordt genoemd. Dit houdt in dat mensen de neiging hebben om de informatie die computersystemen hen geven, te vertrouwen.

Er zijn talloze voorbeelden uit de geschiedenis van tijden waarin technologie daadwerkelijk tot bijna-nucleaire rampen heeft geleid, en het waren mensen die ingrepen om escalatie te voorkomen. Zo was er in 1979 een geval waarin Zbigniew Brzezinski, de Amerikaanse nationale veiligheidsadviseur, midden in de nacht wakker werd van een telefoontje waarin hem werd verteld dat er honderden raketten waren afgevuurd vanaf Sovjetonderzeeërs voor de kust van Oregon. En vlak voordat hij president Jimmy Carter wilde bellen om hem te vertellen dat Amerika werd aangevallen, kwam er een ander telefoontje dat [de eerste] vals alarm was geweest. Een paar jaar later was er een zeer bekend geval in de Sovjet-Unie. Kolonel Stanislav Petrov, die werkte in hun raketdetectie-infrastructuur, werd door het computersysteem geïnformeerd dat er een Amerikaanse nucleaire lancering had plaatsgevonden. Volgens de protocollen moest hij vervolgens zijn superieuren informeren, die mogelijk onmiddellijke vergeldingsmaatregelen hadden kunnen bevelen. Maar het bleek dat het systeem het zonlicht dat door de wolken weerkaatste, verkeerd had geïnterpreteerd als een raketlancering. Het is dus heel goed dat Petrov besloot om een ​​paar minuten te wachten voordat hij zijn superieuren belde.

Ik luister naar die voorbeelden en als ik er heel simpel over nadenk, is het enige wat ik eruit haal dat mensen ons van de rand van de afgrond redden als de technologie ons in de steek laat.

Het klopt. En ik denk dat er recentelijk een aantal interessante tests zijn uitgevoerd met AI-modellen, gebaseerd op militaire crisisscenario's, en die zijn vaak agressiever dan menselijke besluitvormers. We weten niet precies waarom. Als we kijken naar waarom we geen nucleaire oorlog hebben gevoerd – waarom er 80 jaar na Hiroshima nog nooit een atoombom is gevallen, waarom er nooit een nucleaire confrontatie op het slagveld heeft plaatsgevonden – denk ik dat het deels te maken heeft met hoe angstaanjagend het is. Hoe mensen het vernietigende potentieel van deze wapens begrijpen en waartoe deze escalatie kan leiden. Dat er bepaalde stappen zijn die onbedoelde gevolgen kunnen hebben, en angst speelt daar een grote rol in.

Vanuit mijn perspectief denk ik dat we ervoor moeten zorgen dat er angst in het systeem zit. Entiteiten die volledig in paniek kunnen raken door het vernietigende potentieel van kernwapens, zijn degenen die de belangrijkste beslissingen nemen over het al dan niet inzetten ervan.

Het klinkt alsof je naar A House of Dynamite kijkt , je kunt je levendig voorstellen dat we misschien alle AI hier helemaal uit moeten halen. Het klinkt alsof je zegt: AI is een onderdeel van de nucleaire infrastructuur voor ons, voor andere landen, en dat zal waarschijnlijk zo blijven.

Eén ding dat een voorstander van meer automatisering me vertelde, was: "Als je niet denkt dat mensen een betrouwbare AI kunnen bouwen, dan hebben mensen niets te maken met kernwapens." Maar het punt is, ik denk dat dit een stelling is waar mensen die vinden dat we alle kernwapens volledig moeten uitbannen, het ook mee eens zullen zijn. Ik ben hier misschien ingerold uit angst dat AI kernwapens zou overnemen, maar ik realiseer me nu dat ik me al genoeg zorgen maak over wat mensen met kernwapens gaan doen. Het gaat er niet om dat AI mensen met kernwapens gaat doden. Het gaat erom dat AI het waarschijnlijker zou kunnen maken dat mensen elkaar met kernwapens doden. Tot op zekere hoogte is de AI het minste van onze zorgen. Ik denk dat de film goed laat zien hoe absurd het scenario is waarin we zouden moeten beslissen of we ze wel of niet zouden gebruiken.