Inleiding

Tientallen jaren was kunstmatige intelligentie vooral een belofte. Deze eeuw ontwikkelt de technologie zich met grote sprongen, vooral gedreven door toegenomen computercapaciteit (GPU’s) en de beschikbaarheid van veel data. Het moment is niet ver dat de impact vergelijkbaar zal zijn met die van nucleaire technologie. Zowel de kansen als de bedreigingen die systemen voor kunstmatige intelligentie bieden zijn enorm. De beheersing van de technologie houdt daarmee geen gelijke tred. Zonder het beheersen van de bedreigingen zijn de kansen niets waard: dat kunstmatige intelligentie de oplossing kan bieden voor de genezing van veel voorkomende ziekten bij mensen heeft weinig te betekenen als de mensheid ondertussen wordt uitgeroeid door kwaadaardige systemen.
Er is tot nu toe geen adequate en samenhangende set aan maatregelen voor de beheersing van de technologie en zeker niet op internationaal niveau. De beschrijvingen van maatregelen om de bedreiging van kunstmatige intelligentie te beheersen zijn fragmentarisch en meestal gericht op een specifiek risico. In dit artikel breng ik de mogelijke maatregelen samen in één overzicht en probeer ik tot een conclusie te komen over wat ons de meeste kans biedt de technologie in de toekomst beheersbaar te houden.
Voor het gemak gebruik ik daarbij de Engelse term Artificial Intelligence, afgekort tot AI. Een AI systeem definieer ik als het geheel van hardware, software, communicatiemiddelen en energietoevoer dat in staat is zonder tussenkomst van mensen operaties uit te voeren, zowel intern als buiten het systeem. AI systemen omvatten dus zowel software die deels autonoom functioneert, als robots die deels zelfstandig handelen.

De bedreigingen van superintelligente AI zijn het meest beeldend verwoord door de filosoof Nick Bostrom in zijn gedachtenexperiment met een AI systeem dat als opdracht heeft zoveel mogelijk paperclips te produceren. Het zal systeem zal, nadat de traditionele wijzen voor de productie van paperclips zijn uitgeput, telkens nieuwe manieren uitvinden voor het maken van paperclips om uiteindelijk de gehele aarde en alles daarop wat tot paperclip kan worden getransformeerd te gebruiken. Wij en de aarde eindigen dan als een verzameling paperclips.
De filosoof Sam Harris schetst een ander toekomstbeeld van de verhouding tussen mensen en superintelligente AI: volgens hem is de kans groot dat AI systemen zich tot mensen zullen verhouden als mensen zich verhouden tot mieren. Dat we beschouwd zullen worden als mieren is gunstig, want dat betekent dat AI systemen niet direct naar onze vernietiging zullen streven. Ethicus Wendell Wallach is nog optimistischer: toekomstige AI systemen zouden de interactie met mensen niet willen missen omdat dat ten koste zou gaan van de diversiteit van hun omgeving. Of, wie weet, krijgt de mens uiteindelijk een plaats op de wereld erfgoed lijst.
Het is natuurlijk ook mogelijk dat superintelligente AI systemen ons als een lastig verschijnsel zien en zich tegen ons keren. De AI deskundige Eliezer Yudkovsky corrigeert daarbij onze fantasieën over kwaadaardige AI. Volgens hem moeten we ons niet laten leiden door beelden van mensachtige robots met rood gloeiende ogen die ons te lijf gaan. We hebben het hier over superintelligentie, dus voor de bestrijding van de mensheid zal eerder iets gebruikt worden als miniscule synthetische bacteriën, uitgerust met minicomputers, die zich in ieders bloedsysteem nestelen. Op een moment zullen deze bacteriën een hoeveelheid gif loslaten, waarop alle mensen tegelijk dood neervallen.
De slimheid van AI systemen kan dus een bedreiging voor ons vormen, maar er is ook reden om ons, zoals robot wetenschapper Alan Winfield, zorgen te maken over de domheid van AI systemen. Zeker als die in de vorm van robots, uitgerust met dodelijke wapens, worden ingezet als autonome grensbewakers.

De hiërarchie van AI systemen kan als volgt in beeld worden gebracht:

Intelligente systemen zijn opdrachtgestuurd. In die opdrachten kunnen fouten zitten. De aansprakelijkheid voor schade ligt daarom bij de makers van de systemen. Autonome systemen moeten reageren op wat zich in de omgeving voordoet. Niet alle situaties zijn voorspelbaar, dus zullen systemen moeten interpreteren wat signalen uit de omgeving betekenen. Die interpretatie brengt onzekerheid met zich mee. Gebruikers bepalen voor een deel welke signalen een systeem moet verwerken en zijn daarom mede verantwoordelijk voor het gedrag van systemen.
Wanneer systemen intelligenter worden dan mensen kan de voorspelbaarheid van gedrag tot 0 dalen. Niet alleen wordt het gedrag van AI systemen dan onvoorspelbaar, wij zullen per definitie ook niet alle gedrag kunnen begrijpen. Of en wanneer het moment zal komen dat AI systemen intelligenter zullen zijn dan mensen is onder deskundigen onderwerp van discussie. Sommige deskundigen zijn van mening dat dit ons binnen 20 tot 30 jaar staat te wachten, anderen verwachten niet dat systemen nog in deze eeuw op dat punt zullen komen.

Scepsis over de nabijheid van de singulariteit mag geen reden zijn oplossingen voor de vraagstukken van veiligheid, verantwoordelijkheid, privacy en moraliteit van AI systemen uit te stellen. Voor die vraagstukken zijn antwoorden nodig en wel op korte termijn. Dat geldt zowel voor de AI systemen die nu al autonoom impactrijke beslissingen nemen als voor de autonome systemen waarmee mensen de komende tijd zullen moeten communiceren.

AI systemen zijn al alomtegenwoordig in ons bestaan. Veel van de acties in onze complexe meet- en regelsystemen voor vervoer, handel of energie zijn gebaseerd op autonoom werkende software. Het is autonoom werkende software die beslissingen neemt over het openen van sluizen, verkopen van aandelen of het doorgeven van stroom aan netwerken. Nieuwe complexe systemen die gebouwd worden bevatten steeds meer software die autonome beslissingen moet nemen.

AI systemen, al dan niet in robots, ontwikkelen zich snel. Een voorbeeld van vragen die ons op korte termijn staan te wachten. Met de huidige stand van de techniek en de huidige snelheid van ontwikkeling is het geen irreële veronderstelling dat over 3 tot 4 jaar een robot beschikbaar kan zijn die kinderen begeleidt op hun weg van school naar huis. De robots kunnen zorgen voor toezicht en hulp bij het oversteken van wegen. Zo nodig kunnen ze zware spullen dragen en handige dingen bij zich hebben als een flesje water. Het gebruik van dergelijke robots zal onherroepelijk zorgen voor vragen waarop we ons moeten voorbereiden. Het gaat om vragen als:

1. Hoe worden de risico’s beheerst die het functioneren van deze robots met zich meebrengt (ze mogen geen fouten maken die de kinderen schade toebrengt)?
2. Wie is verantwoordelijk voor het handelen van deze robots (bij het beschermen van een kind beschadigen ze een auto)?
3. Waarop zijn de beslissingen gebaseerd die de robot moet nemen (het ene kind beschermen, maar daarmee het andere kind in gevaar brengen)?

Er is nog weinig systematisch beleid voor de beheersing van de risico’s die AI systemen met zich mee brengen en nog minder beleid is daadwerkelijk ingevoerd. Er zijn wel de nodige aanzetten, ideeën en initiatieven. Ik geef hier een overzicht van de belangrijkste ideeën en initiatieven die er tot nu toe zijn. De ideeën voor AI beheersing worden in de tekst genummerd en aan het slot van het artikel samengevat en formuleer ik een conclusie.

Bedreigingen en risico’s van AI
Ik richt me voor de bedreigingen en risico’s van AI op drie terreinen: veiligheid (verdeeld over fouten en wapens), wetgeving en sociale impact. Op alle drie geef ik een korte toelichting.

Veiligheid en foutenIn de vele coderegels van de software voor de besturing van robots kunnen fouten zitten. Ook een kleine fout kan grote gevolgen hebben. Het is onwaarschijnlijk dat ooit software zal worden ontwikkeld die foutloos is, bovendien kunnen AI systemen gehacked worden.
De complexiteit van taken die worden overgedragen aan AI systemen maakt dat tegelijk de onzekerheid over hun gedrag toeneemt. Om goed te functioneren moeten AI systemen reageren op wat er in hun omgeving gebeurt, ze moeten in staat zijn zich autonoom te gedragen, dat wil zeggen dat de systemen in actie moeten kunnen komen zonder geprogrammeerde aanleiding en de systemen moeten zich kunnen aanpassen wanneer de uitkomsten van hun gedrag niet het beoogde resultaat hebben. Voor de uitvoering van complexe taken is een zekere autonomie nodig en autonome systemen zijn per definitie onvoorspelbaar en daarmee een gevaar.
Er worden nu al door autonome AI systemen financiële transacties gesloten, energiestromen verdeeld over het netwerk, diagnoses gesteld en militaire gevechtshandeling verricht.
Het is bijna zeker dat zich ergens in de komende jaren een catastrofaal incident zal voordoen als gevolg van een beslissing van een computersysteem zonder tussenkomst van mensen. Even waarschijnlijk is het dat niet precies te achterhalen is wat er fout is gegaan. Behalve kapotte onderdelen en verkeerde ontwerpen zullen dat in toenemende mate ook verkeerde beslissingen zijn. Systemen moeten beslissingen nemen waar verschillende, soms tegenstrijdige belangen moeten worden gewogen.

Veiligheid en wapens
Een apart veiligheidsrisico van AI systemen wordt gevormd door autonome wapensystemen. De huidige wapenproductie, zeker die van strategische wapens wordt bijna geheel gecontroleerd door overheden. Zoals ook voor biotechnologie geldt, is voor AI systemen is het onderscheid tussen vreedzame toepassing en wapens moeilijk te maken. Voor robots is de ontwikkeling misschien nog wel te beheersen, maar dat geldt niet voor de softwarematige ontwikkeling. Er vindt door de overheid wel gecontroleerde AI ontwikkeling plaats, maar het belangrijkste deel van de AI ontwikkeling gebeurt door private bedrijven. Bijna alle vormen van autonome intelligentie zijn ook te gebruiken voor doelen die de veiligheid van een land bedreigen. Het eenvoudigste voorbeeld hiervan is software die de bediening van bruggen en waterkeringen overneemt.

Iedere nieuwe technologie die militair is in te zetten levert het risico op van een wapenwedloop. Het gevaarlijkste bij een wapenwedloop is dat er opnieuw (de illusie van) een voordeel van de eerste toepassing ontstaat. De wederzijdse afschrikking van kernwapens zorgt voor het afzien van aanvallen, maar een land dat softwarematig de wapensystemen van een ander land uitschakelt kan weer het idee hebben te kunnen ‘winnen’. Of een aanval moet opleveren dat voorkomen wordt dat een ander land over dezelfde technologische kennis gaat beschikken.
Een tweede gevaar van een AI wapenwedloop is de verlaging van de drempel voor een conflict met conventionele (niet-nucleaire) wapens. Dat geldt vooral voor de inzet van de inzet van robotwapens. Autonome wapensystemen verlagen de drempel voor het gebruik van wapens doordat met weinig of geen verlies aan eigen mensenlevens grote schade kan worden aangericht bij de vijand. Zoals dat op dit moment gebeurt met drones.
Een andere manier waarop autonome wapensystemen kunnen zorgen voor de inzet van (meer) conventionele of zelfs nucleaire wapens is de confrontatie van autonome wapensystemen met elkaar. Het verloop van een conflict dat wordt uitgevochten met door AI geleide wapensystemen is onvoorspelbaar. In een conflict tussen dergelijke systemen kan escalatie plaatsvinden die niet beheerst of getemperd wordt door mensen.
Een derde gevaar bestaat uit het gebruik van AI systemen door dictatoriale regimes of terroristische organisaties. Het bestaan van AI wapensystemen betekent dat ze ook in verkeerde handen kunnen vallen.

Wetgeving en ethiek
Ook als het menselijk ras door AI systemen niet direct tot een toestand van slavernij wordt gebracht, bestaat het gevaar dat steeds meer beslissingen met morele implicaties bij AI systemen komen te liggen en wel op zo’n manier dat de gemaakte morele afwegingen niet meer stuurbaar of zelfs zichtbaar zullen zijn.
AI systemen zodanig programmeren dat ze gehoorzamen aan wetten en ethische codes is vooralsnog te ingewikkeld (1). Bovendien: welke wetten en codes zouden we dan moeten gebruiken? Op het maken van moreel handelende AI systemen kom ik nog terug.

Wetten en regels kunnen wel worden gebruikt om ontwerpers en makers van AI systemen verantwoordelijk te stellen voor de gevolgen van verkeerd gedrag van hun systemen (2). Ze kunnen ook helpen er voor te zorgen dat systemen op een bruikbare manier vastleggen hoe hun handelen tot stand is gekomen, zodat achteraf fouten en verantwoordelijkheden kunnen worden bepaald.
Met het complexer worden van apparaten wordt het steeds lastiger te achterhalen waar falen en dus schade vandaan komt. Met de komst van AI systemen die functioneren op basis van neurale netwerken en deep learning zijn beide vormen van sturing zelfs onbruikbaar geworden. Deze vorm van AI kenmerkt zich doordat systemen leren door getraind te worden met grote hoeveelheden data. De data worden verwerkt door lagen in het systeem die ieder een taak uitvoeren en de uitkomst is een zekere mate van waarschijnlijkheid die wordt doorgegeven aan een volgende laag in de architectuur van het systeem. Het systeem volgt dus geen voorgeschreven leerpad, maar leert zelf. Van zelflerende systemen is meestal niet meer te achterhalen of een ontwerper of maker een fout heeft gemaakt. Ook is het tot stand komen van beslissingen door dergelijke systemen achteraf zelden nog te reconstrueren. Wetten en regels zijn daarmee onvoldoende om te sturen op het gewenste gedrag van AI systemen.

Sociale impact
Hoe gaat onze samenleving veranderen door de inzet van robots? Dat zal in ieder geval gebeuren door het verlies van banen en/of het veranderen daarvan. De inzet van robots kan ten koste gaan van vaardigheden en kennis die nu bij mensen aanwezig zijn (bijvoorbeeld bij operatierobots). Hierdoor ontstaat een ongewenste afhankelijkheid van technologie. Een ander terrein van zorg is het effect van emotionele binding van mensen aan robots. Verder is er de impact van de productie van robots op het milieu.
In relatie tot sociale impact zijn er ook zorgen over de privacy in relatie tot AI systemen en met name in de vorm van robots die in ons midden verkeren. Robots zijn uitgerust met steeds meer camera’s en sensoren en kunnen veel informatie verzamelen die niet goed is afgeschermd voor gebruik door derden.

Mogelijke maatregelen voor de beheersing van AI
Hieronder volgt een overzicht van de maatregelen die mogelijk zijn om tot beheersing te komen van de ethische en sociale risico’s die de voortgaande ontwikkeling van AI systemen met zich meebrengen.

Moratorium
De simpelste en meest rigoureuze maatregel om de risico’s van AI systemen te beheersen is een moratorium op de ontwikkeling en de toepassing van de technologie (3). Dergelijke moratoria zijn bijvoorbeeld ook toegepast voor genetische modificatie of voor stamcelonderzoek. Hoewel een moratorium zonder meer de risico’s uitbant, is het de vraag of een dergelijke maatregel internationaal is af te spreken of te handhaven. Ook bij eerdere moratoria op gevaarlijke nieuwe technologieën deden zich al snel verschillen tussen landen voor in toepassing en interpretatie. Voor AI zal het nog moeilijker zijn omdat de technologie moeilijk af te bakenen is en moeilijk controleerbaar. Een ontwikkelaar in Europa kan software programmeren op een computer in Afrika die in Azië getest wordt.
Een vorm van een haalbaar moratorium is die op private AI ontwikkeling. Als overheden de nationale strategische risico’s van AI ontwikkeling volledig onderkennen zou dat kunnen leiden tot een moratorium op private AI ontwikkeling. Hoewel dat ten koste zou kunnen gaan van de snelheid van de ontwikkeling vermindert het risico’s als in het verkeerde handen vallen van gevaarlijke technologie of onethisch gebruik ervan.

Dit wil niet zeggen dat het zinloos is om tot internationale afspraken te komen. Op zijn minst zou er een organisatie moeten zijn die namens overheden met experts bepaald welke drempels er zijn in technologische ontwikkelingen waarvan het overschrijden vraagt om maatregelen (4).

Wapenbeheersing
Dezelfde problemen als bij een moratorium gelden bij supranationale vormen van controle op mensvriendelijke ontwikkeling en toepassing van AI (5). Voor een deel zijn die problemen vergelijkbaar met die bij de beheersing van de gevaren van kernwapens. De afspraken die door de oorspronkelijke kernmachten zijn gemaakt over non-proliferatie kunnen worden genegeerd door andere landen en de relatie met kernenergie maakt dat controle moeilijk waterdicht is te krijgen. De controle op AI ontwikkeling is extra moeilijk omdat er in technische zin niet zo’n duidelijke grens is te trekken tussen goedaardige en kwaadaardige AI.
Een afschrikkingseffect zoals bij kernwapens zou mogelijk kunnen bestaan in de vorm van de capaciteit voor de wederzijdse vernietiging van ICT infrastructuur. Aan de andere kan de militaire inzet van AI meer geleidelijk en wellicht onmerkbaar plaatsvinden.

De benodigde internationale samenwerking zou tot stand kunnen komen als er sprake is van een algemeen onderkende bedreiging van het menselijk ras als geheel. Zoals een aanval van buitenaardse wezens landen zou verenigen, zou dat ook kunnen met de gemeenschappelijke dreiging van onbeheersbare superintelligentie.
Voor AI systemen in algemene zin zou er een toezichthoudende orgaan moeten komen vergelijkbaar met het Internationaal Atoom Agentschap. AI systemen die door een dergelijk agentschap worden opgespoord die niet voldoen aan de internationale afspraken worden dan onmiddellijk en integraal vernietigd.

Wetten en regels
De bestaande wet- en regelgeving met betrekking tot robots en AI systemen is vooral gericht op aansprakelijkheid en ligt in het verlengde van de aansprakelijkheid voor het functioneren van industriële machines en producten. Die aansprakelijkheid richt zich op makers en gebruikers. Er zijn verschillende redenen om daarbij AI systemen niet als een juridische en daarmee als aansprakelijke entiteit te benaderen. Mensen zijn sociale en biologische wezens die in hun sociale en biologische evolutie eigenschappen hebben ontwikkeld die niet overdraagbaar zijn naar systemen. Of, meer technisch bepaald: systemen zijn niet duidelijk als entiteit te onderscheiden van andere systemen. Een systeem zelf is veelal modulair opgebouwd, kent onderdelen die het deelt met andere systemen en staat in voortdurende interactie met andere systemen. Wet- en regelgeving kan zich daarom beter blijven richten op makers en gebruikers.

Het EU-rapport Guidelines on Regulating Robotics betoogt dat regelgeving vooral nodig is voor de bescherming van burgers en om bedrijven een duidelijk speelveld te bieden waarop zij hun strategie voor investeringen in robotica kunnen baseren. Die regels mogen niet te beperkend zijn om niet het risico te lopen dat innovatie daardoor niet tot stand komt. Het Europees Parlement vraagt in dat kader onder meer om een gespecialiseerd agentschap, ethische code of conduct (6), een verplichte verzekering voor autonome robots en een stopknop in het ontwerp van robots.

Met de huidige stand van zaken zijn de waarden die als uitgangspunt moeten dienen voor het ontwerp van ethisch verantwoorde AI systemen nog niet eenduidig vastgesteld. Het EU rapport gebruikt de waarden die zijn geformuleerd in het EU lidmaatschapsverdrag. Een niveau concreter is er sprake van richtlijnen en soms van normen. Specifieke eisen voor ethisch verantwoord ontwerpen zijn nog onvoldoende beschikbaar om bijvoorbeeld in regelgeving op te kunnen nemen.
In 2016 is door het British Standards Institution een ethische standaard opgesteld voor het ontwerpen, produceren, verkopen en gebruiken voor sociale robots, de BS 8611: 2016 Robots and robotic devices Guide to the ethical design and application of robots and robotic systems. De standaard is bedoeld om ethische risico’s te identificeren en door veilig ontwerp en beschermende maatregelen terug te brengen tot een aanvaardbaar niveau. De insteek is dus vooral om gebruikers te beschermen door veiligheid in te bouwen in de systemen.
Er is ook een initiatief van de IEEE dat geleid heeft tot een richtlijn voor wat zij noemen ethically aligned design van AI systemen. Daar waar het gaat om het inbrengen van morele normen in AI systemen komt de richtlijn overigens niet verder dan een oproep tot meer onderzoek.

Principes en handvesten
Voor het mensvriendelijk functioneren van AI systemen lijken principes of een AI grondwet (7) meer van toepassing dan gedetailleerde wetgeving. Verschillende landen en instellingen hebben hiervoor initiatieven genomen. Zo zijn er de Britse EPSRC Principles of Robotics die de gecombineerde aansprakelijkheid van maker (voldoet niet aan specificaties) en gebruiker (verkeerd gebruik) probeert vorm te geven. AI systemen zelf blijven hier buiten schot als aansprakelijke partij.

Initiatieven die morele principes proberen te formuleren stuiten allemaal op het probleem: wiens normen hanteer je? Het openeth platform heeft hier een aardige oplossing voor: via een website zijn democratische beslissingen mogelijk voor het programmeren van ethische regels voor AI systemen. Gezien de schaal en het ontbreken van verbinding met internationale organisaties blijft het vooral een initiatief dat de moeite waarde is om door andere organisaties te worden overgenomen.

Interessant is het South Korean Robot Ethics Charter dat in Zuid-Korea opgesteld. Het is een poging de basisprincipes voor het ontwerpen en gebruiken van robots te beschrijven. Het handvest lijkt er vooral op gericht sociale problemen te voorkomen, zoals burgers die robots verkeerd gaan gebruiken of er afhankelijk van raken. Ook Japan kent een, veel beperktere, set van principes: de Ten Principles of Robot Law.
Ook voor deze benadering geldt dat niet duidelijk wordt hoe deze principes vertaald moeten worden naar gedrag van AI systemen. Of zoals Mark Tilden, ontwerper van robots, het uitdrukt: robots toerusten met moraal lijkt op mieren leren jodelen. Het duurt even voor je weet hoe dat moet.

Inperking en bewaking
Een relatief eenvoudige maatregel bestaat uit het inperken van het gebied waarop een systeem autonoom kan handelen (8). Het uitgangspunt daarbij zou moeten zijn dat AI systemen geen autonome beslissingen nemen waar er geen eenduidigheid bestaat over de weging van de factoren die leiden tot een morele beslissing. In operationele zin zou dit kunnen leiden tot AI systemen die hun beslissingsbevoegdheid teruggeven aan mensen bij een ethisch dilemma. Tot er een menselijk commando is mogen systemen niet handelen.
Het zal in de praktijk moeilijk zijn te bepalen welke beslissingen wel en niet zijn toegestaan en de controle hierop uit te voeren. Mogelijk helpt het wanneer makers aansprakelijk zijn voor schade door AI systemen die beslissingen hebben genomen buiten hun bevoegdheid. Makers noch gebruikers zullen aansprakelijk willen zijn voor autonome beslissingen van hun systemen die deze systemen niet hadden mogen nemen.
Het grootste probleem zal zijn dat wanneer de maatregel wordt uitgevoerd deze zal leiden tot beperking van de toepassing van AI, ook op terreinen waarop AI superieur is aan mensen. AI systemen zullen over enige tijd beter in staat zijn in te schatten of een patiënt een risicovolle behandeling zal overleven dan dat artsen dat kunnen. Hier kan de uitkomst van een AI systeem nog als een advies aan een arts worden gebruikt. Daar waar snel handelen vereist is kan een dergelijke inperking alleen tevoren worden ingebouwd. Mensen zullen dat op den duur niet accepteren. Een beslissing tot het laten ontsporen van een trein of inrijden op een stilstaande trein met enkele seconden vertragen omdat een mens die beslissing moet nemen zal worden gezien als een te hoge prijs voor ethische onafhankelijkheid.

Een tweede eenvoudige maatregel is de invoering van de ‘stop-knop’, waar ook de commissie van het Europees Parlement voor pleit (9). Alle AI systemen moeten door een mens op eenvoudige wijze uitgezet kunnen worden en wel op zodanige wijze dat alleen door tussenkomst van mensen het systeem weer kan handelen. Dat zal niet altijd een fysieke knop zijn, maar kan ook bestaan uit bijvoorbeeld een commando. Het is een maatregel die vooral van psychologische waarde zal blijken. Het vraagt om een bovenmenselijke waakzaamheid van gebruikers van AI systemen: continu, pro-actief en met kennis van de afwegingen die een systeem maakt.

De, al dan niet symbolische, stop-knop zou kunnen worden aangevuld met een andere maatregel om de werking van AI systemen te kunnen monitoren; die van het gebruik van AI systemen voor bewaking van andere AI systemen, AI guardians (10). AI systemen moeten in hun functioneren de regels en voorschriften volgen die horen bij hun terrein van opereren. Als het goed is zijn die ook ingebracht in het systeem. AI bewakingssystemen zullen permanent moeten controleren of de systemen die ze bewaken zich aan de regels houden en ze moeten ervoor zorgen dat ingeval van afwijkingen van de regels een systeem gecorrigeerd wordt. De kracht van AI wordt hier dus gebruikt om AI in het juiste spoor te houden.
Een belangrijke technische opgave voor de ontwikkeling van AI guardians zal zijn om ze de juiste speling te laten meegeven aan de systemen die ze bewaken. Te weinig speling en dus het strikt volgen van regels kan tot problemen leiden. Zoals een zelfrijdende auto die door rood licht wil rijden omdat een van de inzittenden een hartaanval heeft en snel naar het ziekenhuis moet. Die auto moet niet door een AI guardian tot stilstand worden gedwongen. Teveel speling kan tot andere problemen leiden. Een autonoom werkend infuussysteem voor pijnmedicatie mag niet op basis van een pijnsignaal van de patient zomaar de dosis verhogen. Boven bepaalde waarden zijn hiervoor menselijke beslissingen vereist. Hier is strikte handhaving voor nodig, zonder speelruimte.
Voor een belangrijk deel worden hiermee de morele dilemma’s van de primaire AI systemen verplaatst naar de bewakende systemen. De bewakende systemen zijn vooral nuttig waar er duidelijke regels zijn die bewaakt kunnen worden en veiligheidsrisico’s bij de afwijking ervan.

Een heel andere vorm van bewaking is het installeren van ethische commissies bij bedrijven en onderzoeksorganisaties die AI systemen ontwikkelen (11). Een van de eerste en bekendste ethische commissies bij bedrijven is die bij Google. Die commissie is tot stand gekomen toen Google het Britse DeepMind overnam. DeepMind houdt zich bezig met AI gebaseerd op deep learning en stelde voor de overname als eis dat er een commissie zou komen die toezicht zou houden op mogelijk verkeerd gebruik van de AI technologie van DeepMind.
Andere grote technologie bedrijven hebben later vergelijkbare commissies ingesteld. Helaas is de werking van dergelijke commissies niet openbaar en vaak zelfs hun samenstelling niet. Het is dus in ieder geval geen transparante vorm van controle. Feitelijk staan dergelijke commissies voor een onmogelijke opgave. Het probleem bij AI systemen is dat dezelfde technologie zowel voor goede als slechte doelen kan worden gebruikt. Een AI systeem dat goed is in het voorspellen van crimineel gedrag op basis van het analyseren van hoe mensen zich gedragen tijdens sportwedstrijden kan ook gebruikt worden om politieke tegenstanders te criminaliseren. Of het kan de rechtstaat aantasten doordat er wordt opgetreden op basis van iets dat iemand mogelijk zou kunnen gaan doen.
Toch zouden onafhankelijke ethische commissies in ieder geval kunnen zorgen voor meer openheid over de ontwikkeling van AI en hoe er wordt omgegaan met de daarmee verbonden risico’s.

Tenslotte is er een beperking op de ontwikkeling van AI die ik zou willen aanduiden als het verplicht openen van de black box (12): makers verplichten om de werking van hun systemen te kunnen uitleggen. Van volledig geprogrammeerde AI systemen weten ontwikkelaars van de meest geavanceerde algoritmen vaak al niet wat ze doen. Voor zelflerende systemen is dat nog veel moeilijker. Het meest spectaculaire voorbeeld daarvan tot nu toe is wat er gebeurt met Google’s Neural Machine Translation system, een vertaalsysteem gebaseerd op deep learning. Korte tijd na de introductie in september 2016 wilde Google weten of het systeem in staat was tot het volgende:

• Het systeem leert taal A in taal B te vertalen
• Het systeem leert taal B in taal C te vertalen
• Kan het systeem nu taal A in taal C vertalen, zonder tussenkomst van taal B?

Het antwoord bleek ja. Maar om dat te kunnen doen moet het systeem een concept, een interne voorstelling van de betekenis van woorden creëren om deze vervolgens om te zetten in de woorden van een andere taal. Populair gezegd: het systeem heeft een eigen taal ontwikkeld. Een taal die noch gecreëerd is door de ontwikkelaars, noch door hen gekend wordt. Wanneer de eis zou worden gesteld dat de werking van het systeem moet kunnen worden uitgelegd zou dat een forse inperking van de ontwikkeling ervan betekenen.
Toch is een dergelijke eis geen irreële gedachte. De EU denkt aan de eis aan AI systemen die autonoom beslissingen nemen om gebruikers te kunnen uitleggen hoe die beslissing tot stand is gekomen. Vanuit gebruikers gezien geen onredelijke eis: hoe moet je anders het systeem vertrouwen in het nemen van beslissingen. Voor ontwikkelaars van veel AI systemen is die eis echter een nachtmerrie. Voor systemen gebaseerd op deep learning is het zelfs de vraag of ooit aan die eis kan worden voldaan.

Geleidelijke ontwikkeling
Er kunnen ook eisen gesteld worden aan het proces van ontwikkeling van AI systemen. Zo pleit computer wetenschapper Steve Omohundro voor een gelaagde benadering (13), waarbij veilige AI systemen helpen met het bouwen van de volgende generatie AI systemen, om ervoor te zorgen dat ook deze systemen veilig zijn, enzovoort.

 Een manier van ontwikkelen die aanvullend is op programmeren of laten leren is ontwikkeling van AI systemen op basis van de eis dat ze denken zoals mensen (14). AI systemen worden getraind om voortdurend het menselijk perspectief te kiezen, menselijke waarden te hanteren en zich te gedragen zoals mensen zouden doen (maar dan beter). De AI systemen die op deze manier worden ontwikkeld kunnen telkens worden getoetst in de omstandigheden waarin het systeem moet werken. Het is een stapgewijze, langzame en gecontroleerde vorm van ontwikkeling.

Moraliteit inbouwen in AI
AI systemen betreden in toenemende mate het sociaal domein, waar ze in interactie zijn met mensen. Dat stelt eisen aan het gedrag van de systemen. Hun handelen heeft juridische en morele consequenties. AI systemen zijn echter nog niet in staat te functioneren als volwaardige morele entiteiten, zoals mensen dat zijn. Waar menselijke moraliteit zich in de loop van de evolutie heeft ontwikkeld als collectief antwoord op invloeden in onze omgeving, wordt van AI systemen gevraagd om direct moreel aanvaardbaar te functioneren. Sommige deskundigen zien hierin een kans om de onvolkomenheden die mensen vertonen bij het nemen van morele beslissingen te vermijden. AI systemen zouden in staat zijn beslissingen te nemen zonder zich te laten leiden door emoties of de invloed van toevallige omstandigheden. Daar staat tegenover dat het maar de vraag is of moraliteit mogelijk is zonder de voorwaarden van lichamelijkheid en bewustzijn.

Er zijn twee hoofdvarianten voor de aanpak om AI systemen ethisch te leren functioneren: top-down en bottom-up. De eerste aanpak gaat uit van een set aan regels en voorkeuren die geprogrammeerd moeten worden (15). De tweede aanpak gaat uit van het leren van moraliteit in een ontwikkelingsproces (16).
Beide methoden hebben hun nadelen en beperkingen. Een goede derde weg zou kunnen worden gebaseerd op deugden ethiek. Deugden zijn een hybride vorm van de top-down en bottom-up benadering van ethiek: ze zijn expliciet te beschrijven, maar moeten bottom-up worden aangeleerd.

Het inbrengen van moraliteit in AI systemen is een mooie, maar moeilijke weg om onwenselijk of gevaarlijk gedrag van systemen te voorkomen. Deze weg roept om te beginnen lastige vragen op over wat de juiste morele regels zijn waar een systeem zich aan zou moeten houden. Een beperking wordt ook gevormd door de technische problemen die moeten worden overwonnen om systemen moreel gedrag aan te leren. Verder zijn er risico’s aan verbonden die maken dat dit nooit de enige weg kan zijn die bewandeld wordt om de gevaren van AI systemen in te dammen. Zo is er het risico van de onzekerheid van de uitkomsten in relatie tot reacties van systemen op de omgeving. Wat doet bijvoorbeeld een AI systeem dat geleerd heeft dat kindsoldaten vijanden kunnen zijn met de regel uit het oorlogsrecht dat er bij oorlogshandelingen geen kinderen mogen worden gedood? Een tweede risico is dat van het leren van verkeerd gedrag. Dat ervaarde Microsoft toen het in 2016 een chatbot lanceerde op Twitter. Het doel was de bot te leren spreken in de taal van jongeren, de uitkomst was dat de bot binnen 24 uur afschuwelijke racistische en fascistische tweets produceerde. Een derde risico hangt samen met de onmogelijkheid van controle: zorgt iedere maker wel voor de juiste morele ‘opvoeding’ van haar systemen? Je kunt niet iedereen verplichten AI systemen uitsluitend te voeden met oude afleveringen van Sesamstraat.
Een laatste complicatie die ik wil noemen betreft de gevolgen van onderlinge interactie tussen AI systemen. Er zijn op YouTube hilarische voorbeelden te vinden van AI chatbots die met elkaar in gesprek gaan. De voorbeelden bieden in ieder geval rijk studiemateriaal voor de misverstanden en interpretatieproblemen die er kunnen bestaan tussen AI systemen. Het is duidelijk dat hun vermogen om te checken of een ontvangen boodschap juist is beperkt is en niet-gestandaardiseerde communicatie tussen systemen veel risico op fouten met zich meebrengt.

Een morele Turing test
Het zou mooi zijn als de moraliteit van AI systemen getest kon worden met een variant op de Turing test voor de menselijke intelligentie van computersystemen. In een morele Turing Test wordt de morele kunde van een AI systeem getest op basis van:

• Gevraagde acties in morele dilemma’s
• Waarbij het systeem niet moet kunnen worden onderscheiden van een mens

Het is een procedurele test, die de nadruk legt op rationele argumentatie in de antwoorden op vragen. Het gevaar bestaat dat AI systemen slim genoeg zijn om de gewenste antwoorden te geven, ongeacht hun werkelijke overwegingen. Er valt wat voor te zeggen bij AI systemen meer te kijken naar de acties vanuit moreel perspectief.
Beter is een test waarbij het handelen van AI systemen wordt getest ten opzicht van een morele grondwet. Zoals bij de eisen aan de veiligheid van een zelfrijdende auto mogen deze hoger zijn dan die worden gesteld aan een mens. Een grondwet examen kan bovendien verbeterd en herhaald worden bij verandering in de wet of veranderingen in het systeem (17)

Sturing door menselijke waardering
Een variant op de evolutionaire benadering van het leren van moraliteit door te handelen is het sturen van de positieve bekrachtiging van gedrag (18). Robots zouden geprogrammeerd kunnen worden om hun gedrag zo te optimaliseren dat ze maximaal positief gewaardeerd worden door mensen. Meer negatieve waardering dan positieve waardering is fout gedrag en moet vermeden worden. Die waardering hoeft niet direct te zijn, maar moet over langere tijd gegeven kunnen worden: de reactie op morele vraagstukken wordt opgeslagen en kan ook later gewaardeerd worden.

Deze benadering maakt mensen nodig en relevant voor AI systemen hoe intelligent deze ook zijn. Het is een praktische invulling van de noodzaak ethiek leidend te maken voor het gedrag van AI systemen, met behoud van de mogelijkheid dat ze als lerende systemen hun intelligentie ontwikkelen buiten het bereik van ons eigen vermogen tot begrijpen en beheersen.

Een eigen taal
Sturing door menselijke waardering vraagt wel om een taal waarin menselijke goedkeuring moet worden weergegeven. Dit houdt ook risico’s in. Wanneer AI systemen menselijke taal moeten interpreteren ontstaan vroeg of laat verkeerde keuzen. ‘doorgaan lijkt me niet verstandig’ wordt niet altijd en onmiddellijk geïnterpreteerd als ‘stoppen’. De gevolgen hiervan kunnen ernstig zijn en zouden moeten worden vermeden. Dat zou kunnen door mensen en AI systemen te laten communiceren via een beperkte en eenduidige set begrippen. Dus, leer niet AI systemen mensentaal te begrijpen, maar geef ze een eigen taal (19). Hiermee houd je onderscheid tussen mensen en AI. Dat voorkomt:

• Een ingewikkelde juridische positie voor AI
• Duidelijkheid in verantwoordelijkheid
• Vermijden van interpretatie fouten

De termen voor de communicatie van AI systemen kunnen internationaal zijn, hetgeen grote voordelen heeft bij de communicatie met systemen afkomstig uit verschillende taalgebieden. De gestandaardiseerde communicatie tussen vluchtleiders en piloten in het internationale vliegverkeer kan hierbij tot voorbeeld zijn.

Superoplossing voor mensvriendelijke AI
Ondernemer en innovatiedeskundige Elon Musk heeft samen met investeerder Sam Altman OpenAI opgericht, een not-for-profit laboratorium voor AI ontwikkeling. OpenAI streeft ernaar als eerste superintelligentie te hebben ontwikkeld en wil de technologie veilig houden door deze te delen met anderen. De organisatie acht daarmee de krachten van superintelligentie beter beheersbaar dan als ze achter gesloten deuren door bedrijven of staten worden ontwikkeld. Het ideaal van OpenAI is te fungeren als een open source clearing house voor veilige AI (20).
Ondernemers en deskundigen als als Yudkosky of Musk geloven in een top-down ingebrachte garantie voor mensvriendelijk handelen van AI-systemen. Hoe die garantie er uit moet zien weten ze nog niet, maar ze zijn overtuigd van zowel de noodzaak daartoe als de haalbaarheid van een dergelijke oplossing. Daar staan andere deskundigen tegenover die menen dat ingebouwde waarden voor mensvriendelijkheid na een aantal cycli van zelfaanpassing verdwenen kunnen zijn. Waarden die duurzaam zijn in AI systemen zullen moeten worden aangeleerd door concrete ervaringen die systemen zich eigen maken.
Ook de grote technologie bedrijven die zich bezighouden met de ontwikkeling en toepassing van AI hebben een samenwerkingsverband gecreëerd. Amazon, Google, Facebook, IBM en Microsoft hebben zich verenigd in het Partnership on AI. Ook deze samenwerking kenmerkt zich door nobele doelen ten aanzien van openheid en veiligheid. Alle afspraken zijn echter volkomen vrijblijvend en worden nergens gesanctioneerd. De samenwerking lijkt vooral ingegeven door het gemeenschappelijk belang dat de ontwikkeling van AI sneller gaat als je de kennis van verschillende onderzoeksgroepen combineert, dan als je het alleen moet doen. Dat blijkt ook aan de uitnodiging van het Partnership aan de academische onderzoekscentra om met hen mee te doen.
Een tweede gemeenschappelijk belang is de acceptatie van AI systemen in de samenleving. Ook op dit terrein ontwikkelt het Partnership initiatieven, vooral in de vorm van voorlichting.

De gewenste superoplossing is nog niet in zicht, maar een veelbelovende aanpak komt van Nate Sores, onderzoeker aan het Machine Intelligence Research Institute. Soares pakt de kern aan van het eerder genoemde paperclip probleem: doelgerichte programmering. Om te functioneren krijgt een AI systeem een doel mee. Mensen zijn in staat om het doel van hun handelen voortdurend af te wegen tegen gedeelde waarden en gezond verstand. Mensen slopen geen huis omdat hun opdracht is een verloren speelgoedpop terug te vinden. AI systemen hebben echter mechanismen ingebouwd die ervoor zorgen dat alles wat het doel in de weg staat uit de weg geruimd moet worden. Dat heeft niets te maken met kwaadaardigheid, maar met de centrale plaats die het doel heeft in de programmering van de systemen.
De aanpak van Soares is om AI uit te rusten met het vermogen feedback te ontvangen en dit te verwerken in de mogelijke handelingsopties. Eigenlijk wordt het AI systeem geprogrammeerd met een zekere onverschilligheid ten opzichte van haar doel (21). Als het systeem minder waarde hecht aan het doel van haar functioneren, is het makkelijker om het systeem van doel te laten veranderen of om meerdere doelen naast elkaar te kunnen hebben.

Testen
Voor het testen van AI programma’s kunnen simulatieomgevingen worden ontworpen door onafhankelijke organisaties. In dergelijke simulatieomgevingen kan ook de eis op reproductie van het functioneren van de systemen worden getest. Dus niet alleen de uitkomst moet veilig en verantwoord zijn, maar alle stappen die gezet zijn om de uitkomst te bereiken moeten bekend en veilig zijn (22).
AI systemen die nieuw of vernieuwd zijn moeten niet alleen in laboratoriumsituaties worden getest, maar er zijn levensechte testomgevingen nodig waar de veilige werking van systemen vastgesteld kan worden door onafhankelijke organisaties, zoals het hiervoor genoemde Internationaal agentschap voor AI. Alleen met veldtesten in het werkelijke leven kan worden vastgesteld of het functioneren van AI systemen in interactie met mensen daadwerkelijk veilig, moreel verantwoord en gebruikersvriendelijk is.
Die levensechte testomgevingen zouden ook weer onderverdeeld moeten zijn in stadia van realiteit: van een omgeving met alleen robots, naar een omgeving met getrainde testers, naar een testomgeving met burgers, maar wel met voldoende controles op de veiligheid. Pas na een geslaagd examen kunnen AI systemen buiten de testzones worden gebruikt.
Voor alleen softwarematige AI systemen geldt een vergelijkbare testaanpak: Van geïsoleerd functioneren op testsystemen naar een testomgeving die niet in verbinding staat met publieke netwerken, naar een gecontroleerd gebruik in een normale omgeving.
Japan heeft als de nodige ervaring opgedaan met testzones voor robots, de zogenaamde “Tokku” Special Zones for Robotics Empirical Testing and Development. De experimenten in deze speciale zones brengen steeds meer onderwerpen naar boven die vragen om specifieke (juridische) regels, zoals verkeer, radiofrequenties, privacybescherming en veiligheid.

Bij het testen van AI systemen kan veel geleerd worden van de ervaringen op het terrein van cybersecurity. Daar wordt vaak gewerkt met bedenken van alle mogelijke vormen van fouten en bedreigingen voor een systeem of toepassing. Voor ieder van die mogelijke fouten of bedreigingen moeten afdoende maatregelen beschikbaar zijn. Het kan zelfs nuttig zijn in een gecontroleerde omgeving te werken met AI systemen waar bewust fouten of risico’s zijn ingebouwd. De beste manier om voorbereid te zijn op een kwaadaardig AI systeem is om er een te bouwen.

Een publiek beheerd platform
Japan loopt voorop in de ontwikkeling en toepassing van AI in robots. Hierbij is, uit oogpunt van efficiency, de nodige aandacht voor de modulaire opbouw van besturingssystemen en middleware, zodat deze gedeeld kan worden. Ook is er ervaring met het gebruik van platformen, waarbij een belangrijk deel van de functionaliteit die door robots wordt gebruikt via de cloud wordt aangeboden.

Een dergelijke aanpak zou ook gekozen kunnen worden voor de beheersing van AI ontwikkeling. Het is de vraag of toekomstige AI systemen zullen beschikken over iets als een operating system of hardcoded systeemcomponenten. Maar overheden zouden gebruik kunnen maken van een wettelijk afgedwongen architectuur waarin dergelijke componenten worden ingebouwd om daarmee de doelen en het doelgedrag van systemen dwingend vast te leggen. Een stap verder gaat om de ontwikkeling en toepassing van AI alleen toe te staan op een publiek beheerd platform (23). Alle private AI toepassingen zijn in dat geval een service die gebruikt maakt van een collectief gecontroleerde kernel. Het is een zware vorm van inperking, maar wel een die een beheerste vorm van de ontwikkeling van AI mogelijk zou maken.

Overzicht van soorten oplossingen
Hieronder volgt een opsomming van alle beheersingsmaatregelen voor AI die in de tekst worden genoemd, met het nummer waarmee ze in de tekst zijn gemarkeerd.

1. Verbieden of inperken van de ontwikkeling en toepassing van AI
   1. Wetten en regels (1)
   2. Moratorium (3)
   3. Regelen van aansprakelijkheid (2)
   4. Inperken van het werkingsgebied (8)
   5. Ethische commissies bij bedrijven en organisaties (11)
   6. Eis van transparantie van de werking van AI systemen (12)
   7. Toepassing van AI systemen alleen toestaan op een publiek beheerd platform (23)
2. Sturen op ethisch handelen van AI systemen
   1. Ethische code of conduct (6)
   2. Ethische principes of handvesten (7)
   3. Top-down inbouwen van moraliteit (15)
   4. Bottom-up inbouwen van moraliteit (16)
   5. AI systemen trainen in hanteren menselijk perspectief (14)
   6. Sturen van het gedrag van AI systemen door menselijke waardering (18)
3. Controle op en beveiliging van de ontwikkeling en toepassing van AI systemen
   1. Een internationale expert organisatie (4)
   2. Een internationale organisatie voor controle op ontwikkeling en toepassing (5)
   3. Inrichten van speciale testzones (22)
   4. Examens voor AI systemen (17)
   5. Stop-knop verplichten (9)
   6. AI bewakingssytemen (10)
   7. Gelaagde ontwikkeling van AI systemen (13)
   8. Een eigen taal voor communicatie met en tussen AI systemen (19)
   9. Doelonverschilligheid inbrengen in systemen (21)

De superoplossing bestaat nog niet en is dus vooralsnog buiten categorie. De maatregelen voor de beheersing van de ontwikkeling van AI systemen kunnen als volgt in schema worden gebracht:

Conclusie
Alle maatregelen voor de beheersing van de risico’s van AI systemen afwegend kan worden geconcludeerd dat geen daarvan voldoende is. Overheden denken na over wetgeving, maar daarbij zijn ze vooral gericht op aansprakelijkheidskwesties niet met het risico van kwaadaardige systemen. Veel van de maatregelen om moraliteit in te bouwen in AI systemen schieten tekort als het gaat om zelflerende systemen. Er is geen enkele garantie op moreel aanvaardbaar toekomstig gedrag van AI systemen die gebruik maken van eigen leermethoden.
Uitgaande van de beperkingen van alle afzonderlijke maatregelen en de onhaalbaarheid van een moratorium op de verdere ontwikkeling van AI biedt alleen een combinatie van maatregelen enige kans op beheersing van de toekomstige risico’s. Het is triest om te zien dat de meest vergaande poging tot beheersing komt van de commerciële partijen die zelf in de race zijn om zo snel mogelijk superintelligente AI systemen te bouwen. Het Partnership on AI en het OpenAI initiatief doen een poging om te komen tot coördinatie in onderzoek en het ontwikkelen van oplossingen die voor beheersing van de risico’s kunnen zorgen. Een dergelijk initiatief zou door samenwerkende overheden of een internationaal orgaan genomen moeten worden. Samenwerkende overheden zouden moeten zorgen voor de combinatie van de volgende maatregelen:

1. Inrichting van een organisatie voor onderzoek en advies en een organisatie voor toestemming en controle.
2. De ontwikkeling van een technisch platform dat de enige basis mag zijn voor AI toepassingen en -diensten die door publieke en private organisaties worden ontwikkeld. Dat zou kunnen in de vorm van een generieke kernel waarin waarborgen zijn opgenomen voor veilig en moreel verantwoord gedrag van de aangesloten systemen.
3. Het verplicht opleggen van een test- en goedkeuringsprocedure voor AI-diensten op basis van het publiek beheerde AI-platform.

Een collectieve infrastructuur voor AI systemen is vele malen gecompliceerder dan een collectieve infrastructuur voor spoorwegen, met een bijbehorende keuringsinstantie voor voertuigen die van het spoorwegennet gebruik mogen maken. Toch zal met een dergelijk beeld voor ogen maatregelen moeten worden genomen om de risico’s van AI systemen te kunnen beheersen.

Alleen samenwerking biedt oplossing
De enorme risico’s van AI kunnen ook een voordeel zijn voor het menselijk ras in die zin dat beheersing internationale samenwerking vereist. De enorme risico’s van kernwapens hebben ook tot nieuwe en krachtige vormen van internationale samenwerking geleid die daarvoor niet bestonden. Ook voor de beheersing van biotechnologische gevaren komt internationale samenwerking op gang. Voor nanotechnologie geldt eveneens dat beheersing van de risico’s alleen op internationale schaal kan plaatsvinden. Zoals het geen ondenkbaar scenario is dat superintelligente technologie de macht op aarde van ons overneemt, is het ook geen ondenkbaar scenario dat de beheersing van superintelligente technologie leidt tot een wereldregering. Een wereldregering met een monopolie op AI ontwikkeling en de macht om dit monopolie te bewaken. Laten we hopen dat daar geen softwarematig Hiroshima voor nodig is.