Mondiale catastrofale risico’s

Waar gaat dit over?

Sommige rampen zijn zo groot dat de wereld zich er niet van herstelt. Een pandemie met een ziekteverwekker die in een laboratorium is ontworpen. Een oorlog waarin kernwapens worden ingezet. Een geavanceerd AI-systeem dat zich aan menselijke sturing onttrekt, of een systeem dat door iemand wordt gebruikt om op grote schaal slachtoffers te maken.

Mondiale catastrofale risico’s is de verzamelnaam voor die dreigingen. In onze begrippenlijst staat de term voluit als Global Catastrophic Risk (GCR). De zwaarste variant heet existentiële risico’s (X-risk): gebeurtenissen waarna de mensheid uitsterft of haar mogelijkheden op de lange termijn permanent kwijt is.

Deze pagina is gebaseerd op het werk van Probably Good en 80,000 Hours. Beide hebben overzichten die veel verder gaan dan wat hier past. Lees ze. Ze hebben deze pagina niet gezien en spreken zich niet uit over onze keuzes.

Waarom nemen we dit serieus?

Het eerste argument is de omvang. Probably Good telt negentien epidemieën en pandemieën met minstens een miljoen doden. Zes daarvan deden zich na 1900 voor, ruwweg één per twintig jaar. Voor kernoorlog noemt Probably Good een veelgebruikte schatting van rond de 1% per jaar. Over honderd jaar komt dat uit op ongeveer 63%.

Het tweede argument is dat er weinig mensen aan werken. 80,000 Hours schat dat wereldwijd maar een paar duizend mensen zich bezighouden met de ernstigste problemen rond AI. Volgens een schatting uit 2024 gaat er wereldwijd ongeveer 130 miljard dollar per jaar naar biosecurity. Daarvan komt weinig terecht bij de zwaarste dreigingen. Ter vergelijking: COVID-19 kostte de wereldeconomie mogelijk meer dan 12.000 miljard dollar.

Waar ligt de grens?

Hier gaat het om de ramp zelf: AI die zich aan menselijke sturing onttrekt, of technologie die wordt gebruikt om op grote schaal slachtoffers te maken. Vragen over wie er straks macht heeft en welke waarden vastgelegd worden, horen bij het probleemgebied ‘een betere toekomst’.

Wat voor werk is dit in Nederland?

De vacatures wisselen, dus we beschrijven de soorten werkgevers:

• Een ministerie dat gaat over buitenlands beleid, defensie, digitale zaken of volksgezondheid. Werk aan verdragen, exportcontrole, sanctiebeleid of de uitvoering van Europese AI-regels.
• Een toezichthouder, bijvoorbeeld op nucleaire veiligheid en straling, of op algoritmes en digitale systemen.
• Een kennisinstituut voor volksgezondheid of internationale betrekkingen: uitbraakdetectie, rioolwatersurveillance, non-proliferatie, analyses van conflicten tussen grootmachten.
• Universiteiten en universitair medische centra: technisch onderzoek naar AI-veiligheid, labveiligheid, wapenbeheersing.
• Fondsen en stichtingen die dit onderzoek betalen, en kleine organisaties die AI-modellen testen op gevaarlijke capaciteiten.
• Internationale organisaties in Den Haag: juristen, analisten, inspecteurs en ondersteunende functies.

Naast onderzoek en beleid gaat het om bedrijfsvoering, communicatie, financiën en IT-beveiliging. De formele eisen zijn daarvoor vaak minder specialistisch dan voor het onderzoek zelf. Voor die functies zijn er bovendien vaak minder kandidaten.

Redenen om iets anders te kiezen

Dit gebied is moeilijker te beoordelen dan werk aan malaria of ondervoeding. Bij muggennetten kun je meten wat een interventie oplevert. Bij een ramp die nog niet is gebeurd, kan dat niet. Je werkt met onderbouwde schattingen.

Werk in dit gebied kan ook verkeerd uitpakken. Onderzoek naar ziekteverwekkers levert kennis op die misbruikt kan worden, en onderzoek naar veilige AI-systemen kan de ontwikkeling van sterkere systemen versnellen. Wie dat risico zorgelijk vindt, kan er juist onderzoek naar doen of beleid voor ontwikkelen, of kiezen voor een gebied waarin de uitkomst duidelijker is.