De statisticus Corey Chivers beweert op zijn blog dat je met het PRISM-programma dat de NSA (en onze eigen AIVD) gebruikt best een terrorist kunt herkennen. Maar tegenover elke terechte beschuldiging van terrorisme staan dan wel duizenden onterechte beschuldigingen.
Chivers beschrijft dat voor elke terechte beschuldiging van terrorisme, er ruim 10.000 mensen onterecht worden beschuldigd. Hoe komt hij tot die conclusie en wat zegt dat over de bewering van Obama dat onze telefoongesprekken niet worden afgeluisterd én dat terrorisme wordt voorkomen met het systeem?
Hiervoor gebruikt hij opvallend waarschijnlijke aannames. De eerste aanname is dat de meeste mensen geen terrorist zijn. Sterker nog: terroristen zijn zeldzaam.
De tweede aanname is dat de mensen die bij NSA werken extreem slim zijn, op het akelige af.
Hierdoor zouden ze een algoritme kunnen ontwikkelen dat met 99% zekerheid kan zeggen dat iemand een terrorist is, als hij ook echt een terrorist is:
P(+ | bad guy) = 0.99
Deze formule is een conditionele uitspraak. Dat betekent dat ervan uit wordt gegaan dat de van terrorisme verdachte persoon daadwerkelijk een terrorist is.
In het geval van deze formule is de waarschijnlijkheid (P) dat bij een positieve uitslag (+), dus dat het systeem roept: “JA! We hebben een terrorist gevonden, gegeven (|) dat iemand ook echt een terrorist is, 99%.
Dat is mooi, zou je zeggen. Als dat superieure PRISM systeem een terrorist scant, dan pakt hij hem bijna altijd en dan is het een enkeltje Guantanamo-bay voor de beste man. We kunnen rustig slapen.
Maar nu de vraag waar het probleem opdoemt. Hoe groot is de kans dat het algoritme van PRISM gelijk heeft, als het beweert dat het een terrorist heeft gevonden, of in formuletaal:
P(bad guy | +) =??
Corey Chivers gaat er terecht vanuit dat echt bijna niemand een terrorist is, kent u er één? Laat het ons weten, we zouden graag een keer een reportage maken over dat soort louche types.
Chivers neemt aan dat 1 op de miljoen mensen een terrorist is, waarbij hij terecht opmerkt dat het er in werkelijkheid nog veel minder zijn, maar een miljoen rekent lekker en het punt dat hij maakt wordt er niet minder sterk op. Dan kom je op de volgende formule:
P(bad guy) = 1/1,000,000
Verder heeft hij er alle vertrouwen in dat ze bij de NSA weten wat ze doen, en dat ze een systeem hebben waarbij ze maar zelden iemand onterecht beschuldigen. De kans dat PRISM beweert dat iemand een terrorist is, terwijl hij eigenlijk heeft besloten iets zinnigers te doen met zijn leven, zet hij op 1%.
P(+ | good guy) = 0.01
Voeg deze formules samen, uitgaande van de algemeen geaccepteerde statistiekregels van Bayes:
P(bad guy | +) = P(+ | bad guy) P(bad guy) / [ P(+ | bad guy) P(bad guy) + P(+ | good guy) P(good guy)
Dus (sla dit over als je er geen zin in hebt, maar het klopt):
Kans dat beschuldiging terecht is = de kans dat een schuldige herkend wordt X de kans dat iemand schuldig is (1 op een miljoen) / de kans dat een beschuldiging onterecht is X de kans dat iemand onschuldig is.
En we hebben de uitslag:
P(bad guy | +) = 1/10,102
De kans dat het PRISM programma het bij het juiste eind heeft als het beweert een terrorist gevonden te hebben, is 1 op 10.102. De overige 10.101 beschuldigde personen zijn onschuldig.
Er zullen ongetwijfeld mensen zijn die vinden dat de wereld meer terroristen herbergt dan één op de miljoen. Ik geloof dat niet, maar maak er 1 op de 200.000 van en je kunt nog steeds concluderen dat de PRISM methode volstrekt zinloos is.
De reden dat we niet iedereen moeten scannen op terroristische activiteiten is dezelfde als waarom we niet alle vrouwen, maar alleen vrouwen boven de 45 jaar oud scannen op borstkanker: door iedereen te scannen richt je meer schade aan dan dat het oplevert.
President Obama beweert dat er dankzij PRISM terroristische aanslagen zijn voorkomen, en dat niemand luistert naar onze telefoongesprekken. Het is zeer onwaarschijnlijk dat beide beweringen kloppen.
Om tussen alle geautomatiseerde, onterechte beschuldigingen de terrorist te vinden, is mensenwerk nodig. Dat is monnikenwerk. Als het klopt dat aanslagen zijn voorkomen dankzij PRISM, dan hebben levende, ademende mensen de verdachte communicatie moeten bestuderen, voor het overgrote deel van onschuldige mensen. In dat geval luisteren ze dus wel degelijk naar onze telefoongesprekken.
Als ze écht niet naar onze telefoongesprekken luisteren, is het onmogelijk om de echte terroristen tussen de good guys uit te vissen.
De laatste mogelijkheid is dat Obama weliswaar beweert dat de Amerikanen terroristen hebben gevangen. Maar dat deze mensen in werkelijkheid gewoon onschuldig zijn. De manieren waarop een verdachte van terrorisme mogen worden ondervraagd zijn veel soepeler dan bij verdenking van andere misdrijven, wat de kans op foute conclusies nog eens vergroot.
En zo doemt het beeld op van onschuldige kebab-verkopers, autistische druktemakers en islamitische taxichauffeurs die onder een verzwaard regime wachten op hun proces. Misschien nog wel een enger idee dan het feit dat je e-mail wordt gelezen door die nerds van de NSA.
