De rekenwonders van de NCRV

Als jolige pubers schoven wij aan in de met stoelen en tafels gevulde gymzaal van Regionale Scholengemeenschap De Kweekvijver in Benedenzolde. Voor mij was het al een jaar of vijftien geleden dat ik ‘voor het echie’ eindexamen deed, voor sommigen onder ons nog veel langer, en voor een niet onaanzienlijk deel was het de eerste keer. Samen met een groepje collega-journalisten was ik door het Ministerie van Onderwijs uitgenodigd om mee te doen aan het centraal schriftelijk eindexamen Wiskunde B voor Havo. “Wiskunde!”, riep een collega van een landelijke krant. “Waarom nu uitgerekend wiskunde? Ze weten toch dat wij niet bepaald rekenwonders zijn? We zijn toch niet voor niets journalist geworden?” Gelach onder de collega’s. De surveillant maande tot stilte, we gingen beginnen.

Al bij vraag 1 bleek de jolige opmerking van de collega toch wel een kern van waarheid te bevatten. Zenuwachtig wipte ik op mijn stoel bij het lezen van de vraag:

Een televisiezender houdt voor een bepaalde uitzending een enquête onder 700 personen. De voorgelegde vraag luidt: “Moet Regel X afgeschaft worden?” 565 personen vinden de kwestie het reageren niet waard. Van de 135 respondenten die wel reageren geven nog eens 28 mensen aan de kwestie niet interessant te vinden. 53 personen antwoorden dat Regel X niet afgeschaft moet worden. 54 personen antwoorden dat Regel X wel afgeschaft moet worden. Wat is de logische conclusie uit het onderzoek?

Ik las de vraag minstens tien keer voor ik een idee kreeg wat er überhaupt stond. Een televisiezender… verdorie, dacht ik, dat is praktisch mijn eigen vakgebied, dat moet toch een kolfje naar mijn hand zijn! Ik keek zo onopvallend mogelijk naast me, waar de eindredactrice van een actualiteitenprogramma van een ooit-protestants-christelijke omroep driftig zat te gummen op haar kladpapier voor de berekeningen. Gelukkig, zelfs zij heeft er moeite mee, concludeerde ik. Ik knaagde op mijn pen en staarde naar het plafond in de vergeefse hoop dat die peinzende pose mij een millimeter dichter bij de oplossing van het raadsel bracht.

Na enige minuten zo gezeten te hebben merkte ik dat mijn gedachten er alleen maar verder van afgedwaald waren. Ik las verder. Tot mijn opluchting was het een multiplechoicevraag. We konden kiezen uit de volgende antwoorden:

A. Het televisieprogramma in kwestie kan beter een ander onderwerp kiezen, want de afschaffing van Regel X is een non-issue: 84,7 % van de respondenten haalt er de schouders over op.

B. Een overweldigende meerderheid (92,3%) is niet voor afschaffing van Regel X.

C. Maar liefst 40% van alle mensen is wel voor afschaffing van Regel X.

Nu begon ik ook driftig te schrijven op mijn kladpapiertje. Vijfhonderdenvijfenzestig erbij achtentwintig maakt, eh… vijfhonderdendrieënnegentig… als ik dat dan deel door zevenhonderd… en dan keer honderd, juist… Zo rekende ik en krabbelde ik en gumde ik, met het zweet op mijn voorhoofd. Ik vergat de tijd helemaal, want plots ging de zoemer en zei de surveillant bars: “Pennen neer!” Ik kon nog net mijn antwoord op vraag 1 aankruisen, maar voor de rest bleef mijn papier pijnlijk leeg.

De stemming was een stuk minder jolig toen mijn collega’s en ik napraatten bij het fietsenhok op het schoolplein. Ik bleek niet de enige te zijn die vraag 1 moeilijk vond. Sterker: bijna niemand was veel verder gekomen dan die eerste vraag. We waren hopeloos door de mand gevallen. Rekenwonders, nou en of. “Ik twijfelde tussen A en B”, legde ik uit. “Volgens mij zijn die allebei waar, maar kun je B op basis van de cijfers ook weer niet met zekerheid concluderen. Dus ik heb maar A gekozen.” Tot mijn verbazing begonnen mijn collega’s nu eensgezind te lachen. “Nee joh, gek! Het was antwoord C! Ik heb er lang aan gerekend, maar ik ben er honderd procent zeker van.” Ik gaf me niet licht gewonnen. “Wat? 54 van de 700 mensen, dat kun je toch onmogelijk ’40% van alle mensen’ noemen?”

De eindredactrice die ik had zien gummen besliste toen het gesprek in mijn nadeel. “Het was inderdaad C”, zei zij stellig. “Niet dat ik nou zo’n kei ben in wiskunde, maar voor mij was die vraag toch een eitje. De beschreven casus komt namelijk van mijn eigen programma. En dat 40% tegen Regel X is, hebben we toen met een heleboel handig rekenende journalisten onomstotelijk vastgesteld.”

Zelfs de vele collega’s die ook C hadden ingevuld begonnen te mopperen. Voorkennis! Oneerlijk! De eindredactrice reageerde als de vermoorde onschuld: “Maar jullie hadden dat ook kunnen weten, hoor! Waarschijnlijk hebben jullie dat nieuws namelijk allemaal braaf overgeschreven, het heeft immers in alle kranten gestaan…”

Anton de Wit is journalist, blogger en Jezus lookalike. NRC Next checkte het persbericht van de NCRV ook en kwam tot deze conclusie.

Advertenties

23 responses to “De rekenwonders van de NCRV”

  1. 1977 says :

    in de war met Wiskunde A??

  2. rob says :

    Ik ben ook voor A, maar aangezien je dan niet hoeft te rekenen en het om een proefwerk wiskunde gaat is het niet logisch antwoord A te kiezen 🙂

    Eigenlijk kun je ook concluderen dat onderzoekers die hun eindproduct concluderen uit cijfers een beperkte cijfermatige blik op de werkelijkheid hebben.
    Ik neem uitkomsten van onderzoeken altijd met een grote korrel zout, want wie benaderen ze voor dat onderzoek ? (is dat echt de algemene deler vd doelgroep, en hoe bepaal je nou weer dat je de doelgroep eerlijk uitselecteert, dan is er name lijk ook weer sprake van een bepaalde vooringenomenheid).

    Op papier kan alles 🙂

    Leuk stuk, grote grijnz 🙂

  3. Flipsonius says :

    Cijfermatig zijn natuurlijk zowel A als C juist. Het venijn zit ‘m in het manipulatieve taalgebruik van de vraag en de antwoorden. Je zou ook kunnen zeggen dat 565 mensen de bui al zagen hangen en daarom uit principe niet mee doet aan dit soort enquêtes 🙂

  4. Ds Dre says :

    D. Je hebt leugens, grove leugens en statistieken. Het antwoord moet dus D zijn.

  5. rob says :

    @Filipsonius

    565 personen vinden de kwestie het reageren niet waard.

    Dit is speculatie en manipulatief inderdaad, van de motieven van mensen die niet reageren weet je namelijk niets 🙂
    De mensen die op de enquete aangaven de kwestie niet interessant te vinden worden wel meegerekend, de andere groep die met dezelfde ogen bekeken wordt, niet.
    Dat is inconsequent.

    Cijfermatig zit het probleem em erin wat je als 100% uitgangspunt gaat nemen.
    Neem je de 700, de 135, of de 107?

  6. mafchauffeur says :

    De NCRV redactie zal hier ongetwijfeld over gebeden hebben. En bevestiging ontvangen dat de respondenten representatief waren voor de hele groep.

    Dus gewoon C.

    Christelijke journalistiek heeft nu eenmaal een voorsprong op de seculiere pers.

  7. Ds Dre says :

    Naast de invalshoek statistiek ook eentje vanuit didactiek. Ik heb in een examencommissie gezeten en zou deze vraag afkeuren. Het probleem zit hem in de zin “565 personen vinden de kwestie het reageren niet waard”. Hoe weet men dat? Is dat onderzocht?
    De oorzaak van reageren kan divers zijn. De reactie termijn was kort, zodat een aantal mensen te laat waren met reageren. De enquête is nooit aangekomen, wel aangekomen en verstuurd maar niet aangekomen bij de onderzoeker.
    Als uit onderzoek is vast komen te staan dat alle 565 personen die in eerste instantie niet hebben gereageerd dit gedaan hebben omdat ze allemaal (wat zeer onwaarschijnlijk is) de kwestie niet interessant vinden dan is antwoord A de juiste. (ofwel een zeer onwaarschijnlijke uitkomst en moet het onderzoek opnieuw worden uitgevoerd)
    Als het slecht een blinde gok is dat alle 565 de kwestie niet de moeite waard vind is het beter na te gaan waarom de response zo laag is. Geen van de antwoorden is dan juist.

  8. Ds Dre says :

    Maar helaas, menig journalist maakt zich schuldig aan dit soort slechte onderzoeken en daarbij behorende boude conclusies. In restaurants (slechte) is soms alleen de Telegraaf te vinden. Daarin een enquête met stelling. Bent u voor het afschaffen van de hypotheekrente aftrek? En hoe verrassend de grote meerderheid is tegen! Wordt Nederland EK kampioen voetbal? Oh kijk nou 80% kans dat we kampioen worden.
    Eén van de essenties voor gedegen onderzoek naar meningen is dat de uitkomst representatief voor alle Nederlanders, alle Telegraaf-lezers of wat dan ook moet zijn. Alle mensen, lezers vragen te reageren is niet de manier.

  9. Pittig says :

    @ rob en dsdre

    Hier gaat het om een volledig bekende doelgroep: priesters. Dus veel van jullie argumenten gelden in het algemeen misschien wel, maar hier net niet.

    @ Anton

    Zoals enkelen hierboven al hebben aangetoond, is jouw stukje erg manipulatief. Je doet dus hetzelfde als waar je de journalisten van beschuldigt…

  10. Johan says :

    @Ds Dre: Bij de Telegraaf noemen ze dat ‘actiejournalistiek’. Je wordt daarmee als krant een (in hun geval rechtse) politieke speler. De NCRV vindt dat het celibaat moet worden afgeschaft en legitimeert dat met een polletje. Zeg dan gewoon dat je zelf vindt dat priesters moeten trouwen, da’s wel zo duidelijk.

    Op zich vind ik de response (135 op de 700) behoorlijk goed. Dat van de mensen die wél reageren 40% voor afschaffing van het celibaat is vind ik veelzeggend. Ongeacht hoe representatief deze response is, is het erg hoog.

  11. Johan says :

    @Anton: Ik vind ook dat de zin “565 personen vinden de kwestie het reageren niet waard” je prachtig geschreven verhaal ondergraaft. Net als elke Nederlander krijg ik regelmatig enquetes in de bus en ik doe daar slechts bij hoge uitzondering aan mee. Dat heeft er niet mee te maken dat ik de kwestie de moeite niet waard vind, maar dat met die enquetes in de regel geen zak wordt gedaan terwijl het mij wel tijd kost. Ook bij dit onderzoekje van de NCRV weet je van tevoren dat, ongeacht de uitkomst, het Vaticaan zich daar toch niets van aantrekt.

  12. joost says :

    Dan is het enige goede antwoord een hartgrondig AMEN!
    (past altijd) 😦
    joost

  13. bramvandijk says :

    Antwoord C is juist.

    Bij zowel A als B wordt er een interpretatie gegeven aan de non-respons alsof zij het ofwel niet interessant (A) ofwel niet tegen afschaffing zijn (B). Dat weet je niet.

    De respons is met bijna 20% redelijk hoog, dus ook daar zou je niet te moeilijk over moeten doen. Het CBS maakt veel statistieken op basis van een relatief kleinere steekproef.

  14. Flipsonius says :

    @Bramvandijk
    Ook antwoord C is manipulatief gesteld. Het zou moeten luiden: ‘40% van alle respondenten is wel voor afschaffing van Regel X.’

  15. Ds Dre says :

    Er staat niet in de opgave dat het om priesters gaat. Het is ook niet duidelijk dat de enquête alleen onder priesters is gehouden, alleen in Nederland. Stel dat alle 565 priesters een enquête hebben gehad is het nog maar de vraag hoe de enquête is gehouden, anoniem?
    Kortom met alle extra info ben je er nog niet.

    @Bram.

    Ik hou een enquête over de verkiezingen in Nederland. Ik doe dat onder vijf mensen en één reageert ofwel een respons van 20%. Redelijk hoog? Zal wel, maar je hebt er niks aan de uitkomst.

  16. pijpkaneel says :

    97% van de GG-lezers vind dit bericht duidelijk niet de moeite waard. Van degenen die het wel de moeite waard vinden, is 12% te lui om te reageren, 3% bang om occult besmet te raken door deze getallen, 7% te druk met het prijzen van de Heer om te kunnen reageren en 0,1% is niet in staat om te reageren omdat zij op dit moment in Birma wonderen stuk checken.

    Van de resterende populatie, zeg maar gerust: de bloem der natie, krijgen wij bovenstaande discussie voorgeschoteld. Ik verheug me nu al op een statistisch onderbouwde discussie over de onfeilbaarheid van de Bijbel 🙂

  17. pijpkaneel says :

    Vindt!!! Niet vind.

    Stop de tijd

    Phew….

  18. Pittig says :

    Om deze cijfers even op het menselijk en pastorale vlak terug te brengen. Het gaat er dus om dat 54 priesters in Nederland vinden dat het celibaat moet worden afgeschaft! Celibataire mannen (of die zich als zodanig moeten gedragen, om niet ontdekt te worden). Wat een strijd voor die mannen!

    En welk percentage van alle priesters leeft echt celibatair? Hoeveel hebben er (in alle tijden en plaatsen) niet een “huishoudster” gehad, kinderen verwekt of hele volksstammen persoonlijk tot stand gebracht?

    En beste Anton, lees ook eens deze site:

    http://www.childrenofpriests.org/web/

    Met de veelzeggende ondertitel: “Living the truth”.

    En wat van de duizenden en duizenden kinderen van priesters?

    In Groot Brittanië nu alleen al zo’n 1000.

    http://www.irishcentral.com/news/One-thousand-in-Britain-and-Ireland–are-children-of-priests.html

    Er zijn zelfs Ierse achternamen als ‘McEntaggart’, ‘McAnespie’ and ‘McNab’ die al eeuwen lang rondzwerven en zoveel betekenen als “zoon van een abt’ of ‘zoon van een priester’.

    En google maar eens “priest” en “children” en je krijgt een waslijst aan nieuwsberichten over kinderen die door priesters verwekt zijn.

    Waarom eigenlijk celibaat? Welke uitzonderlijke redenen en gronden moet je wel niet bedenken om dat de enige standaard voor kerkelijk leiderschap te maken? Als de eerste paus (Petrus) geen celibatair leven leidde, waarom dan al zijn geestelijke nakomelingen wel?

    En speciaal voor Anton:

    http://en.wikipedia.org/wiki/List_of_sexually_active_popes

  19. Pittig says :

    @ pijpkaneel

    Ijzersterke analyse! 🙂

    Vooral dat “bloem der natie” spreekt me aan… 😉

  20. Juistja says :

    @Pittig: ik waardeer het dat je de cijfers een gezicht probeert te geven, maar ik denk dat je dat niet mag concluderen uit de cijfers. De enquête gaat over een mening, niet over de vraag wie er worstelt met het celibaat.

  21. bramvandijk says :

    @Flipsonius

    Ook antwoord C is manipulatief gesteld. Het zou moeten luiden: ’40% van alle respondenten is wel voor afschaffing van Regel X.’

    Het hele idee van een steekproef is de respondenten een goed beeld geven van de hele populatie en de resultaten dus (met een onzekerheidsmarge) te extrapoleren zijn naar de hele populatie.

    Dus technisch gesproken heb je gelijk, maar bij Maurice de Hond of TNS/NIPO of welk ander onderzoeksbureau dan ook dat een enquête uitvoert zul je dezelfde “fout” tegenkomen.

    @DsDre

    Ik hou een enquête over de verkiezingen in Nederland. Ik doe dat onder vijf mensen en één reageert ofwel een respons van 20%. Redelijk hoog? Zal wel, maar je hebt er niks aan de uitkomst.

    De fout zit hem er hier niet in dat je maar 1 respondent hebt, maar dat je slechts 5 mensen iets hebt gevraagd. In een ideaalsituatie bekijkt de onderzoeker eerst hoe groot de betrouwbaarheid zou moeten zijn, om vervolgens met behulp van verwachte responspercentages tot een gewenste steekproefomvang te komen.

    Dus jouw hypothetische casus kan prima een zuivere schatting opleveren van de zetelverdeling in de TK, alleen zal de steekproefonzekerheid zo ontzettend groot zijn dat het resultaat waardeloos is.

    De steekproef onder 700 priesters met een respons van 135 is niet ontzettend groot, maar zeker voldoende. De standaarddeviatie (even rekenend met 40% afschaffen, 60% niet-“afschaffen”) is wortel(135 * 0,6 * 0,4) = ongeveer 5,5.

    Dus met 95% zekerheid ligt het aantal mensen dat voor afschaffen is met een dergelijke netto-steekproefomvang tussen de 43 en 65 (54 + of – 2 maal 5,5) wat neer zou komen op ongeveer 1/3 en 1/2.

    Dus: gegeven dat het een aselecte steekproef is, kunnen we concluderen dat met 95% zekerheid tussen 1/3 en 1/2 van de Nederlandse priesters voor afschaffing van het celibaat is. En dat lijkt mij hoe dan ook een significant aantal.

  22. Pittig says :

    @ bramvandijk

    Volgens mij heb jij met jouw reactie aan DsDre hierboven het NRC next artikel (onderaan het artikel) afgeserveerd… 🙂

    Dus het oordeel van bramvandijk op het NRC Next uitspraak is: “NRC Next heeft ongefundeerd een ‘ongefundeerd uitspraak’ gedaan”.

  23. rob says :

    Nu we het toch over cijfers en statistieken hebben:
    Zijn er GG-ers die er iets in zien om mij behulpzaam te zijn met een onderzoek mbt psychiatrische zorg in verzorgings en verpleeghuizen en evt thuiszorg regio Rijnmond.?(meer info via mail).
    Ik heb geen ervaring op onderzoeksgebied.
    Weet wel precies waar ik heen wil met het onderzoek.

    Ik heb de raad gekregen om vooral casuïstiek te beschrijven, maar ik voel er ook voor om de omvang van het probleem aan te tonen.
    Maar voor de opzet van zo’n onderzoek maakt dat wel verschil denk ik.

    Ik wil aantonen
    -waar de problemen liggen (inhoudelijk)
    -hoe groot de omvang is.