Objectieve oordelen bestaan niet

Drie jaar geleden publiceerde Douglas Murray The Madness of Crowds. Het boek werd een Sunday Times-bestseller. Het werd uiterst lovend ontvangen, althans door de mensen die genoeg hadden van de gekte die Murray beschrijft: de identiteitspolitiek, de social justice-beweging, de hernieuwde veelal marxistische discussie over ras en gender. Zijn boek was een rake analyse van wat we meestal ‘postmoderniteit’ noemen.

Religie en de grote sturende ideologieën van de negentiende en twintigste eeuw zoals liberalisme, marxisme en Freuds psychoanalyse hebben hun betekenis verloren. Het klassieke klassebegrip van Marx heeft afgedaan, de klassenstrijd lijkt gestreden. We hebben nieuwe doelen en nieuwe vlaggen nodig. Ras, gender, identiteit en seksualiteit zijn de nieuwe wapens in de strijd.

Het slagveld is verplaatst van bedrijven en stakingen naar de digitale media en de universiteit. De beweging ontstond ongeveer twee decennia geleden bij de menswetenschappen aan de Amerikaanse universiteiten en heeft zich als een olievlek verspreid naar maatschappelijke instituties, politiek en bedrijfsleven. Het resultaat is een algehele gekte. De gekte van de massa.

De wijsheid van de massa

Tegelijkertijd horen we ook veel over de wijsheid van de massa. The wisdom of crowds. Veel mensen hebben genoeg van de huidige politiek, van elites die niet geïnteresseerd zijn in hun problemen maar vooral hun eigen wereldje belangrijk vinden. Als je gaat vragen naar hun mening blijken er veel overeenkomsten te zijn. Veel mensen in onze huidige samenleving denken er hetzelfde over als Murray, ook al hebben ze zijn boek niet gelezen. De massa kan dus zowel gelijk als ongelijk hebben. Hoe moeten we dat zien?

Oordeelsvorming

Het antwoord op die vraag wordt gegeven in Noise, een pasverschenen boek van drie onderzoekers: Nobelprijs-winnaar Daniel Kahneman, Oliver Sibony en Cass Sunstein. Zij onderzochten dit probleem van oordeelsvorming en kwamen tot de conclusie dat de voorwaarde voor een juist oordeel is dat het zelfstandig gevormd is. Je krijgt dus betere oordelen als mensen alleen werken dan in ‘brainstorm’-sessies met anderen. Als je individuele uitkomsten met elkaar vergelijkt krijg je meestal betere en meer inspirerende uitkomsten. In groepssessies blijven de beste ideeën vaak onder tafel.

De conclusie van de auteurs is dat zelfs de geringste sociale invloed funest is voor de oordeelsvorming. De autoriteit met overwicht in de groep leidt diezelfde groep vaak de verkeerde kant op, en iedereen heeft wel een aantal voorbeelden hoe dat kan gebeuren. In de politiek is het niet veel anders zo blijkt uit het boek. De neuzen gaan al snel dezelfde kant op als een leider een bepaalde richting opgaat. Dat kan zelfs een waterval aan effect sorteren, de ‘madness of crowds’. 

De illusie van overeenstemming

Kenmerkend in hun onderzoek is de illusie van overeenstemming terwijl die er feitelijk niet is. ‘Andere mensen zien de wereld net als ik’, wordt vaak gezegd. Naïef realisme noemt Kahneman dat. Het komt niet veel voor dat we een gevestigd perspectief wantrouwen, één interpretatie lijkt vaak genoeg, het heeft immers altijd gewerkt. Probleem voor velen is het ongenoegen als men het niet eens is. De meeste organisaties zien liever harmonie dan conflict.

De auteurs geven het voorbeeld van een Amerikaanse universiteit die nieuwe aanmeldingen beoordeelt. Er zijn twee beoordelaars aangesteld. De universiteit wil het oordeel verbeteren. Het advies van de onderzoekers was om de naam van de eerste beoordelaar af te dekken. ‘Dat deden we in het begin’, zei de universiteit, ‘maar dat gaf toen zoveel conflicten tussen stafleden onderling dat we er van afgestapt zijn.’ Geen conflict in huis is de boodschap.

Een boekenjury maakt haar discussies openbaar, alleen hoe men tot elkaar gekomen is in de eindbeoordeling. Het bewaren van overeenstemming is overal prioriteit. Die overeenstemming is een illusie, de verschillen blijven.

Rechtspraak als ruis

De auteurs beschrijven de keuzeproblematiek op drie gebieden: personeelsbeoordelingen, Amerikaanse bedrijven die schattingen maken over het aantal ziekteclaims en arbeidsongeschiktheid (wat de UWV in Nederland doet), en rechtspraak. Ik beperk me tot de rechtspraak.

Daarin zie je grote verschillen in de strafmaat. Bijna overal pleiten rechters voor een grote mate van vrijheid in de rechtspraak. De strafmaat moet passen bij een aantal factoren. Er moet maatwerk geleverd worden.

De Amerikaanse jurist Marvin Frankel, een mensenrechten-advocaat heeft laten zien hoe verschillend rechters in Amerika oordelen. In een proefproces varieerde de strafmaat voor een heroïnedealer van één tot tien jaar. Voor een bankoverval werd vijf tot achttien jaar cel gevraagd, afhankelijk van de rechter. In zestien van de twintig zaken was er geen overeenstemming of inhechtenisneming noodzakelijk was. Dergelijk onderzoek werd vele malen herhaald, de uitkomsten waren in alle gevallen hetzelfde.

Soorten oordelen

Veel professionele oordelen zijn niet te controleren. We noemen die ‘probabilistisch’. Klimaatonderzoek is er een van. Een rechterlijk vonnis is geen voorspelling, maar een evaluatief oordeel dat recht moet doen aan de ernst van de misdaad. Restaurant-reviews en uitspraken van de jury van een boekenprijs of van het Eurovisie-songfestival zijn evaluatieve oordelen. Hierbij vindt competitie plaats tussen verschillende beoordelingen. Dat kan niet anders. Maar als blijkt dat er in een bedrijf een verschil in personeelsbeoordeling optreedt van 40% is er een probleem.

Voorspellende beoordelingen gaan over hoe een kandidaat zich in de toekomst zal gedragen en of hij of zij de doelen zal halen. Evaluatieve oordelen hangen samen met de waarden en preferenties van de groep waartoe men behoort.

Rechters die geloven in een geïndividualiseerde strafmaat zullen zich gaan afvragen of dat wel klopt als uit onderzoek blijkt dat er een erg groot verschil bestaat tussen al die rechterlijke uitspraken. Net zoals bij andere menselijke kenmerken verwachten we dat de mate van straftoekenning samenhangt met levenservaring, politieke overtuiging, allerlei persoonlijke gevoelens en kenmerken. Zelfs het weer is van invloed. Advocaten weten welke rechters strenger oordelen dan andere

Objectiviteit is dus een complex probleem. De auteurs van Noise zijn ervan overtuigd dat modelvorming de oplossing is voor de keuzeproblematiek. Het klopt dat zelflerende modellen (cybernetische modellen) een middel kunnen zijn tegen autoritaire sturing. Maar ik ben er niet van overtuigd dat ze altijd en overal de oplossing zijn. Met name niet bij de toepassing van het selectiemodel in het onderwijs.

Wat is wijsheid, onvoorspelbare selectie

Aleid Truijens stelde onlangs in de Volkskrant dat elke manier van selecteren voor een universitaire studie vooralsnog dubieus is. Loten is de oplossing volgens haar. Veel aankomende studenten krijgen binnenkort weer te maken met een numerus fixus. Wie geneeskunde, psychologie of bouwkunde wil gaan studeren wordt onderworpen aan een selectieprocedure. De methodes kunnen verschillen, vaak zijn er motivatietoetsen en soms portfolio’s die je meeneemt om te laten zien wat je kunt.

Terecht wijst Truijens er op dat er al jarenlang discussie is over die selecties. Voor 2017 was loting nog een van de instrumenten om te selecteren, daarna mochten universiteiten ‘decentraal selecteren’. In 2020 besloot de toenmalige onderwijsminister Van Engelshoven dat vanaf volgend jaar weer een combinatie van loting en andere methoden mogelijk wordt.

Wat je hier terugziet is de pretentie van objectiviteit, die niet kan worden waargemaakt. De ene student heeft van huis uit beter geleerd zich goed te verkopen dan de andere. Persoonskenmerken spelen een rol, (migratie) achtergrond speelt een rol. Sekse speelt een rol, meisjes doen het beter dan jongens. Keiharde onderzoekgegevens ontbreken, zegt Truijens.

Kahnemans boek geeft een aantal argumenten voor een eenvoudig selectiemodel. Complexiteit en een groot aantal criteria leiden niet per se tot een betere voorspelling van wie het goed gaat doen aan de universiteit, constateren  de auteurs. En dat is opmerkelijk want je bent snel geneigd te denken dat verfijning van je input tot betere resultaten leidt. Dat blijkt niet het geval. Maar zolang we dat model van Kahneman c.s. niet hebben lijkt loting de meest eerlijke oplossing.

Noise, A Flaw in Human Judgment, Daniel Kahneman, Oliver Sibony and Cass Sunstein (Little, Brown Spark New York 2021)