Artificiële intelligentie op (Smart)school: vroege probleemdetectie of surveillancemaatschappij?

‘Smartschool’ is geen onbekende toepassing voor mij, aangezien ik drie schoolgaande kinderen heb. Cegeka, de Europese IT-gigant met Hasseltse thuisbasis, is eigenaar van Vlaanderens bekendste technologie in het onderwijsveld. In alle kranten stond deze week dat Smartschool artificiële intelligentie (AI) wil inzetten om tijdig te detecteren of een leerling leerachterstand dreigt op te lopen.

Momenteel loopt er een proefproject in een dozijn scholen om de nieuwe functionaliteit te testen. Cegeka is ook een speler op het vlak van andere digitale industrieën, zoals elektronische patiëntendossiers en cybersecurity.

Het bedrijf wist natuurlijk op voorhand dat het een berg kritiek over zich heen zou krijgen. Die countert het door te verwijzen naar de samenwerking met een universiteit, een onafhankelijke adviesraad en een tweejarig onderzoek dat vooraf zou zijn gegaan aan de uitrol van het proefproject. Deze verwijzing naar de academische wereld en een groep experts past binnen een hype die ook andere debatten kenmerkt. Ze wordt gebruikt als bewijs van het ‘evidence-based’ karakter om een beslissing, product of dienst te verantwoorden. Een rapport van experts is dan per definitie het bewijs dat het een goede zaak is.

Expertise

Of toch niet? Op de website van Smartschool is de samenstelling van de adviesraad vlot terug te vinden. De raad telt vijftien leden uit de academische wereld en het onderwijsveld. Wie kan nu bezwaar hebben tegen een zo divers samengestelde raad?

Ook de discipline van het recht is vertegenwoordigd. De raad telt een advocaat en een medewerker van het Kinderrechtencommissariaat. De advocaat werkt bij een groot advocatenbureau dat vooral de belangen van (grote) bedrijven vertegenwoordigt. Deze medewerker heeft een achtergrond als godsdienstwetenschapper. Hoe goedbedoeld ook, zij zijn niet dagelijks bezig met onderzoek naar de relatie tussen AI en recht.

De adviesraad lijkt op het eerste gezicht divers samengesteld te zijn, maar dat is hij niet. Het is een probleem dat ik steeds vaker zie terugkomen, zoals in de raden die advies gaven over bijvoorbeeld zwangerschapsafbreking en corona. Elke onderzoeker heeft bovendien een gekleurde bril, wat de noodzaak onderstreept van mensen met verschillende, tegengestelde visies om een echte vrij denkende raad samen te stellen. Zeker wanneer het over AI gaat.

Artificiële intelligentie?

De vraag is natuurlijk of het hier wel over AI gaat. Is ‘AI’ in de titel van een krantenartikel een kwestie van zoveel mogelijk clicks scoren? Wat het slimmere Smartschool betreft lijkt dat zo te zijn. Het gaat hier eigenlijk om een algoritme, een stappenplan, dat op basis van drie parameters voorspelt of een student zijn diploma zal halen. Voor wie echt met AI bezig is, is het eerder lachwekkend om dit AI te noemen.

Waar het werkelijk om gaat is automatisering. En wat telt is de impact ervan op de fundamentele rechten van jongeren enerzijds en de ruimere context van de opkomst van een transhumanistische surveillancemaatschappij anderzijds. Wat ook telt is dat data van wellicht duizenden leerlingen zijn gebruikt om het algoritme te ontwikkelen. Werd daarvoor toestemming gevraagd?

Van de wieg tot in het graf

Het op de website van Smartschool gepubliceerde adviesrapport telt acht bladzijden. Een lijvig rapport biedt natuurlijk geen garantie dat het een hoger ‘evidence-based’ gehalte heeft, maar een volume van acht bladzijden voorspelt weinig goeds. Waarom publiceert het bedrijf niet open en bloot de lijvige wetenschappelijke rapporten van het tweejarig onderzoek op zijn website, rapporten die ongetwijfeld bestaan? Waar is de transparantie van een bedrijf dat feitelijk aan publieke dienstverlening doet?

Cegeka wil met vroege signaaldetectie maar één ding: het monopolie behouden op een uitstekend verdienmodel in het Vlaamse onderwijsveld en het model uitbreiden met opleidingen rond het gebruik van deze functionaliteit. Die zullen uiteraard niet gratis zijn. Vorig jaar haalde Cegeka met al haar digitale dienstverleningen meer dan 500 miljoen euro omzet. En de Hasseltse IT-gigant doet dat liefst van de wieg tot in het graf, van schoolmonitoring tot digitale dossiers in het ziekenhuis. Dit is een zorgwekkende trend, vooral wanneer één bedrijf zoveel surveillancetechnologie in handen heeft.

Neutraliteit van technologie

Het proefproject op de schoolbanken kan vlot uitgebreid worden naar patiënten. Als patiënten te laat naar de arts en de apotheek komen of niet voldoende inloggen op een medicatieplatform, kan er een signaal gegeven worden aan de ziekteverzekering. Die beslist uiteraard zelf wat ze met de informatie doet, zoals weigering van de terugbetaling van medicijnen of gezondheidszorg. Intussen blijft de industrie van bewerkte, verslavende en ongezonde voeding onaangeroerd. Het voorbeeld onderstreept hoe biokapitalisme een verdienmodel is en hoe macrofactoren die de bevolking ziek maken of die leerlingen van school jagen, buiten beschouwing blijven.

Technologie, zo stelt het adviesrapport, zou niet goed of slecht zijn. De kernvraag zou zijn onder welke omstandigheden een nieuwe technologie kan worden gebruikt. Technologie op zichzelf zou dus altijd neutraal zijn.

Maar is dat wel zo? Ik heb hierover eens een gesprek gevoerd met Marc Rotenberg, directeur van het Center for Artificial Intelligence and Digital Policy waaraan ik zelf geaffilieerd was als onderzoeker. Zij stellen dat technologie niet neutraal is. De beslissing om de functionaliteit te maken is op zichzelf al geen neutraal gegeven. Ze vertrekt van het idee dat het niet behalen van een diploma een probleem van de leerling is dat technologisch kan worden bestreden.

Verschuilen

Het adviesrapport onderstreept weliswaar dat de school altijd zelf beslist wat ze met de informatie doet. Dat klinkt als zich verschuilen achter de vermeende neutraliteit van technologie om de handen in onschuld te wassen. Het genoemde rapport beschrijft een casus van een gezin met drie leerlingen die plots slechtere punten behalen en te laat op school komen. Het gegeven voorbeeld lijkt eerder op een heksenjacht op gezinnen uit lagere socio-economische milieus. Is deze technologie niet vooral daarop gericht?

Inderdaad, het is de zoveelste tool in het individualiseren van onderwijsproblemen, waarbij problemen van kwetsbare leerlingen opgelost worden met meer surveillance en meer technologie. De ironie is dat sommige leerlingen misschien van school wegblijven door een samenleving waar zoveel technologie bestaat dat we almaar meer van elkaar vervreemden. Ons sociale weefsel vervaagt. We kunnen almaar moeilijker met problemen omgaan in een maatschappij waar we elkaar almaar minder in de ogen aankijken en naar elkaar luisteren. Begin eens met het geven van Scandinavische lonen aan leerkrachten, met het aanmoedigen van het inperken van de schermtijd op school en thuis en met het investeren in meer zorgleerkrachten voor elke school.

Minder technologie?

Er is geen nood aan minder technologie in het algemeen. Dit is geen pleidooi voor technofobie. Wel is er nood aan minder surveillancetechnologie. We moeten inzetten op het herstel van kleinschalig onderwijs en menselijk maatwerk.

Deze functionaliteit van Smartschool is helemaal geen goede zaak. Het is een staaltje technocratische bemoeizucht en past in een trend van een overheid die burgers op massaschaal wil surveilleren en privébedrijven die door deze technologie floreren in een tijdperk dat Shoshana Zuboff de ‘eeuw van het surveillancekapitalisme’ noemt. Er is dringend nood aan een wet die het recht om eruit te stappen wettelijk verplicht als het over massasurveillance-technologie gaat. Of ze nu AI wordt genoemd, of niet.

En er is maar één oplossing voor de vroege signaaldetectie van Smartschool: weg ermee.