Onderzoek · methode

Hoe ik het Sinterklaasjournaal heb gemeten

Dit is de verantwoording bij Is het Sinterklaasjournaal enger geworden?. Hier staat welke bronnen ik gebruikte, hoe ik mat, hoe betrouwbaar dat is en wat het onderzoek niet kan zeggen. De data staan onderaan, zodat je alles kunt narekenen.

In het kort

Ik keek op drie niveaus. De verhaallijnen van alle 26 seizoenen (2001-2026), via Wikipedia. De tekst van 200 gewone uitzendingen (2008-2026), via de ondertitels van teletekst 888. En het beeld van acht afleveringen, via video. Voor het lezen en coderen gebruikte ik AI: Claude Haiku (Anthropic) als codeur, een standaard sentimentmodel, en ElevenLabs Scribe voor spraakherkenning. Waar het kon, liet ik twee AI-codeurs los van elkaar werken en mat ik hoe vaak ze het eens waren.

1. Bronnen

BronWatOmvang
WikipediaSamenvatting van de verhaallijn per seizoen (artikelen 'Sinterklaasjournaal (jaar)')26 seizoenen, 2001-2026
NPO-ondertitels (888)Ondertitels van gewone afleveringen, opgespoord via gearchiveerde npostart.nl-pagina's in het Wayback-archief en via NPO Start200 afleveringen, 2008-2026; complete seizoenen voor 2016, 2018-2022 en 2025
VideoAfleveringen op YouTube en archive.org, uitgeschreven met ElevenLabs Scribe10 afleveringen, 2004-2024

Specials zoals de intocht en de jaaroverzichten (langer dan 20 minuten) tellen niet mee. Van 2023 en 2024 zijn alleen de eerste twee afleveringen te vinden, en van vóór 2013 bijna niets. Omdat afleveringnummers per jaar verschillen, lijn ik afleveringen uit op het aantal dagen tot 5 december.

2. Eén bron per vergelijking

Ondertitels en spraakherkenning geven niet dezelfde tekst. Ondertitelaars korten in: tussenwoorden en gebabbel vallen weg, de zinnen die het verhaal dragen blijven. Twee uitzendingen had ik in beide vormen (2012 en 2017). Daarin scoorden de ondertitels gemiddeld 7,5 procentpunt meer negatieve zinnen dan het spraaktranscript van dezelfde aflevering. Alle vergelijkingen over de jaren in het artikel gebruiken daarom alleen de NPO-ondertitels. De video-afleveringen gebruik ik alleen voor beeld en gifjes.

3. Sentimentmodel

Elke zin ging door het meertalige sentimentmodel cardiffnlp/twitter-xlm-roberta-base-sentiment-multilingual. Een zin telt als negatief als het model negatief de hoogste kans geeft. Per aflevering is het aandeel negatieve zinnen de maat. Zo'n model is grof, dus ik gebruik het naast de codering door Haiku, niet in plaats daarvan.

4. Codering per zin

Claude Haiku gaf elke zin een valentie en een functie, met het hele transcript als context. Valentie loopt van -2 (duidelijk eng, bedreigend of verdrietig voor een kind van vier tot acht) tot +2 (duidelijk vrolijk of grappig). De functies:

CodeFunctieVoorbeelden
DDreiging of probleemeen probleem introduceren of laten escaleren, gevaar, zorgen, mysterie, cliffhanger
OOplossing of geruststellingprobleem opgelost, 'geen paniek', 'het komt goed'
GGrap of spelgrappen, woordgrappen, onhandige pieten, spelletjes, quiz
LLiedjezingen, muziek, rijm
WWarm of feestelijkgezelligheid, cadeautjes, complimenten, blije kinderen
IInformatieneutrale nieuwsmelding, reportage, overgangszinnen van de presentator
TTeaserkopjes aan het begin, vooruitblik op morgen

Een grappig bedoelde "paniek!" van een clowneske piet telt als grap, niet als dreiging. Zendtijd is gewogen naar de duur van elke zin. In totaal zijn bijna 36.000 zinnen gecodeerd.

5. Beoordeling per aflevering

Een aparte Haiku-agent las elke aflevering in zijn geheel en gaf een spanningsscore (1 tot 10, "hoe spannend voor een vijfjarige"), een lijst van problemen met hun status aan het eind (opgelost, open of erger geworden), of de aflevering op een cliffhanger eindigt, en of iemand de kijker expliciet geruststelt.

6. Verhaallijnen per seizoen

Twee Haiku-codeurs lazen los van elkaar elke Wikipedia-samenvatting. Ze gaven de ernst van het hoofdprobleem een score van 1 tot 5 (1 kleine hobbel, 2 iets kwijt of vertraagd, 3 het feest in gevaar, 4 fysiek gevaar, ziekte of een kwaadwillende tegenstander, 5 Sinterklaas zelf in gevaar, gewond of vermist). Daarnaast codeerden ze per probleem de oorzaak (bijvoorbeeld gestuntel van een piet, technisch defect, ziekte), de framing (komisch, gemengd of dreigend) en of het probleem realistisch is of sprookjesachtig. Bij 2023 las één codeur een zin uit de castlijst als verhaal; daar telt de score van de andere codeur.

7. Betrouwbaarheid

45 afleveringen zijn per zin door twee Haiku-codeurs onafhankelijk gecodeerd. De overeenstemming over de functie was kappa 0,65 tot 0,87 per aflevering (substantieel tot zeer goed), over de valentie een correlatie van 0,80 tot 0,94. De overige afleveringen zijn door één codeur gedaan. Op seizoensniveau correleerden de twee codeurs 0,85 op ernst en 0,6 tot 0,7 op de andere maten.

8. Statistiek

Seizoen 2025 vergeleken met de complete seizoenen 2016-2022 (146 afleveringen tegenover 25), met een Welch-t-toets per aflevering:

Maat2016-20222025p
Spanningsscore (1-10, Haiku)3,34,10,003
Negatieve zinnen, sentimentmodel35%40%0,003
Negatieve zinnen, Haiku23%28%0,002
Open problemen aan het eind3,54,10,14
Eindigt op cliffhanger80%92%0,06
Zendtijd dreiging24%27%0,12
Zendtijd liedjes2,0%1,3%0,18

Lineaire trend per aflevering over 2013-2025, uitgedrukt per tien jaar:

MaatVerandering per 10 jaarp
Spanningsscore+0,6 punt0,0002
Open problemen aan het eind+1,00,004
Negatieve zinnen (model)+3 procentpunt0,01
Zendtijd dreiging+5 procentpunt0,001
Zendtijd grap en spel-4 procentpunt0,02
Zendtijd liedjes-2 procentpunt0,01

Het aantal open problemen in de laatste week voor pakjesavond (3,2 in 2016-2022, 4,7 in 2025) berust voor 2025 op zes afleveringen en is niet significant (p = 0,31). In het artikel staat het daarom als aanwijzing.

9. Beeld

Uit vier afleveringen van 2009-2018 en vier van 2023-2024 nam ik elke 1,6 seconde een beeld, ruim 1.500 per periode. Daarop mat ik helderheid en kleurverzadiging, en met k-means clustering de tien dominante kleuren. De aflevering uit 2004 (een donkere VHS-opname) en die uit 2017 (met gebarentolk in beeld) tellen hier niet mee. Een AI-model voor muziekstemming (CLAP) probeerde ik ook, maar dat hield gewone stemmen voor vrolijke muziek en bleek onbruikbaar.

10. Beperkingen

Data

Vragen over de aanpak of de data? Neem contact op.