Onderzoek · methode
Hoe ik het Sinterklaasjournaal heb gemeten
Dit is de verantwoording bij Is het Sinterklaasjournaal enger geworden?. Hier staat welke bronnen ik gebruikte, hoe ik mat, hoe betrouwbaar dat is en wat het onderzoek niet kan zeggen. De data staan onderaan, zodat je alles kunt narekenen.
In het kort
Ik keek op drie niveaus. De verhaallijnen van alle 26 seizoenen (2001-2026), via Wikipedia. De tekst van 200 gewone uitzendingen (2008-2026), via de ondertitels van teletekst 888. En het beeld van acht afleveringen, via video. Voor het lezen en coderen gebruikte ik AI: Claude Haiku (Anthropic) als codeur, een standaard sentimentmodel, en ElevenLabs Scribe voor spraakherkenning. Waar het kon, liet ik twee AI-codeurs los van elkaar werken en mat ik hoe vaak ze het eens waren.
1. Bronnen
| Bron | Wat | Omvang |
|---|---|---|
| Wikipedia | Samenvatting van de verhaallijn per seizoen (artikelen 'Sinterklaasjournaal (jaar)') | 26 seizoenen, 2001-2026 |
| NPO-ondertitels (888) | Ondertitels van gewone afleveringen, opgespoord via gearchiveerde npostart.nl-pagina's in het Wayback-archief en via NPO Start | 200 afleveringen, 2008-2026; complete seizoenen voor 2016, 2018-2022 en 2025 |
| Video | Afleveringen op YouTube en archive.org, uitgeschreven met ElevenLabs Scribe | 10 afleveringen, 2004-2024 |
Specials zoals de intocht en de jaaroverzichten (langer dan 20 minuten) tellen niet mee. Van 2023 en 2024 zijn alleen de eerste twee afleveringen te vinden, en van vóór 2013 bijna niets. Omdat afleveringnummers per jaar verschillen, lijn ik afleveringen uit op het aantal dagen tot 5 december.
2. Eén bron per vergelijking
Ondertitels en spraakherkenning geven niet dezelfde tekst. Ondertitelaars korten in: tussenwoorden en gebabbel vallen weg, de zinnen die het verhaal dragen blijven. Twee uitzendingen had ik in beide vormen (2012 en 2017). Daarin scoorden de ondertitels gemiddeld 7,5 procentpunt meer negatieve zinnen dan het spraaktranscript van dezelfde aflevering. Alle vergelijkingen over de jaren in het artikel gebruiken daarom alleen de NPO-ondertitels. De video-afleveringen gebruik ik alleen voor beeld en gifjes.
3. Sentimentmodel
Elke zin ging door het meertalige sentimentmodel cardiffnlp/twitter-xlm-roberta-base-sentiment-multilingual. Een zin telt als negatief als het model negatief de hoogste kans geeft. Per aflevering is het aandeel negatieve zinnen de maat. Zo'n model is grof, dus ik gebruik het naast de codering door Haiku, niet in plaats daarvan.
4. Codering per zin
Claude Haiku gaf elke zin een valentie en een functie, met het hele transcript als context. Valentie loopt van -2 (duidelijk eng, bedreigend of verdrietig voor een kind van vier tot acht) tot +2 (duidelijk vrolijk of grappig). De functies:
| Code | Functie | Voorbeelden |
|---|---|---|
| D | Dreiging of probleem | een probleem introduceren of laten escaleren, gevaar, zorgen, mysterie, cliffhanger |
| O | Oplossing of geruststelling | probleem opgelost, 'geen paniek', 'het komt goed' |
| G | Grap of spel | grappen, woordgrappen, onhandige pieten, spelletjes, quiz |
| L | Liedje | zingen, muziek, rijm |
| W | Warm of feestelijk | gezelligheid, cadeautjes, complimenten, blije kinderen |
| I | Informatie | neutrale nieuwsmelding, reportage, overgangszinnen van de presentator |
| T | Teaser | kopjes aan het begin, vooruitblik op morgen |
Een grappig bedoelde "paniek!" van een clowneske piet telt als grap, niet als dreiging. Zendtijd is gewogen naar de duur van elke zin. In totaal zijn bijna 36.000 zinnen gecodeerd.
5. Beoordeling per aflevering
Een aparte Haiku-agent las elke aflevering in zijn geheel en gaf een spanningsscore (1 tot 10, "hoe spannend voor een vijfjarige"), een lijst van problemen met hun status aan het eind (opgelost, open of erger geworden), of de aflevering op een cliffhanger eindigt, en of iemand de kijker expliciet geruststelt.
6. Verhaallijnen per seizoen
Twee Haiku-codeurs lazen los van elkaar elke Wikipedia-samenvatting. Ze gaven de ernst van het hoofdprobleem een score van 1 tot 5 (1 kleine hobbel, 2 iets kwijt of vertraagd, 3 het feest in gevaar, 4 fysiek gevaar, ziekte of een kwaadwillende tegenstander, 5 Sinterklaas zelf in gevaar, gewond of vermist). Daarnaast codeerden ze per probleem de oorzaak (bijvoorbeeld gestuntel van een piet, technisch defect, ziekte), de framing (komisch, gemengd of dreigend) en of het probleem realistisch is of sprookjesachtig. Bij 2023 las één codeur een zin uit de castlijst als verhaal; daar telt de score van de andere codeur.
7. Betrouwbaarheid
45 afleveringen zijn per zin door twee Haiku-codeurs onafhankelijk gecodeerd. De overeenstemming over de functie was kappa 0,65 tot 0,87 per aflevering (substantieel tot zeer goed), over de valentie een correlatie van 0,80 tot 0,94. De overige afleveringen zijn door één codeur gedaan. Op seizoensniveau correleerden de twee codeurs 0,85 op ernst en 0,6 tot 0,7 op de andere maten.
8. Statistiek
Seizoen 2025 vergeleken met de complete seizoenen 2016-2022 (146 afleveringen tegenover 25), met een Welch-t-toets per aflevering:
| Maat | 2016-2022 | 2025 | p |
|---|---|---|---|
| Spanningsscore (1-10, Haiku) | 3,3 | 4,1 | 0,003 |
| Negatieve zinnen, sentimentmodel | 35% | 40% | 0,003 |
| Negatieve zinnen, Haiku | 23% | 28% | 0,002 |
| Open problemen aan het eind | 3,5 | 4,1 | 0,14 |
| Eindigt op cliffhanger | 80% | 92% | 0,06 |
| Zendtijd dreiging | 24% | 27% | 0,12 |
| Zendtijd liedjes | 2,0% | 1,3% | 0,18 |
Lineaire trend per aflevering over 2013-2025, uitgedrukt per tien jaar:
| Maat | Verandering per 10 jaar | p |
|---|---|---|
| Spanningsscore | +0,6 punt | 0,0002 |
| Open problemen aan het eind | +1,0 | 0,004 |
| Negatieve zinnen (model) | +3 procentpunt | 0,01 |
| Zendtijd dreiging | +5 procentpunt | 0,001 |
| Zendtijd grap en spel | -4 procentpunt | 0,02 |
| Zendtijd liedjes | -2 procentpunt | 0,01 |
Het aantal open problemen in de laatste week voor pakjesavond (3,2 in 2016-2022, 4,7 in 2025) berust voor 2025 op zes afleveringen en is niet significant (p = 0,31). In het artikel staat het daarom als aanwijzing.
9. Beeld
Uit vier afleveringen van 2009-2018 en vier van 2023-2024 nam ik elke 1,6 seconde een beeld, ruim 1.500 per periode. Daarop mat ik helderheid en kleurverzadiging, en met k-means clustering de tien dominante kleuren. De aflevering uit 2004 (een donkere VHS-opname) en die uit 2017 (met gebarentolk in beeld) tellen hier niet mee. Een AI-model voor muziekstemming (CLAP) probeerde ik ook, maar dat hield gewone stemmen voor vrolijke muziek en bleek onbruikbaar.
10. Beperkingen
- 2023 en 2024 ontbreken grotendeels, en van vóór 2013 zijn er weinig afleveringen.
- Wikipedia-samenvattingen zijn door fans geschreven, en recente seizoenen zijn uitgebreider beschreven.
- AI-codeurs zijn geen kinderen. Ze meten wat er gezegd wordt, niet hoe muziek, licht en camerawerk aankomen.
- De spanningsscore is een oordeel van een taalmodel. De richting komt overeen met het sentimentmodel en de codering per zin, maar de absolute waarde moet je niet te letterlijk nemen.
- De analyse beschrijft wat er veranderde, niet waarom.
Data
- afleveringen.csv - alle maten per aflevering (210 rijen)
- seizoenen.csv - de codering van de verhaallijn per seizoen (26 rijen)
Vragen over de aanpak of de data? Neem contact op.