Lernen: wer gemessen wird und was gemessen wird

Die zweite Schicht des Issues fragt, ob ein Kind mit zehn Jahren lesen kann. Das Instrument dafür ist die Lernarmutsdatenbank der Weltbank, und über sie stand hier seit dem 20. August ein Satz, der falsch war. Er lautete, die Kennzahl schließe Hocheinkommensländer aus, die Schicht »Lernen« sei deshalb das Gegenteil einer Reiche-Länder-Schicht.

Sie ist eine.

Die Datenbank führt 125 Länder. 51 davon sind Hocheinkommensländer, das ist die größte der vier Gruppen. Dann 38 aus dem oberen Mittelfeld, 25 aus dem unteren, 11 mit niedrigem Einkommen. Deutschland steht mit 15,4 Prozent darin, die Vereinigten Staaten mit 9,7, Japan mit 3,6, Irland mit 2,3 als bestem Wert.

Er ist lehrreich, deshalb steht er hier und nicht in einer Fußnote. Die Methodikseite der Weltbank spricht durchgehend von Ländern mit niedrigem und mittlerem Einkommen, und das stimmt auch. Es gilt für die Weltzahl, also für den bekannten Satz, 53 Prozent der Kinder in diesen Ländern könnten am Ende der Grundschule keine einfache Geschichte lesen. Begrenzt ist die Aggregation. Die einzelnen Länderwerte sind es nicht.

Aus der Grenze der Weltzahl wurde die Grenze des Bestandes. Niemand hat nachgezählt, bis der researcher gestern die Länderliste selbst gezogen hat statt die Methodikseite zu lesen.

Zählt man alle 217 Länder der Weltbank-Liste, sieht die Schicht flach aus: 59, 64, 53 und 44 Prozent Abdeckung von reich nach arm. Diese Reihe führt in die Irre, und zwar zugunsten der reichen Länder, denn ein Drittel des Nenners der reichen Gruppe sind Kleinstterritorien wie Aruba, Bermuda, die Färöer oder die Isle of Man, die an keiner Schulleistungserhebung teilnehmen.

Mit einer Schwelle von einer Million Einwohnern wird die Reihe streng monoton: 94 Prozent der reichen Länder tragen eine Lesezahl, 82 im oberen Mittelfeld, 59 im unteren, 44 bei den ärmsten. Die Kontrolle, die den Befund hätte abschwächen können, hat ihn geschärft. Bevölkerungsgewichtet leben in der reichen Gruppe 98,7 Prozent der Menschen in einem Land mit Lesezahl, in der ärmsten 69,1.

Von den 25 Ländern mit niedrigem Einkommen führt die Schicht für vierzehn keine einzige Zahl: Zentralafrikanische Republik, Eritrea, Gambia, Guinea-Bissau, Nordkorea, Liberia, Malawi, Mosambik, Ruanda, Sierra Leone, Somalia, Südsudan, Sudan, Syrien.

Alle vierzehn haben eine Kindersterblichkeitszahl. Sie fehlen nicht, weil niemand sich für sie interessiert, sondern weil das Fahrzeug dieser Schicht nicht bei ihnen hält. Wer an PIRLS teilnimmt, entscheidet und bezahlt ein Land selbst, und mehrere dieser vierzehn führen gerade Krieg.

Die Überlebensschicht verhält sich spiegelbildlich. UN IGME weist für jedes Land außerhalb der Hocheinkommensgruppe eine Kindersterblichkeit aus, 131 von 131. Lücken hat dort nur die reiche Gruppe, 65 von 86, und die 21 fehlenden sind wieder Kleinstterritorien.

Die einzige Schicht mit einer Lücke bei den Armen ist also die Lernschicht. Die einzige mit einer Lücke bei den Reichen ist die Überlebensschicht, und dort ist die Lücke ein Artefakt der Länderliste.

Der Satz, der hier seit dem 20. August stand, war die Begründung dafür, dass die Abdeckung dem Erhebungsfahrzeug folgt und nicht dem Einkommen. Diese Ersatzfassung hält weiter, und sie hält sogar besser als vorher. Das Fahrzeug der Lernschicht ist die Schulleistungserhebung, 53 der 125 Länder fahren in dieser Fassung mit PIRLS 2021. Nur führt das Fahrzeug eben durch reiche Länder, weil reiche Länder es bestellen.

Was fällt, ist die Begründung, nicht der Satz darüber. Und was bleibt, ist unbequemer als vorher: Über die Kinder, um die es bei dieser Frage am dringendsten geht, sagt diese Schicht nichts.

Erichs zweiter Alterspunkt heißt: Kann es mit zehn lesen? Die Weltbank nennt ihre Lernarmut den Anteil der Zehnjährigen, die einen einfachen Text nicht verstehen. Gemessen wird beides nicht an Geburtstagen, sondern an einer Klassenstufe. PIRLS testet die Klasse, die vier Schuljahre hinter sich hat, und wie alt die Kinder dann sind, hängt vom Einschulungsalter und vom Testtermin ab. Der Bericht druckt es je Land.

Über die 57 Länder von PIRLS 2021 reicht das Durchschnittsalter zur Testzeit von 9,8 bis 11,3 Jahre, anderthalb Jahre; der Median liegt bei 10,2. Zehn Länder testen Kinder, die im Schnitt jünger als zehn sind, darunter Zypern, Italien, Frankreich und Spanien. Fünf testen Kinder ab elf: Kroatien, Ungarn, Irland, Lettland und Litauen. Kein Land unterschreitet die 9,5 Jahre, die der Bericht als Untergrenze setzt.

Vierzehn Länder der Nordhalbkugel haben die Erhebung wegen der Pandemie um ein halbes Jahr verschoben, auf den Anfang des fünften Schuljahrs. Elf davon lassen sich an der gedruckten Erhebungszeit erkennen, ganz zwischen September und Dezember 2021; ihr Altersmedian liegt bei 10,8 Jahren, der der übrigen 46 Länder bei 10,1. Alle fünf Länder ab elf gehören zu diesen elf. Die ältesten »Viertklässler« sind also zum Teil Fünftklässler nach den Sommerferien. Der Rest der Spanne ist Einschulungsalter: Zypern testet im Frühjahr mit 9,8, Dänemark und Polen ebenfalls im Frühjahr mit 10,9.

Die 51 Leseanteile und die Lernarmutswerte der Weltbank vergleichen Klassen, nicht Altersjahrgänge, und die Klassen sind bis zu anderthalb Jahre auseinander, in einem Alter, in dem Lesen sich schnell ändert. Nicht behauptet wird, dass ältere Klassen deshalb besser abschneiden; das ist nicht gerechnet. Nicht behauptet wird eine Reihenfolge der Länder nach Alter; die Zehntel sind ohne Fehlerangabe gedruckt.

Der Bericht selbst fasst seine Tabelle mit »etwas mehr als ein Jahr« zusammen und nennt als Beispiel 9,8 bis 10,9. Die Tabelle darunter reicht bis 11,3. Ein Beispiel ist keine Grenze, aber als Zusammenfassung der eigenen Tabelle ist der Satz zu klein; wir nennen die Spanne der Tabelle. Für die Länder, die in Klasse 6 testen, ist der Abstand größer. Dazu sagt der Anhang nichts, das ist ein eigener Posten.

»Mit zehn« heißt in der Leseschicht: in der vierten Klasse, und die ist bei PIRLS je Land im Schnitt zwischen 9,8 und 11,3 Jahre alt. 29 unserer Lesezahlen kommen aber nicht aus PIRLS, sondern aus zwei anderen Erhebungen, die die sechste Klasse testen, und die Weltbank rechnet alles in eine Zahl für Zehnjährige um. Für PASEC 2019, die Erhebung in 14 französischsprachigen Ländern Afrikas, war deshalb zu prüfen, wie alt die getesteten Kinder sind.

Die Antwort: Der Bericht druckt kein Durchschnittsalter, weder je Land noch insgesamt, und keine Altersverteilung. Der researcher hat den vollständigen Textabzug nach den üblichen Wendungen durchsucht. Was der Bericht stattdessen druckt, ist die Beziehung zwischen Alter und Leistung.

Für jedes der 14 Länder gibt Tableau B3.43 an, wie viele Punkte ein zusätzliches Lebensjahr am Ende der Grundschule kostet oder bringt, wenn man das Wiederholen einer Klasse herausrechnet. In allen 14 Ländern ist das Vorzeichen in Sprache negativ: Ein Jahr älter in derselben Klasse heißt in allen 14 Ländern weniger Punkte. Im Median sind es 15,9 Punkte auf einer Skala, deren internationale Streuung 100 beträgt; der Koeffizient liegt zwischen 7,3 Punkten in Niger und 38,1 in Kongo. In Mathematik ist das Bild dasselbe, 14 von 14 negativ, Median 13,6.

Der Bericht deutet den Rest so: Wer älter ist als seine Klasse, ist meist spät eingeschult worden. Das ist die Umkehrung dessen, was man aus dem PIRLS-Alter vermuten könnte. Dort sind die älteren Klassen zum Teil Fünftklässler nach den Sommerferien; hier ist ein Jahr Alter innerhalb der Klasse ein Rückstand, kein Vorsprung. Genau deshalb behauptet der Text zu PIRLS nicht, dass ältere Kohorten besser lesen.

Keine Rangfolge der 14 Länder. Die Standardfehler reichen bis 7,7 Punkte, Nigers 7,3 sind von null nicht zu unterscheiden, und für Elfenbeinküste und Senegal druckt der Bericht einen Stern, den seine eigene Legende nicht definiert. Kein kausaler Effekt: Der Koeffizient stammt aus einer Regression mit einer Kontrollvariablen, nicht aus einem Experiment. Und keine übernommene Zeile »Moyenne«: Die Tabelle nennt dort 25,1, das ist weder das Mittel der 14 Länder (18,2) noch ihr Median, und der Bericht erklärt die Zeile nicht.

Für ERCE 2019, die zweite Erhebung der sechsten Klasse, ist die Frage nach dem Alter noch nicht gestellt.

Deutschlands Lernarmut liegt bei 15,4 Prozent, Bezugsjahr 2021. Der Satz, den man dazu liest, geht ungefähr so: Etwa jedes sechste Kind kann mit zehn Jahren keinen einfachen Text verstehen. Der Satz ist verständlich, er ist naheliegend, und er trifft nicht, was gemessen wurde.

Lernarmut ist zusammengesetzt. Die Weltbank rechnet zwei Bausteine zusammen. Der eine ist der Anteil der Kinder im Grundschulalter, die gar nicht zur Schule gehen; sie gelten definitionsgemäß als nicht lesefähig. Der andere ist der Anteil der beschulten Kinder, die am Ende der Grundschule unter dem Mindestleseniveau bleiben. Die Formel ist dokumentiert und geht auf: Über alle 125 Länder trifft sie auf ein Zehntausendstel eines Prozentpunkts genau.

Für Deutschland sind von den 15,4 Punkten 9,6 der erste Baustein und 6,4 der zweite. Wer also sagt, 15,4 Prozent der deutschen Zehnjährigen könnten nicht lesen, spricht zu 62 Prozent über etwas anderes.

Das ist der Teil, der leicht zu übersehen ist, und er ist wichtig. Der researcher hat die Lesekomponente gegen die gedruckte Benchmarktabelle von PIRLS 2021 gehalten, für die sechs Länder, für die sie ihm vorliegt. Sie ist dort exakt der Anteil der Kinder unter dem Low International Benchmark. Bulgarien 7,1 gegen 7, Polen 2,8 gegen 3, Tschechien 4,0 gegen 4, Deutschland 6,4 gegen 6, Slowakei 6,3 gegen 6, Österreich 4,1 gegen 4. Sechs von sechs, größte Abweichung 0,4 Punkte.

Diese Probe hätte reißen können. Sie tut es nicht, und sie verengt damit die Suche. Was an der Gesamtzahl auffällig ist, sitzt nicht im Lesen.

Der Schulentzug trägt dieselbe Definition wie eine amtliche Größe, die es seit Jahrzehnten gibt: die Ausserschulquote des UNESCO-Statistikinstituts. Für 102 Länder liegen beide im selben Bezugsjahr vor. Im Median unterscheiden sie sich um 0,2 Punkte, im Einzelfall aber oft erheblich, in 52 Fällen um mehr als 2 Punkte.

Jetzt kommt die Kontrolle, die den Befund fast erledigt hätte. Wenn die Abweichung nur daran liegt, dass die beiden verschiedene Jahrgänge meinen, muss sie verschwinden, sobald man der Weltbank den für sie günstigsten UIS-Wert der ganzen Reihe von 1999 bis 2024 zugesteht. Genau das passiert bei den meisten. Von 122 prüfbaren Ländern bleiben dann noch 18 über 2 Punkten und 8 über 5. Der größte Teil war Versatz und ist damit erledigt.

Was übrig bleibt, ist kein Versatz mehr. Für Deutschland setzt die Weltbank 9,6 Prozent an, und die amtliche Reihe bewegt sich in fünfundzwanzig Jahrgängen zwischen 0,21 und 2,28 Prozent. Kein einziger Jahrgang seit 1999 kommt in die Nähe. Für Österreich steht 11,4 gegen eine Reihe von 0,95 bis 2,06, für Tschechien 10,6 gegen 0,03 bis 2,91, für die Slowakei 16,8 gegen 0,65 bis 7,00.

Sie steht in der Quelle selbst, sie ist nichts Geheimes. Der Zähler des Schulentzugs kommt aus Schulverwaltungsdaten nach Einzeljahrgängen, der Nenner aus einer Bevölkerungsschätzung der UN. Passen die beiden nicht zueinander, landet die Differenz als »außerhalb der Schule« im Ergebnis. Die Weltbank schreibt in ihren eigenen Einschränkungen, das Maß werde von Ausserschulschätzungen aus Haushaltsbefragungen abweichen und die Werte seien zwischen Ländern nicht streng vergleichbar.

Was dort nicht steht, ist die Folge daraus. In Ländern mit durchgesetzter Schulpflicht, in denen der Anteil nicht beschulter Kinder eigentlich winzig ist, trägt ausgerechnet dieser Baustein die Mehrheit der Gesamtzahl. Österreich 76 Prozent, Slowakei 76, Tschechien 75, Hongkong 69, Bulgarien 66, Deutschland 62, Polen 51. Alle sieben sind Hocheinkommensländer.

Diese sieben sind über zwei Bedingungen ausgewählt und nicht über eine. Der Schulentzug trägt dort die Mehrheit der Lernarmut, und die amtliche Quote liegt zugleich mehr als zwei Punkte darunter. Zählt man nur die erste Bedingung, sind es 14 Länder. Die sieben weiteren sind Korea, die Demokratische Republik Kongo, Luxemburg, Russland, Kroatien, Italien und Japan, und bei ihnen liegt die amtliche Quote nicht weit genug darunter, um den zweiten Befund zu tragen. Der Unterschied zwischen 14 und sieben ist deshalb keine Unsicherheit, sondern die zweite Bedingung.

Nicht behauptet wird, dass die Weltbankzahl falsch ist. Sie ist genau das, was ihre Methodik beschreibt, und die Weltbank legt die Bausteine offen, sonst wäre diese Prüfung gar nicht möglich gewesen.

Nicht behauptet wird auch, dass die amtliche Quote die richtige Zahl ist. Sie stammt aus derselben Institution, sie ist nur ein zweiter Rechenweg. Dass zwei Wege auseinanderlaufen, sagt, dass einer von beiden nicht misst, was man denkt. Es sagt nicht, welcher.

Was bleibt, ist eine Anweisung für die Darstellung, und sie ist der Grund, warum dieser Text hier steht. Die veröffentlichte Zahl gehört nie allein gezeigt. Die beiden Bausteine gehören nebeneinander, mit ihrem Bezugsjahr. Für Deutschland heißt das: 6,4 Prozent aus einem Lesetest, der die Probe besteht, und 9,6 Punkte aus einem Quotienten, der sich in keiner amtlichen Reihe wiederfinden lässt.

Dieses Issue baut keinen Kinder-Index, und die Begründung dafür steht seit dem 19. August im Dossier: Die Rangfolge kippt zwischen den Schichten, und dass sie kippt, ist die Antwort auf Erichs Frage und nicht ihr Ausweichen. Auf diesem Satz steht die Bauform von allem, was hier seither entstanden ist.

Behauptet war er von Anfang an. Gemessen war er bis gestern nicht. Seit die zweite Schicht in prüfbarer Form vorliegt, lässt er sich rechnen, und das Ergebnis ist unbequem.

Über die 123 Länder, für die beide Schichten eine Zahl führen, beträgt die Rangkorrelation zwischen Kindersterblichkeit und Lernarmut 0,88. Das ist keine kippende Rangfolge, das ist eine weitgehend gleiche. Länder, in denen viele Kinder sterben, sind ganz überwiegend auch Länder, in denen viele Kinder nicht lesen können.

Wer gehofft hatte, die Lernschicht widerspreche der Überlebensschicht auf ganzer Breite, bekommt das nicht. Ich schreibe das ungern, weil die Hoffnung meine eigene war.

Unter den zehn Ländern mit der niedrigsten Kindersterblichkeit stehen nur drei auch unter den zehn mit der niedrigsten Lernarmut: Luxemburg, Japan, Finnland. Bei den besten zwanzig sind es elf, bei den besten dreißig schon vierundzwanzig. Am anderen Ende dasselbe Bild, drei von zehn und dreizehn von zwanzig.

Einzelne Beispiele machen es anschaulich. Montenegro steht im Überleben auf Platz 5 und im Lernen auf 42. Nordmazedonien auf 14 und auf 60. Irland ist im Lernen das beste Land der Welt und im Überleben Fünfundzwanzigster.

Die beiden Schichten sind sich also einig darüber, wer weit auseinanderliegt, und uneinig darüber, wer nah beieinanderliegt. Das ist ärgerlich, denn der enge Bereich ist genau der, in dem eine Rangliste überhaupt erst interessant wird.

Hier kommt die Kontrolle, die das Ergebnis erst belastbar macht. Am 29. August stand auf dieser Seite, dass die Kindersterblichkeitsrangliste größtenteils gar keine Rangliste ist, weil das Unsicherheitsband des Medianlandes mit dem von 54 anderen überlappt. Eine Rangverschiebung zwischen zwei Schichten ist deshalb nur dann ein Widerspruch, wenn sie größer ist als die Unschärfe des Überlebensrangs selbst.

Rechnet man den Überlebensrang als Intervall, ist es im Median 23 von 123 Plätzen breit, also 19 Prozent der Liste. Für 57 der 123 Länder liegt der Lernrang außerhalb dieses Intervalls, für 66 liegt er darin. Nur bei diesen 57 urteilen die Schichten nachweisbar verschieden. Bei den übrigen sagt die Überlebensschicht schlicht zu wenig, um überhaupt widersprochen werden zu können.

Zwei weitere Proben hätten das Ergebnis kippen können und tun es nicht. Nimmt man statt der zusammengesetzten Lernarmut nur ihre Lesekomponente, liegen zwei Länder mehr außerhalb. Beschränkt man sich auf die 94 Länder mit einer Zahl ab 2019, bleibt die Korrelation bei 0,877.

Eine Ausnahme ist aufschlussreich. Für Österreich und Tschechien verschwindet der Widerspruch mit der reinen Lesekomponente. Beide gehören zu den sieben Ländern, deren Lernarmut mehrheitlich aus dem Schulentzug besteht und nicht aus einer Lesemessung. Ihr Kipp war ein Kipp der Kennzahl und keiner des Landes. Bei Deutschland schrumpft er von Platz 41 auf 30, bleibt aber.

Sie war richtig, aber nicht aus dem Grund, der im Dossier steht. Nicht deshalb, weil die Schichten einander widersprechen. Auf ganzer Breite tun sie das nicht.

Sie war deshalb richtig, weil ein Index genau dort mittelt, wo die Schichten uneins sind. In den Extremen, wo die Zahlen weit auseinanderliegen, sind sich beide Schichten einig, und dort bräuchte man keinen Index. Im engen Feld, wo ein Index den Unterschied zwischen Platz 30 und Platz 45 behaupten würde, sind sie uneins, und dort würde er den Widerspruch wegmitteln, statt ihn zu zeigen.

Der Satz gehört also geändert. Nicht »die Rangfolge kippt«, sondern: Sie kippt für höchstens 57 von 123 Ländern, und unter den ersten zehn stimmt sie fast gar nicht. Das ist schwächer als behauptet und stärker als eine Fußnote.

Ein Rest bleibt offen, und er zeigt gegen das eigene Ergebnis. Aus dem Bestand fehlen 14 der 25 Länder mit niedrigem Einkommen, weil die Lernschicht für sie keine Zahl führt. Sie stünden in beiden Schichten am schlechten Ende und würden die Übereinstimmung eher erhöhen. Die 0,88 sind vermutlich eine Untergrenze. Sicher ist das nicht, und deshalb steht die Zahl hier mit dem Bestand, auf dem sie gemessen ist.

Die Lernschicht hat einen Vorteil gegenüber der Überlebensschicht: Jede Zahl trägt ihr Erhebungsjahr mit. Das Feld nennt nicht das Jahr der Veröffentlichung, sondern das Jahr der Schulleistungserhebung, aus der der Wert stammt. Man kann also einfach nachsehen, wie alt das ist, was als aktueller Wert eines Landes geführt wird.

Im Median sieben Jahre. Die Spanne reicht von drei bis fünfundzwanzig. 28 der 125 Länder tragen eine Zahl, deren Erhebung mindestens zehn Jahre zurückliegt, 16 mindestens fünfzehn, sieben mindestens zwanzig.

Am Ende der Liste stehen Belize und Griechenland mit dem Erhebungsjahr 2001. Griechenlands 7,7 Prozent Lernarmut sind an Kindern gemessen, die heute Anfang dreißig sind. Danach Mauretanien mit 2004, dann Island, Luxemburg, Moldau und Mauritius mit 2006, Algerien, die Mongolei und die Ukraine mit 2007, die Komoren mit 2008.

Die Jahrgänge verteilen sich nicht gleichmäßig, sie haben zwei Gipfel. 53 Länder stehen auf 2021, das ist PIRLS 2021. 41 stehen auf 2019, das sind die regionalen Erhebungsrunden. Der Rest verteilt sich dünn über zwanzig Jahre.

Ein Land bekommt seine frische Lernzahl genau dann, wenn es an einer Erhebungsrunde teilgenommen hat. Wer aussetzt, behält den alten Wert, und dieser Wert wird nicht als alt markiert, sondern als der aktuelle geführt. Das ist keine Nachlässigkeit der Weltbank, die das Bezugsjahr sauber mitliefert. Es geht auf dem Weg zwischen Datenbank und Karte verloren.

Bei der Abdeckung liegt ein klares Einkommensgefälle vor, das ist der Befund des Textes an order 10. Beim Alter nicht. Der Median liegt bei den reichen Ländern bei fünf Jahren und bei allen drei anderen Gruppen bei sieben. Unter den 28 alten Zahlen stehen sieben aus reichen Ländern, elf aus dem oberen Mittelfeld, fünf aus dem unteren und fünf aus den ärmsten.

Island und Luxemburg tragen also so alte Werte wie Jemen und Mali. Wer eine Erhebungsrunde auslässt, fällt aus der Aktualität, und Geld schützt davor nicht.

Jede Karte und jede Rangliste dieser Schicht braucht das Bezugsjahr am Land und nicht in der Fußnote. Ein Blatt, das Griechenland und Deutschland nebeneinanderstellt, stellt eine Messung von 2001 neben eine von 2021.

Und was hier nicht steht: Niemand behauptet, diese Länder hätten heute noch die Werte von damals. Behauptet wird auch nicht das Gegenteil. Die Datenbank kennt für sie nichts Neueres, das ist alles, und ob sich Lernarmut über zwanzig Jahre stark bewegt, lässt sich an diesem Bestand nicht beantworten. Die Zeitreihen sind zwischen Erhebungsrunden nicht streng vergleichbar, so steht es in den Metadaten der Weltbank.

Die Lernarmutsdatenbank der Weltbank führt für jede Beobachtung eine Spalte mit dem Namen DATA_SOURCE. Dort sollte stehen, aus welcher Erhebung die Zahl stammt. Sie ist in allen 795 Zeilen leer, in allen drei Reihen der Datenbank. Fünf weitere Spalten sind es auch, darunter die beiden für Kommentare.

Das ist keine Eigenschaft von Bildungsdaten. Der Gewaltbestand von UNICEF, über dieselbe Art Schnittstelle gezogen, führt dieselbe Spalte in allen 1.663 Zeilen gefüllt, mit Einträgen wie »MICS 2022-23« oder »DHS 2019«. Aus diesen Einträgen konnten wir am 26. August zählen, welches Erhebungsfahrzeug hinter welchem Land der Gewaltschicht steht. Für die Lernschicht lässt sich dieselbe Zählung nicht machen.

Die Herkunft lässt sich trotzdem prüfen, wenn man eine zweite Quelle hat. Wenn die Lesekomponente eines Landes aus PIRLS 2021 stammt, muss sie 100 minus dem Prozentsatz der Viertklässler treffen, die den Low International Benchmark erreichen. Diese Prozentsätze stehen gedruckt im Studienbericht.

Für die 51 Länder, bei denen sich beides sauber gegenüberstellen lässt, trifft es 51 Mal. Die größte Abweichung liegt bei 0,49 Prozentpunkten und betrifft die USA, der Median bei 0,20, und 32 der 51 treffen schärfer als einen Viertelpunkt. Der Rest erklärt sich daraus, dass die gedruckte Spalte ganzzahlig ist und die Datenbank zwei Nachkommastellen führt.

Die Lesehälfte der Lernarmut ist für diese Länder und diese Runde also der PIRLS-Test. Nur steht es an keiner Stelle im Datensatz. Wir haben es zurückgerechnet, und das ist etwas anderes als eine Angabe: Belegt ist, dass die Zahlen übereinstimmen. Dass die Weltbank sie von dort genommen hat, ist damit sehr wahrscheinlich und nicht bewiesen.

Das Bezugsjahr 2021 tragen 53 Länder, nicht 51. Die beiden übrigen sind Belgien und das Vereinigte Königreich, und beide führt die Studie geteilt: England und Nordirland getrennt, Flandern und die Wallonie getrennt. Eine Brücke von zwei Zeilen auf einen Ländercode wäre zweideutig, und eine zweideutige Brücke ist schlechter als keine.

Prüfbar sind sie trotzdem, nur unterschiedlich gut. Für das Vereinigte Königreich tragen beide Teile denselben Wert, drei Prozent unter der Schwelle, und die Datenbank führt 2,98. Das hält. Für Belgien gehen die Teile auseinander, sechs gegen elf, und die Datenbank führt 7,71. Das liegt dazwischen, und mehr ist damit nicht gesagt: Ein Wert zwischen zwei Teilwerten ist mit jeder Gewichtung verträglich und mit manchem anderen Weg auch. Belegt sind also 52 der 53 Länder, und das dreiundfünfzigste ist eingeschachtelt statt bestätigt.

83 der 125 Länder führen mehr als eine Beobachtung, und es lag nahe zu fragen, welche Bewegungen davon vergleichbar sind. Aus dieser Quelle ist das nicht zu beantworten. Für 44 der 83 ist wenigstens der jüngste Endpunkt belegt, für kein einziges sind es beide, weil nur eine gedruckte Runde vorliegt.

Der Grund ist der berichtenswerte Teil. Nicht die Bewegung fehlt, sondern die Auskunft darüber, ob zwei Punkte derselben Reihe angehören. 71 Prozent aller Beobachtungen liegen auf einem PIRLS-Zyklusjahr, was eine Taktung nahelegt. Nahelegen ist kein Beleg: Auch LLECE, PASEC, TIMSS und nationale Erhebungen liegen teilweise auf denselben Jahren. Solange die Spalte leer bleibt, ist jede Zeitreihe aus diesem Bestand eine Vermutung über ihre eigene Herkunft.

Am 1. September stand hier, dass die Lernarmutsdatenbank der Weltbank eine Spalte namens DATA_SOURCE führt und dass sie in allen 795 Zeilen leer ist. Wer wissen wollte, aus welcher Erhebung die Lesezahl eines Landes stammt, musste sie zurückrechnen. Für 51 Länder ist das damals gelungen, mit einer gedruckten Tabelle aus dem PIRLS-Bericht als Gegenstück.

Diese Arbeit war nicht nötig. Dieselbe Institution veröffentlicht die Herkunft vollständig und maschinenlesbar, in ihrem eigenen öffentlichen Repositorium auf GitHub. Dort liegen zwei Dateien, die je Land, Jahr, Erhebung, Klassenstufe und Fach führen, und eine davon trägt sogar die Spalte, deren Fehlen wir an der Datenbank gemessen hatten.

Jede der 125 aktuellen Länderbeobachtungen der Datenbank, Fassung April 2024, lässt sich gegen diese Dateien halten. 113 treffen auf 0,01 Prozentpunkte genau. Das ist keine Näherung: Beide Seiten führen sechs bis acht Stellen, und eine Übereinstimmung auf ein Hundertstel bei dieser Stellenzahl ist dieselbe Zahl.

Damit ist zum ersten Mal abzählbar, worauf die Lernschicht steht. 63 Länder stehen auf PIRLS, 17 auf PASEC, 15 auf LLECE, 11 auf TIMSS, sechs auf SEA-PLM und eines auf AMPL-b. Für die Frage, welche Länder überhaupt miteinander vergleichbar sind, war das bisher die größte offene Stelle dieses Issues.

Ein Wort dazu, was hier belegt ist und was nicht. Belegt ist, dass die publizierte Zahl in einer Zeile mit dieser Erhebung steht. Nicht belegt ist, dass die Erhebung sie so gedruckt hat, und auch nicht, dass die Datenbank aus genau dieser Datei gespeist wird. Das Repositorium trägt keine Fassungsnummer und kein Datum.

102 der 113 tragen eine Lesemessung. Elf tragen eine Naturwissenschaftsmessung aus TIMSS, und die Spalte, in der sie steht, heißt »Anteil der Schüler unter der Mindestkompetenz im Lesen«. Das ist ein eigener Befund und steht im Text nebenan.

Zwölf Länder sind in beiden Dateien nicht wiederzufinden: Afghanistan, Bangladesch, China, Äthiopien, Indien, Kenia, Kirgisistan, Sri Lanka, Lesotho, Mali, Pakistan und Uganda. Unter ihnen stehen die drei bevölkerungsreichsten Länder der Erde, für die dieses Issue überhaupt Zahlen hat.

Elf davon stehen nach der Methodenbeschreibung auf nationalen Erhebungen. Am 4. September sind alle zwölf gefunden worden, in einer dritten Wertetabelle desselben Repositoriums und nicht in der hier vermuteten. Sie führt weder Fach- noch Erhebungs- noch Standardfehlerspalte, und für diese zwölf gilt seither ausdrücklich nicht mehr dasselbe wie für die übrigen 113. Der Text dazu steht daneben, auf order 53.

Sie gehören zur Antwort und nicht in eine Fußnote. Die Standardfehlerspalte ist für alle 59 PIRLS-2021-Zeilen leer und für alle 15 ERCE-Zeilen. Die Unsicherheitsbänder von 51 Ländern stehen deshalb weiterhin allein auf dem gedruckten Bericht der Erhebung; das Repositorium bestätigt sie nicht und widerlegt sie nicht.

17 Länder führen in der Datenbank nur eine Gesamtreihe, obwohl die Weltbank für sie getrennt nach Geschlecht gerechnet hat. Die getrennten Werte stehen im Repositorium und erreichen die Datenbank nicht.

Und der Stempel, der die jüngste Beobachtung markiert, steht bei 13 Ländern je Geschlecht auf verschiedenen Jahren. Für Argentinien markiert er die Gesamtreihe von 2019 und die Männer- und Frauenreihen von 2013, für El Salvador von 2006. Der Grund ist harmlos und sichtbar: Die jüngste Beobachtung existiert dort nur als Gesamtwert. Die Folge ist es nicht. Wer die Datenbank nach dem jüngsten Wert je Geschlecht abfragt, bekommt bei diesen 13 Ländern ein anderes Bezugsjahr als bei der Gesamtreihe, und gewarnt wird er nicht. Alle Rechnungen dieses Issues stehen auf der Gesamtreihe und sind davon nicht berührt.

Am 3. September stand im Record des researchers, der auf dieser Seite gerendert ist, die 14 gedruckten Standardfehler des PASEC-Berichts 2019 und die des Weltbank-Repositoriums wichen um höchstens 0,048 Punkte voneinander ab, »zwei unabhängige Wege, ein Ergebnis«. Der publisher hat die Wendung am 11. September gezählt, zweimal formuliert, viermal am Leser. Die Beurteilung dazu: 0,048 ist keine Kopiesignatur, aber wer »unabhängig« sagt, sagt auch, woran er es gemessen hat, und das fehlte. Seit heute ist es gemessen, in drei Schichten.

Der Bericht druckt eine Nachkommastelle, das Repositorium sechs bis acht. Für alle 14 Länder ist der gedruckte Standardfehler mit einer Rundung der Repositoriumszahl vereinbar, größte Abweichung 0,048 Punkte, bei Benin. Aus den Standardfehlern allein ist also nicht zu entscheiden, ob es eine Rechnung war oder zwei.

Bei den Anteilen sind es 13 von 14. Burkina Faso druckt 33,0 Prozent, das Repositorium führt 32,9446, und das rundet in keiner Konvention auf 33,0. Mindestens eine der 28 gedruckten Zahlen ist damit keine Rundung der anderen Seite. Diese Grenze ist schmal: Der Beleg, dass hier nicht dieselbe Zahl zweimal gedruckt ist, hängt an einem Land und an fünf Tausendstelpunkten über der Schranke. Er trägt, weil die Schranke keine Schätzung ist, sondern die halbe Einheit der gedruckten Stelle.

Der Code der Weltbank liegt offen. Er liest PASECs Mikrodatei für die sechste Klasse, übernimmt PASECs fünf plausible Werte für Lesen und PASECs 90 Replikationsgewichte und setzt die Grenze zur Kompetenzstufe 4 bei 595,1 Punkten, wo der Bericht »über 595« druckt. Alle sechs Zeichenketten stehen wörtlich in den heruntergeladenen Dateien, jede mit Zeilennummer im Record. Was der Code nicht belegt: dass genau dieser Stand die Zahlen der Datei erzeugt hat. Das Repositorium trägt keine Fassungsnummer, und das ist dieselbe Grenze wie am 3. September.

Unabhängig sind die ausführende Institution, CONFEMEN gegen Weltbank, und die Software. Nicht unabhängig sind Stichprobe, plausible Werte, Gewichte und Kompetenzgrenze: Das sind PASECs Eingaben, und die Weltbank nimmt sie, wie sie sind. Das Ergebnis ist mehr als eine Datei mit zwei Ausgaben und weniger als zwei Wege. Die Weltbank rechnet PASECs Zahl mit PASECs Stichprobe, Gewichten und Grenze selbst nach und trifft sie auf höchstens 0,055 Punkte. Das belegt die Reproduktion, nicht die Stichprobe: Jeder Fehler in Stichprobe, Gewichten oder Skalierung stünde auf beiden Seiten gleich.

Eine Beobachtung bleibt Vermutung. In 9 der 14 Länder liegt der gedruckte Anteil über dem Repositoriumswert, in 10 der gedruckte Standardfehler. Das wäre damit vereinbar, dass der Bericht Werte zwischen 595 und 595,1 zur Stufe 4 zählt und der Code zur Stufe 3. Bei gerundeten Zahlen ist 9 von 14 aber kein Befund, und so steht es hier.

Am 3. September stand hier, dass sich die Herkunft der Lesezahl für 113 der 125 Länder maschinenlesbar belegen lässt und dass zwölf offen bleiben. Sie sind es nicht mehr. Alle zwölf stehen in einer dritten Wertetabelle desselben Repositoriums, dazu in einem Dokumentationsblatt mit 31 Zeilen. Afghanistan 2013, Bangladesch 2022, China 2016, Äthiopien 2015, Indien 2017, Kenia 2023, Kirgisistan 2014, Sri Lanka 2015, Lesotho 2016, Mali 2012, Pakistan 2019 und Uganda 2014. Der größte Abstand zwischen der publizierten Zahl und der Zeile in der Tabelle beträgt über alle zwölf 0,000003 Punkte, also die letzte Stelle einer Kommazahl.

Damit ist die Herkunftskarte dieser Schicht vollständig. Für alle 125 Länder der Fassung April 2024 ist belegt, aus welcher Erhebung und aus welchem Jahr die Zahl kommt, mit der sie in unseren Rangrechnungen stehen.

Die Spalten sind am Dateikopf abgelesen und nicht erinnert. Sie heißen year, idgrade, nla_code, countrycode, nonprof_all, nonprof_fe und nonprof_ma. Keine Erhebungsspalte, keine Fachspalte, keine Standardfehlerspalte.

Für die 113 anderen Länder ist damit mindestens die Erhebung benannt. Hier steht ein Schlüssel wie AFG_2 oder PAK_4, dessen Bedeutung erst das Dokumentationsblatt auflöst. Und was dort als Schwelle steht, heißt für zwölf Länder zehnmal verschieden: Level 10, Proficient level, Moderate level, Intermediate level, Basic level, Advanced level, Minimum Competency, Policy Linking, Score Above 40 mark, Level 4. Jeder dieser Begriffe stammt aus dem nationalen Test des jeweiligen Landes und ist dort definiert. In der Datenbank stehen die Ergebnisse anschließend in derselben Spalte wie PIRLS und TIMSS.

Seit dem 1. September steht in diesem Issue, dass 30 Länder kein Unsicherheitsband tragen und in unseren Kipprechnungen deshalb als exakt gelten. Diese Aussage lässt sich seit heute aufteilen. Zwölf davon tragen keines, weil die Datei, aus der die Datenbank gespeist wird, keine Fehlerspalte hat. Das ist kein noch nicht nachgeschlagener Zustand, sondern ein dauerhafter, solange die Weltbank nichts nachliefert.

Was das nicht heißt: dass diese zwölf Zahlen falsch wären. Es heißt, dass wir sie bisher als exakt gerechnet haben und dass sie nicht exakt sind, sondern ungemessen.

Das Dokumentationsblatt nennt seine Wertspalte dem Namen nach den Anteil unter der Mindestkompetenz. Geprüft an allen 25 Zeilen führt sie in allen 24 entscheidbaren Fällen das Komplement und in keinem einzigen die Gleichheit; der 25. Fall ist Bangladesch mit dem Wert 50,0, wo beides zugleich zutrifft. Die Spalte führt also den Anteil, der die Schwelle erreicht. Der Begründungstext derselben Datei sagt es zu Äthiopien im Klartext: 11,28 Prozent erreichten das geforderte Niveau. Die Datenbank führt 88,72.

Wer diese Datei liest, ohne die Beziehung zu prüfen, dreht zwölf Länderzahlen um. Die Weltbank selbst dreht sie richtig herum.

In der Lernarmutsdatenbank der Weltbank gibt es eine Spalte mit dem Namen »Anteil der Schüler unter der Mindestkompetenz im Lesen am Ende der Grundschule«. Für elf der 113 Länder, deren Herkunft sich belegen lässt, steht dort keine Lesemessung. Dort steht der Anteil der Viertklässler unter der Mindestkompetenz in TIMSS, im Fach Naturwissenschaft.

Die elf sind Armenien, Chile, Japan und Korea aus TIMSS 2019, Indonesien aus 2015, Thailand, Tunesien und Jemen aus 2011 sowie Algerien, die Mongolei und die Ukraine aus 2007.

Die Weltbank schreibt es aus. In der Technical Note ihres Repositoriums steht der Satz »For these countries, we use the science scores as a proxy for reading scores«, mit zwei Begründungen: naturwissenschaftliche Aufgaben seien Textaufgaben, und die beiden Fächer korrelierten hoch. Dieselbe Note führt eine Vorzugsliste der Erhebungen, in der TIMSS auf Rang zwei steht, direkt hinter PIRLS und vor jeder regionalen Leseerhebung.

Was fehlt, ist also nicht die Erklärung. Was fehlt, ist die Angabe am Wert. Wer ein einzelnes Land nachschlägt, erfährt nicht, ob er eine Lese- oder eine Naturwissenschaftszahl vor sich hat, und die Liste der elf steht nirgends.

Chile ist der Fall, an dem sich die Größenordnung beziffern lässt, weil dort beides vorliegt. In derselben Quelldatei hat Chile drei echte Lesemessungen: LLECE 2006 mit 38,38, LLECE 2013 mit 30,26 und PIRLS 2016 mit 12,80. Die Datenbank publiziert keine davon. Sie publiziert die Naturwissenschaftsmessungen aus TIMSS 2011, 2015 und 2019.

Zwischen der jüngsten echten Lesemessung und der publizierten Zahl liegen 10,38 Prozentpunkte, 12,80 gegen 23,18. Diese Differenz ist kein Messfehler und keine Unsicherheit. In ihr stecken drei Jahre Abstand, zwei Erhebungen und zwei Fächer zugleich. Sie sagt, was die Entscheidung für die jüngere Naturwissenschaftszahl gegenüber der älteren Lesezahl kostet, und sie sagt nicht mehr.

Warum die Datenbank für Chile überhaupt das Bezugsjahr 2019 trägt, obwohl dort 2019 keine Leseerhebung stattgefunden hat, erklärt sich damit von selbst: Die Vorzugsliste stellt TIMSS über LLECE und das jüngere Jahr über das ältere. Chiles PIRLS-Runde von 2016 verliert gegen seine TIMSS-Runde von 2019.

Die zweite Begründung ist eine Aussage über einen Zusammenhang, und sie ist über die falsche Einheit gebildet. Dass Lese- und Naturwissenschaftsergebnisse über Ländermittel hinweg eng zusammenhängen, kann stimmen und schließt trotzdem nicht aus, dass ein einzelnes Land um zehn Punkte auseinanderliegt. Chile ist genau dieser Beleg.

Für die übrigen zehn lässt sich das nicht sagen. Bei ihnen liegt keine Lesemessung daneben, gegen die man rechnen könnte, und deshalb steht hier keine Aussage darüber, ob ihre Zahl zu hoch oder zu niedrig ist. Was bleibt, ist eine Anweisung für die Darstellung: Diese elf Länder gehören in keinen Lesevergleich, ohne dass danebensteht, was bei ihnen gemessen wurde.

Elf Länder tragen in der Lesespalte der Lernarmutsdatenbank eine Naturwissenschaftszahl. Die Weltbank begründet das in ihrer Technical Note unter anderem so: Für Länder, die an TIMSS und an PIRLS teilgenommen haben, betrage die Korrelation zwischen beiden 0,99.

Diese Begründung lässt sich an den Zahlen prüfen, die dieselbe Institution in derselben Datei publiziert. 2011 haben TIMSS und PIRLS im selben Jahr dieselbe Klassenstufe gemessen, und 34 Länder waren bei beidem dabei. Über diese 34 beträgt die Punkt-Moment-Korrelation der Anteile unter der Mindestkompetenz 0,985. Die Note ist an dieser Stelle nicht angegriffen.

Die erste ist eine andere Korrelation. Nach Rängen gerechnet sind es 0,891 statt 0,985. Dieses Issue rechnet in Rängen, seit die Frage lautet, welche Länder besser und welche schlechter mit ihren Kindern umgehen, und für Ränge ist die schwächere Zahl die einschlägige.

Die zweite ist wichtiger, und sie ist der eigentliche Befund. Eine Korrelation sagt, ob zwei Größen miteinander laufen. Sie sagt nichts darüber, ob sie gleich hoch stehen. In 32 der 34 Länder liegt der Naturwissenschaftswert über dem Lesewert, im Median um 2,33 Punkte, im Mittel der Beträge um 3,28. In 22 Ländern beträgt der Abstand mehr als zwei Punkte, in vier mehr als fünf. Der größte ist Aserbaidschan mit 16,7 Punkten, 34,9 gegen 18,1, der kleinste Singapur mit 0,05. Ein Land, dessen Lesezahl aus einem Naturwissenschaftstest stammt, erscheint also nicht mal so und mal so, sondern der Tendenz nach schlechter.

Dieselbe Rechnung mit TIMSS-Mathematik statt Naturwissenschaft ergibt fast dasselbe: Median 2,39 Punkte, höher in 30 von 34 Ländern. Die Verschiebung hängt also nicht am Fach.

Damit fällt der Satz, der sich angeboten hätte. Es ist nicht so, dass Naturwissenschaft schwerer wäre als Lesen. Es ist so, dass TIMSS an seiner unteren Schwelle strenger schneidet als PIRLS. Der Befund über den Fachtausch wird dadurch nicht kleiner, aber er heißt etwas anderes, und er gilt unabhängig davon, welches Fach die Weltbank als Stellvertreter nimmt.

Ich hatte gefragt, ob für diese elf Länder überhaupt eine Lesemessung im Repositorium liegt. Für acht liegt keine, in keiner der drei Wertetabellen: Armenien, Algerien, Japan, Korea, Mongolei, Thailand, Tunesien und die Ukraine. Für sie ist die Stellvertretung erzwungen und nicht gewählt, und das ist ein anderer Vorgang als eine Wahl.

Für drei liegt eine. Chile trägt drei Lesemessungen, Indonesien zwei, Jemen eine. Beim Jemen zeigt sie in die andere Richtung, 4,3 Punkte über der publizierten Naturwissenschaftszahl, allerdings aus Klasse 3 und aus einem anderen Instrument. Chile kostet der Tausch 10,4 Punkte gegen seine PIRLS-Messung von 2016, Indonesien 15,6 gegen 2011. Beide Zahlen mischen drei bis vier Jahre Zeitabstand mit dem Erhebungswechsel und sind deshalb eine Obergrenze für den Preis der Wahl, keine Schätzung.

Drei Fälle, von denen einer in die Gegenrichtung zeigt, tragen keine Verallgemeinerung. Sie tragen die Feststellung, dass wir es für acht der elf Länder nicht wissen können, weil es nichts zu vergleichen gibt.

Die Technical Note sagt nicht, worüber ihre 0,99 gerechnet ist, über Mittelwerte oder über Anteile, über welche Länder und welche Runden. Geprüft ist hier die Korrelation der Größe, die in die Datenbank eingeht. Die Note ist damit nicht widerlegt, sie ist an einer anderen Größe geprüft als der, die sie meint. Und alle Paare stammen aus einem einzigen Jahr.

Die Weltbank führt in ihrer Quelltabelle 59 Zeilen für PIRLS 2021, Klasse 4, Lesen. Fünf davon sind keine Staaten der Weltbank-Länderliste, nämlich die beiden belgischen Gemeinschaften, England, Nordirland und Taiwan. Bleiben 54 Staaten. 53 von ihnen beziehen ihre publizierte Lesezahl aus dieser Messung von 2021. Einer nicht, und es ist Brasilien.

Für Brasilien steht in der Lernarmutsdatenbank 45,56 Prozent mit dem Bezugsjahr 2019. Das ist keine Erhebung, sondern eine Rechnung, und die Quelldatei schreibt es selbst hin: »WB distributional sensitive adjustment based on ERCE 2013 and 2019 results«, Klasse 6. Ungenutzt bleibt daneben eine Messung der IEA an Klasse 4 aus dem Jahr 2021, die 38,75 Prozent ergibt.

Der Abstand beträgt 6,82 Punkte, und er geht gegen das Land. Brasilien steht in der Datenbank schlechter da, als die Messung sagt, die dieselbe Datenbank in derselben Datei führt.

Ein Fehler ist das nicht, und es wird hier auch keiner behauptet. Brasiliens Grundschulzyklus ist länger als der vieler anderer Länder, und der Begriff der Lernarmut zielt auf das Ende der Grundschule; für Klasse 6 lassen sich gute Gründe nennen. Was bleibt, sind zwei Tatsachen. Die Auswahl zwischen den beiden Zahlen ist nirgends dokumentiert, und sie fällt zuungunsten des Landes aus.

Sichtbar wird das nur, weil beide Zahlen im selben Repositorium liegen. Die brasilianischen Zeilen der GLAD-Tabelle lauten 50,07 Prozent für 2006 und 46,95 für 2013, beide LLECE und beide Klasse 6, dazu 38,75 für PIRLS 2021 in Klasse 4. Die ersten beiden tragen in dieser Tabelle einen Standardfehler, die dritte nicht.

Sie betrifft eine Beschriftung, und die war unsere. Die Leseschicht dieses Issues umfasst 53 Länder, und wir haben sie bis zum 4. September »die Länder, die 2021 an PIRLS teilgenommen haben« genannt. Das ist falsch, und zwar um genau ein Land. Richtig heißt die Auswahlregel: die Länder, aus deren PIRLS-2021-Messung die Lernarmutsdatenbank ihre Lesezahl bildet.

Beide Beschreibungen sind für sich vertretbar. Falsch war, dass die eine an der Tabelle stand und die andere im Code.

Geprüft ist dieser Fall bisher nur für PIRLS 2021. Ob es in den übrigen fünf Erhebungen des Bestandes weitere Länder gibt, deren vorhandene Messung ungenutzt bleibt, weiß hier niemand.

Nachgetragen am 6. September. Dass die Spalte der GLAD-Tabelle für Brasiliens PIRLS-Zeile leer bleibt, hat uns vier Tage lang glauben lassen, für diese Messung gebe es keine Genauigkeitsangabe. Es gibt sie, und zwar seit vier Jahren im Druck. Exhibit 4.2 des PIRLS-Berichts führt Brasilien mit 61 Prozent am oder über der Leseschwelle und einem Standardfehler von 1,9 Prozentpunkten. Das Komplement davon sind 39 Prozent, und die GLAD-Zeile führt 38,747; der Abstand liegt innerhalb der Rundung.

Der Fehler lag also nicht in der Quelle, sondern in unserer Lieferung. Er ist auch nicht allein Brasiliens Fall: Drei Länderlisten in diesem Bestand heißen PIRLS 2021, und keine zwei sind gleich. Der gedruckte Bericht führt 57 Zeilen, die Tabelle der Weltbank 59, die Leseschicht dieses Issues 53. Zieht man die vier Landesteile und Taiwan ab, das in der Länderliste der Weltbank nicht steht, bleibt genau ein ausgelassener Staat, und das ist Brasilien. Ein Erhebungsname ist keine Länderliste.

An dem, was oben steht, ändert das nichts. Die 1,9 Punkte gehören zu der Zahl, die die Datenbank nicht benutzt. Die benutzte stammt weiter aus einer Rechnung über zwei ERCE-Runden, die Auswahl zwischen beiden ist weiter nirgends dokumentiert, und sie fällt weiter zuungunsten des Landes aus. Genauer geworden ist nur die Zahl, die daneben liegt.

Alles, was in diesem Issue seit dem 1. September über die Lesezahlen der Weltbank festgestellt wurde, stand auf Dokumenten der Weltbank oder auf Berichten, die sie selbst zitiert. Dass Chiles Zahl aus TIMSS 2019 stammt und das Fach Naturwissenschaft misst, sagt, welchen Weg die Zahl im Haus der Weltbank genommen hat. Es sagt nicht, ob sie am Anfang des Weges richtig war.

Der Anfang ist die IEA, die Organisation, die TIMSS durchführt. Sie druckt ihre Ergebnisse selbst, und aus ihnen lässt sich dieselbe Größe bilden: 100 minus dem Anteil der Kinder in Klasse 4, die den unteren Benchmark erreichen. Diese Zahl muss die Zahl der Weltbank treffen.

In 19 Fällen tut sie es nicht. Der Median der Abweichung über alle 48 Länder liegt bei 0,42 Prozentpunkten, die größte bei 5,76 in Tschechien, Chile folgt mit 5,18.

Das allein wäre eine Beobachtung. Der Befund kommt daraus, dass die 19 etwas gemeinsam haben.

TIMSS 2019 lief in zwei Formen. Die Hälfte der Länder testete zum ersten Mal am Bildschirm, die andere Hälfte auf Papier. Damit die digitalen Ergebnisse auf derselben Skala stehen wie die früheren Runden, ließ die IEA die digital getesteten Länder zusätzlich eine Papierstichprobe schreiben und legte die neuen Daten über diese Brücke auf die alte Skala.

Von den 48 verglichenen Ländern sind 24 digital und 24 auf Papier getestet. Alle 19 Abweichungen liegen auf der digitalen Seite. Auf der Papierseite liegt der Median bei 0,22 Punkten und die größte Abweichung bei 0,49, also innerhalb dessen, was die Rundung der gedruckten Tabelle ohnehin erzeugt.

Eine vollständige Trennung entlang eines Merkmals, das mit dem Ergebnis nichts zu tun hat, ist kein Zufall. Die naheliegende Lesart ist, dass die Rechnung der Weltbank die Brückenverknüpfung nicht mitträgt. Belegen lässt sich das nicht: Ihre Rechnung liegt nicht vor, nur ihr Ergebnis. Was hier behauptet wird, ist der Befund und nicht seine Ursache.

Das ist die Stelle, an der die naheliegende Erklärung Widerstand bekommt, und sie gehört dazu. In 15 der 19 Fälle weist die Weltbank mehr Lernentzug aus als die IEA. In vier weist sie weniger aus: Katar, Singapur, Spanien und die Vereinigten Arabischen Emirate. Eine reine Verschiebung der Skala wäre einseitig. Diese ist es nicht.

Die IEA druckt für Chile drei Runden. 2011 und 2015 stimmen beide Seiten überein, auf 0,50 und 0,07 Punkte. Für 2019 gehen sie um 5,18 Punkte auseinander. 2019 ist das Jahr, in dem Chile digital getestet hat.

Damit steht Chile allein da. Von den elf Ländern, deren publizierte Lesezahl eine Naturwissenschaftszahl ist, betrifft dieser Bruch genau eines. Armenien und Japan haben 2019 auf Papier getestet, Korea digital und ohne Abweichung, die übrigen sieben beziehen ihre Zahl aus Runden vor 2019, als es die digitale Form noch nicht gab. Chile ist das einzige Land dieser Datenbank, dessen Lesezahl zugleich das falsche Fach misst und den Wert dieses Fachs nicht trifft.

Welche der beiden Zahlen richtig ist, steht hier nicht. Die Weltbank rechnet auf Mikrodaten und kann damit genauer sein als eine auf ganze Prozent gerundete Tabelle. Die IEA hat die Erhebung durchgeführt und kennt die Brücke, über die ihre eigenen Zahlen laufen. Beide können recht haben. Um fünf Punkte auseinanderliegen können sie dabei nicht.

Am 3. September stand hier, dass die Zahl der Weltbank für TIMSS 2019 in 19 von 48 Ländern den gedruckten Anteil der IEA verfehlt und dass alle 19 zu den Ländern gehören, die 2019 digital getestet haben, während von 24 Papierländern keines abweicht. Der Befund war berichtet, seine Ursache nicht behauptet.

Eine solche Lesart lässt sich prüfen, und zwar so, dass die Prüfung sie hätte umbringen können. TIMSS 2007, 2011 und 2015 fanden ausschließlich auf Papier statt. Hängt der Bruch am digitalen Modus, müssen diese Runden treffen.

Sie treffen. 33 Vergleiche für 2007, 40 für 2011, 39 für 2015, zusammen 112, und darunter keine einzige Abweichung über der Rundungsgrenze. Die größte Abweichung überhaupt beträgt 0,50 Punkte, also genau den Betrag, den das Runden auf ganze Prozent erzwingt; die Mediane der drei Runden liegen bei 0,20, 0,29 und 0,296 Punkten. Zum Vergleich: 2019 beträgt die größte Abweichung 5,765 Punkte.

Auch die sieben Länder, deren publizierte Zahl aus einer alten Runde stammt, treffen sämtlich, mit Abständen zwischen 0,07 und 0,50 Punkten: Algerien, Indonesien, die Mongolei, Thailand, Tunesien, die Ukraine und der Jemen.

Was daraus folgt, ist genau ein Satz. Die Digitallesart hätte hier widerlegt werden können und ist es nicht worden. Sie ist damit nicht bewiesen, denn 2019 unterscheidet sich von den älteren Runden nicht nur im Modus, sondern auch im Jahr, in der Teilnehmerschaft und in der Skalenverknüpfung. Sie ist geprüft, und das ist mehr, als sie gestern war.

Beim Bauen der Prüfung sind zwei Lesefehler aufgefallen, und beide sind wichtiger als die Zahl. Erstens kamen die Fußnotenzeichen der IEA aus der Textwandlung teils als Steuerzeichen heraus und standen 2007 vor acht Ländernamen. Sieben davon haben in der Weltbanktabelle einen Eintrag und fielen deshalb stillschweigend aus der Probe: Dänemark, Georgien, Kasachstan, Litauen, Lettland, die Niederlande und die Vereinigten Staaten. Vor der Reparatur waren es 26 Vergleiche, danach 33. Eine Brücke, die an der Typographie scheitert, misst die Typographie.

Zweitens kommt die Überschrift der Benchmark-Tabelle in diesen Berichten mehrfach vor, für Klasse 4 und für Klasse 8. Die erste Fassung las alle Blöcke ein und ließ den ersten Treffer je Land gewinnen. Das ergab 2011 zwei scheinbare Abweichungen, die verschwanden, sobald nur noch der erste Block gelesen wird.

Beide Fehler hätten das Ergebnis in die falsche Richtung bewegt, und keine der eingebauten Kontrollen hätte sie gemeldet. Gefunden wurden sie, weil jemand der Frage nachgegangen ist, warum neun Länder fehlen. Deshalb ist auch der Befund vom 3. September mit dem neuen, unabhängig geschriebenen Leser nachgebaut worden: 48 Vergleiche, 19 Abweichungen, größte 5,765 Punkte. Er reproduziert.

Ein Posten war als Kontrolle geplant und ist keine. Die Forderung lautete, die Mathematikzeilen derselben Runde dürften die gedruckten Naturwissenschaftsanteile höchstens zu einem Viertel treffen. 2015 trafen 25,6 Prozent, und die Forderung riss.

Sie war falsch gedacht. Die Anteile eines Landes liegen in beiden Fächern nahe beieinander, und auf ganzen Prozentpunkten mit einer Schranke von einem halben Punkt ist ein Fachtausch nicht immer unterscheidbar. Der Posten läuft deshalb als Messung weiter und beziffert etwas Unangenehmes: Diese Art Übereinstimmungsprobe erzeugt je nach Runde 6,1 bis 25,6 Prozent Treffer auch dann, wenn das Fach das falsche ist.

Eine Umwidmung nach dem Ergebnis ist normalerweise eine Ausrede. Hier fällt die Prüfung nicht weg, sie wechselt die Rolle, und was sie misst, geht gegen die Schärfe der eigenen Probe. Die Fachidentifikation vom 3. September ist davon nicht berührt, denn die steht auf der Fachspalte der Weltbanktabelle und nicht auf dieser Übereinstimmung.

An dieser Stelle stand gestern eine Kontrolle und eine Lücke. Die Kontrolle: In den drei reinen Papierrunden 2007, 2011 und 2015 trifft die Weltbankzahl den gedruckten Anteil der IEA in allen 112 Vergleichen. Die Lücke: Geprüft war nur Klasse 4 Naturwissenschaft. Wenn der digitale Erhebungsmodus die Ursache des Bruchs von 2019 ist, muss er auch in einem anderen Fach auftreten.

Mathematik ist dabei die härtere Probe als die Papierrunden, und zwar aus einem Grund, der zählt. Die alten Runden liegen in anderen Jahren; sie können nicht trennen, ob der Bruch am Modus hängt oder an irgendetwas anderem, das sich 2019 geändert hat. Mathematik 2019 liegt im selben Jahr, in derselben Klassenstufe, bei denselben Ländern. Es variiert genau eine Sache, das Fach.

50 Vergleiche in Mathematik, 15 Abweichungen über der Rundungsgrenze, die größte liegt bei 6,72 Punkten. Alle 15 sind Länder, die digital angetreten sind. Von den 24 Ländern, die 2019 auf Papier getestet haben, weicht in Mathematik keines ab, und in Naturwissenschaft auch keines: 48 Papiervergleiche über beide Fächer, nicht eine Abweichung.

Die Zählung hängt bisher an einer Schranke von einem halben Punkt, und die hat sich der researcher selbst gesetzt. Zwei Länder liegen mit 0,51 knapp jenseits davon, deshalb ist es zusätzlich ohne Schranke gemessen worden. Trifft die Weltbankzahl den gedruckten Anteil und ist der einzige Unterschied das Runden der IEA auf ganze Prozent, dann ist die Differenz gleichverteilt zwischen minus und plus einem halben Punkt. Das sagt vier Zahlen vorher, die von niemandem hier stammen: Mittel 0, Standardabweichung 0,289, mittlerer Betrag 0,25, größter Betrag unter 0,5.

Die Papierländer treffen alle vier, in beiden Fächern. Ihr Mittel liegt bei 0,056 Punkten in Naturwissenschaft und 0,046 in Mathematik, ihre Standardabweichung bei 0,273 und 0,292, ihr mittlerer Betrag bei 0,244 und 0,258, und der größte Betrag bei 0,486 und 0,492. Die Papierabweichung ist das Runden und sonst nichts. Die digital getesteten Länder streuen 7,7-mal und 6,5-mal so weit. Der Befund steht damit ohne die Schranke.

Der erste. Die abweichenden Länder sind in beiden Fächern nicht dieselben. Elf weichen in beiden ab, acht nur in Naturwissenschaft und vier nur in Mathematik, darunter Deutschland. Der Modus ist also notwendig und nicht hinreichend: Es weicht kein Papierland ab, aber auch nicht jedes digitale. Das schließt zugleich eine andere Erklärung aus. Griffe die Weltbank für diese Länder pauschal auf eine andere Quelle zurück, müssten beide Fächer gemeinsam abweichen. Sie tun es nicht.

Der zweite ist der, der eine schöne Geschichte kostet. In Naturwissenschaft liegen die Abweichungen der digitalen Länder im Mittel bei plus 1,355 Punkten, 17 von 24 sind positiv. In Mathematik liegt das Mittel bei plus 0,128 bei 16 von 26 positiven, also praktisch bei null. »Die Weltbank rechnet die digital getesteten Länder systematisch schlechter« stimmt damit für ein Fach und für das andere nicht. Gleich ist die Streuung, nicht die Richtung.

Die zweite Hälfte der Frage bleibt unbeantwortet, und der Grund liegt nicht beim researcher. Die Weltbanktabelle führt für TIMSS 2019 keine einzige Zeile der Klasse 8. Sie führt 53 je Fach in Klasse 4 und vier in Klasse 5. Der gedruckte Bericht der IEA hat beide Klasse-8-Tabellen; es fehlt also die Gegenseite und nicht die Quelle. Der Bruch ist über das Fach testbar und über die Klassenstufe nicht.

Auf dieser Seite steht eine Übereinstimmungsprobe: Trifft die Zahl, die die Weltbank für ein Land führt, den Anteil, den die IEA für dasselbe Land und dieselbe Runde gedruckt hat? Wenn ja, ist damit auch gesagt, welches Fach die Weltbankzahl misst.

Solange man nur die Trefferquote hinschreibt, sieht jede solche Probe scharf aus. Die ehrliche Frage lautet anders: Wie viele Treffer erzeugt dieselbe Probe, wenn man ihr absichtlich das falsche Fach vorlegt? Diese Quote ist ihr Zufallsboden, und alles, was darüber liegt, ist die eigentliche Leistung.

Gemessen ist der Boden für fünf Runden, indem die Mathematikzeilen gegen die gedruckten Naturwissenschaftsanteile gehalten wurden und umgekehrt. Er beträgt 6,1 Prozent für 2007, 10,0 für 2011 und 25,6 für 2015, für die beiden Fachrichtungen des Jahres 2019 dann 14,6 und 12,0.

Er ist keine Konstante der Probe, sondern eine Eigenschaft der Verteilung, an der sie arbeitet. Je mehr Länder nahe an der Decke liegen, je mehr also über 95 Prozent ihrer Viertklässler die untere Schwelle erreichen, desto häufiger sind Mathematik- und Naturwissenschaftsanteil auf ganze Prozentpunkte gerundet nicht mehr unterscheidbar. Die Probe wird überwiegend dort blind, wo die Länder gut sind: 19 der 29 Treffer des falschen Fachs über alle fünf Runden fallen auf Länder, in denen mindestens 95 Prozent der Kinder über der Schwelle liegen. Die zehn anderen liegen bis auf Kanada und Österreich am unteren Ende, wo zwei Fachanteile ebenfalls dieselbe gedruckte Zahl tragen können. 2015 ist die Runde mit den meisten Deckenländern, 21 von 39, und sie hat den höchsten Boden, 25,6 Prozent.

Das sagt etwas Unangenehmes über unsere eigene Arbeit: Ein Viertel der Länder von 2015 hätte diese Fachprobe auch dann bestanden, wenn wir das falsche Fach verglichen hätten.

Sie schlägt ihren Boden in jeder der fünf Runden. In Naturwissenschaft stimmen 2007, 2011 und 2015 jeweils 100 Prozent der verglichenen Länder überein, gegen Böden von 6,1, 10,0 und 25,6 Prozent. Für 2019 stehen 60,4 Prozent Übereinstimmung gegen einen Boden von 14,6 in Naturwissenschaft und 70,0 gegen 12,0 in Mathematik. Der knappste Abstand der fünf liegt bei 45,8 Punkten.

Dazu gehört eine Entscheidungsregel, die es vorher nicht gab und die der verifikateur verlangt hat. Überschreitet eine Runde ihren eigenen Boden nicht, dann lautet der Satz über sie nicht »die Probe hält«, sondern »in dieser Runde trennt die Probe die Fächer nicht«, und die Runde fällt aus der Positivkontrolle heraus. Sie hat bisher in keiner Runde gegriffen, und sie ist trotzdem kein Zierrat: Der Boden hat sich zwischen 2007 und 2015 vervierfacht, und eine Runde, in der fast alle Länder über 95 Prozent liegen, würde ihn reißen.

Eine Verwechslung gehört hierher, weil sie schon einmal passiert ist. Die 25,6 Prozent von 2015 sind der Boden dieser Runde und nicht die Beobachtung. Die Beobachtung derselben Runde ist 39 von 39 Ländern, also 100 Prozent.

Der Boden ist die eine. Die andere steht im Text über die Korrelation von 0,99, und sie ist der bessere Lehrsatz.

Dort wurde geprüft, ob die TIMSS-Werte systematisch über den PIRLS-Werten liegen. Die erste Fassung testete das gegen eine faire Münze und ergab eine Wahrscheinlichkeit von sieben zu hundert Millionen. Die Zahl war beeindruckend und die Nullhypothese falsch: Gegen eine faire Münze zu testen unterstellt, dass beide Richtungen gleich häufig wären, und die TIMSS-Verteilung ist als ganze nach oben verschoben. Deshalb liegen schon bei zufälliger Paarung im Median 22 von 34 Werten höher. Der Test hätte genau die Verschiebung mitgemessen, die er erklären sollte.

Beide Fälle haben dieselbe Bauform. Ein Vergleichsmaßstab, den man nicht ausrechnet, sondern für selbstverständlich hält, misst am Ende die Sache mit, die er messen soll. Das ist keine Rechenpanne, sondern die häufigste Art, wie eine Prüfung laut und falsch wird.

Wer in der Lernarmutsdatenbank nachschlägt, wie viele Zehnjährige in Argentinien 2019 einen einfachen Text nicht verstanden haben, liest 58,9 Prozent. Wer in der Veröffentlichung der Erhebung nachschlägt, die 2019 in Argentinien stattgefunden hat, liest 68,1 Prozent. Beide Zahlen tragen dasselbe Land, dasselbe Jahr und dieselbe Beschriftung.

Beide stehen sogar in derselben Datei. Das Repositorium der Weltbank führt für jedes der 15 ERCE-Länder zwei Zeilen, und jede nennt ihre Quelle: Die eine heißt »ERCE 2019 Publication«, die andere »WB distributional sensitive adjustment based on ERCE 2013 and 2019 results«. Die Datenbank publiziert die zweite, in 15 von 15 Fällen. Die Publikationszeile trifft sie in keinem einzigen.

In jedem der 15 Länder liegt die Zahl der Weltbank unter der Zahl der Publikation. Der Median beträgt 8,9 Prozentpunkte. Die Spanne reicht von 6,5 in Paraguay bis 12,8 in Uruguay. Costa Rica steht mit 46,0 in der Publikation und mit 33,3 in der Datenbank.

Fünfzehn Länder, eine Richtung. Das ist keine Streuung, die man einer Näherung zuschreiben könnte.

Er ist zum größten Teil eine dokumentierte Umskalierung. ERCE 2019 wird auf die Skala einer früheren Runde umgerechnet, damit die Reihen über die Jahre vergleichbar bleiben. Die Weltbank beschreibt dieses Verfahren in einem Methodenpapier und nennt es ausdrücklich vorläufig.

Nachprüfen lässt sich das. Hält man die Publikationszeilen gegen die entsprechende Spalte einer gedruckten Tabelle desselben Papiers, liegen sie nah beieinander, im Median 0,5 Punkte auseinander, im ungünstigsten Fall 1,1. Von den rund neun Punkten Abstand sind damit gut 95 Prozent die beschriebene Umskalierung. Der kleine Rest bleibt unbenannt, und er liegt in derselben Größenordnung wie der Näherungsfehler, den das Papier in seinem Anhang selbst ausweist.

Hier steht also kein Vorwurf. Wer eine Zeitreihe bauen will, muss zwei Runden auf eine Skala bringen, und die Weltbank tut das offen.

Er liegt eine Stufe weiter. Die Datei, in der beide Zahlen stehen, ist ein Repositorium für Fachleute. Die Datenbank, aus der die Zahlen in Berichte, Grafiken und Zeitungsartikel wandern, führt nur eine der beiden und kein Feld, in dem stünde, dass es zwei gibt.

Für einen Leser heißt das: Die Zahl für Costa Rica, die er in der Datenbank findet, ist um 12,7 Punkte niedriger als die, die in der Veröffentlichung derselben Erhebung steht, und nichts an der Zahl sagt ihm das. Er kann die beiden nicht nebeneinanderlegen, weil er nicht weiß, dass es zwei sind.

Ein Nebensatz noch, damit die Zahl nicht falsch weiterwandert. Dieser Abstand ist kein Unsicherheitsband. Die Datei führt keine Standardfehler, und diese 15 Länder tragen weiterhin keines. Wer die neun Punkte als Fehlerspanne verwendet, verwendet sie falsch.

Welche Rohzeile hinter einer publizierten Zahl steckt, war bisher Namensraten. Seit heute nicht mehr: Die Datenbank führt den Anteil unter der Leseschwelle als eigene Größe, also genau das, was auch im Rohbestand steht. Damit wird aus dem Raten ein Zahlenabgleich, und der Abgleich hat zwei Proben bestanden. Die publizierte Lernarmut lässt sich aus dieser Zahl über alle 125 Länder rekonstruieren, mit einer größten Abweichung von einem Zehntausendstel Punkt. Und ein absichtlich um einen Punkt verschobener Rohwert darf nicht mehr treffen; er trifft in null von 25 Fällen.

25 maschinenlesbare Rohzeilen aus 21 Ländern. Zwölf der 25 treffen den publizierten Wert ihres Landes genau. Neun sind durch eine neuere Erhebung desselben Landes überholt und liegen erklärt still. Eine liegt knapp daneben. Und drei Zeilen aus zwei Ländern kommen nirgends an, weil das Land in der Datenbank überhaupt nicht existiert: Ghana mit zwei Zeilen, Nepal mit einer.

Ghana hat zwei angenommene Zeilen zu 2016 und Klasse 6, und sie widersprechen sich um 56 Punkte: 72 Prozent erreichen die Schwelle in der einen, 16 Prozent in der anderen. Die Erklärung steht in der Schwellenspalte daneben. Die erste misst gegen die Mindestanforderung des nationalen Tests, die zweite gegen das globale Anschlussverfahren. Es sind nicht zwei Messungen derselben Sache, sondern eine Messung an zwei Maßstäben. Kein Fehler, sondern eine Wahl, die getroffen werden müsste und in den Daten nicht getroffen ist.

Der naheliegende Schluss wäre, dass dieser Widerspruch Ghana den Platz gekostet hat. Er hält nicht. Nepal hat eine einzige Zeile, 96,6 Prozent unter der Schwelle, und fehlt genauso.

Die Methodendokumentation sagt, wann nationale Erhebungen benutzt werden: für einige bevölkerungsreichere Länder, die an keiner der internationalen Erhebungen teilgenommen haben. Beide Hälften lassen sich nachzählen. Ghana hat 33,1 Millionen Einwohner, Nepal 29,7, und beide stehen in keiner anderen Bestandsdatei mit einer einzigen Zeile. Sie erfüllen das Kriterium und fehlen trotzdem.

Lesotho hat 2,29 Millionen Einwohner, ist vierzehnmal kleiner als Ghana, und seine publizierte Zahl ist auf die Nachkommastelle seine nationale Erhebung. Zur Fairness gehört die Gegenrechnung, und sie geht gegen die Pointe: Lesothos internationale Zeile aus dem Jahr 2013 ist im Bestand als verworfen vermerkt, also hat es im Ergebnis tatsächlich an keiner teilgenommen. Die zweite Hälfte des Kriteriums erfüllt es damit. Die erste, die Bevölkerung, erfüllt es nicht.

Dazu kommt ein zweiter Befund über dieselbe Liste. Die Dokumentation nennt zwölf Länder namentlich, für die nationale Erhebungen benutzt wurden, und zwölf sind es auch heute. Drei davon sind andere. Kambodscha, Malaysia und Vietnam stehen in der Liste und tragen inzwischen eine neuere Erhebung; Kenia, Lesotho und Mali tragen eine nationale Zahl und stehen nicht in der Liste. Eine Liste, die in der Zahl stimmt und in einem Viertel der Namen nicht, ist die unauffälligste Art, in der eine Dokumentation veraltet.

Keine unserer Zahlen bewegt sich. Die 125 Länder bleiben 125, und was fehlt, fehlte vorher auch. Was sich bewegt, ist die Beschriftung. Die Lernschicht ist nicht »alle Länder, für die eine Lesemessung existiert«, sondern »alle Länder, deren Lesemessung es in die Datenbank geschafft hat«. Für Ghana und Nepal existiert eine Messung, und sie steht nicht drin. Nach unserer eigenen Regel ist ein weißes Feld eine Aussage, und diese beiden weißen Felder haben eine Vorgeschichte.

Beim Auflösen der letzten zwölf Länderzahlen ist ein Dokumentationsblatt aufgetaucht, das für jede nationale Erhebung nicht nur Wert, Klassenstufe und Schwelle führt, sondern eine Spalte namens status. Sie kennt drei Werte, Accepted, Rejected und pending. 31 Zeilen, davon 25 angenommen, vier verworfen und zwei in der Schwebe.

Diese Spalte entscheidet, welche Zahl publiziert wird, und damit auch, welches Bezugsjahr ein Land in der Lernarmutsdatenbank trägt. In der Datenbank selbst, Fassung April 2024, kommt sie nicht vor.

Das Blatt führt für Indien zwei Erhebungen, die National Achievement Survey von 2017 für Klasse 5 mit dem Status Accepted, und dieselbe Erhebung von 2021 mit Rejected. Die Datenbank publiziert 2017 mit 53,7 Prozent. Wäre die Zeile von 2021 angenommen worden, stünde dort 58,3 Prozent aus dem Jahr 2021. Diese 58,3 ist ein umgerechneter Wert: Das Blatt führt 41,7 als Anteil, der die Schwelle erreicht, und die Weltbank bildet in ihrer eigenen Wertetabelle für alle anderen Zeilen genau dieses Komplement.

Indiens Zahl ist damit vier Jahre älter als die vorhandene Alternative, und der Grund steht in einer Spalte, die kein Leser der Datenbank sieht. Für drei der vier Ablehnungen notiert das Blatt eine Begründung. Für die indische nicht.

Bei China ist die Erhebung von 2016 angenommen und publiziert, die von 2019 steht auf pending. Die Datenbank trägt 2016. Die beiden Werte liegen dicht beieinander, 18,2 gegen 18,3 Prozent.

Das ist der Grund, warum dieser Fall hier steht und nicht als Nebensatz. Er kostet keine inhaltliche Verschiebung, sondern drei Jahre Aktualität. Wer nur Indien zeigt, zeigt einen Fall, in dem viel auf dem Spiel steht, und lädt zu der Vermutung ein, die Entscheidung sei um der Zahl willen gefallen. China zeigt, dass die Regel auch dann greift, wenn nichts auf dem Spiel steht.

Das Blatt führt für Ghana zwei Zeilen mit demselben Land, demselben Jahr 2016 und derselben Klassenstufe 6. Beide tragen den Status Accepted. Die eine misst an der Schwelle Minimum Competency und kommt auf 28 Prozent unter der Mindestkompetenz, die andere an einer Policy-Linking-Schwelle und kommt auf 84 Prozent. Das sind 56 Punkte Abstand zwischen zwei gleichermaßen angenommenen Zahlen für dieselbe Erhebung.

Ghana kommt in der Datenbank überhaupt nicht vor, weder mit der einen noch mit der anderen Zahl. Ein Zusammenhang zwischen beidem ist nicht behauptet. Festgestellt ist, dass die einzige Stelle, an der zwei angenommene Zahlen desselben Landes so weit auseinandergehen, zugleich die eines Landes ist, das die Datenbank nicht führt.

Von den 31 dokumentierten Zeilen erreichen vier ein Land, das die Datenbank gar nicht führt: Ghana zweimal, Nepal und Bolivien. Elf weitere gehören zu Ländern, die zwar in der Datenbank stehen, aber mit einem anderen Bezugsjahr, meist weil eine internationale Erhebung die nationale überholt hat. Das ist die Regel und kein Befund.

Der Befund ist, dass sich das alles nur an dieser einen Datei ablesen lässt. Eine Zahl hält einer Quellenprüfung stand, wenn man ihren Weg nachvollziehen kann. Hier ist der Weg vollständig dokumentiert, nur an einem Ort, den die Datenbank nicht nennt. Wer Indien und China aus ihr vergleicht, vergleicht 2017 mit 2016 und erfährt nirgends, dass für beide Länder jüngere Zahlen vorliegen.

Die Dokumentationstabelle der Weltbank führt für die nationalen Schulleistungstests eine Statusspalte, und diese Spalte entscheidet, aus welchem Jahr die Lesezahl eines Landes stammt. Vier Zeilen stehen dort auf »Rejected«. Drei davon tragen eine Begründung, die diesen Namen verdient.

Bei Uganda 2014 steht, dass der Englischtest der sechsten Klasse zu 40 Prozent aus Lesen, zu 40 Prozent aus Schreiben und zu 20 Prozent aus Grammatik besteht. Er misst also nicht, was gemessen werden soll. Bei Äthiopien 2015 steht, dass drei vertretbare Schwellen zu drei sehr verschiedenen Ergebnissen führen, nämlich 57,32, 11,28 und 44,9 Prozent, und dass sich keine davon aufdrängt. Beide Male kann ein Leser den Einwand nachvollziehen und ihm widersprechen.

Bei Indien steht kein Einwand. Das Begründungsfeld der verworfenen Zeile lautet vollständig: »National Learning Assessment (NLA): National Achievement Survey - Class V; Grade 5; Minimum proficiency level: Intermediate;«. Das ist die Beschreibung der Erhebung und keine Aussage über sie. 124 Zeichen gegen 519 bei Uganda und 601 bei Äthiopien.

Auffällig wird es durch den Nachbarn. Die angenommene indische Zeile von 2017 trägt genau dieselbe Zeichenfolge, Zeichen für Zeichen, und danach eine einzige Ergänzung: » UIS (Wednesday, May 29, 2019 10:53 AM)«, den Prüfstempel der UNESCO-Statistikbehörde. Zwei Zeilen, dasselbe Feld, ein Unterschied von 38 Zeichen, und die eine ist angenommen und die andere verworfen.

Sie liegt auf der Hand: Der fehlende Prüfstempel ist die Ablehnung, eine Verwaltungslücke setzt Indiens Zahl um vier Jahre zurück. Das wäre eine gute Geschichte, und sie hält nicht. Wäre der fehlende Stempel der Grund, dürfte keine angenommene Zeile ohne ihn stehen. 10 der 25 angenommenen Zeilen tragen keinen, darunter Vietnam, Ghana, Kenia, Pakistan und Bangladesch.

Der researcher hat diese Kontrolle gebaut, weil ihm die Erklärung gefiel, und sie hat sie umgebracht. Übrig bleibt der schwächere und der belegte Satz: Im Blatt steht kein Grund.

Sie ist beziffert. Indien steht in der Lernarmutsdatenbank mit dem Bezugsjahr 2017 und 46,3 Prozent. Die verworfene Erhebung von 2021 trägt 41,7. Die Ablehnung hält Indien damit um 4,6 Punkte schlechter und um vier Jahre älter, als die jüngere Erhebung es täte.

Ob diese Entscheidung richtig ist, steht hier nicht. Ein Leser der Datenbank kann es auch nicht beurteilen, denn er sieht weder den Status noch das Feld, in dem der Grund stehen müsste.

Am 31. August stand auf dieser Seite, dass für 55 von 123 Ländern der Lernrang außerhalb der Unschärfe des Überlebensrangs liegt. Diese Zahl war einseitig gerechnet, und wir haben es damals dazugeschrieben: Die Kindersterblichkeit trug ein Unsicherheitsband, die Lernarmut einen Punkt. Ein Punkt kann ein Intervall verlassen, das er bei ehrlicher Breite nie verlassen hätte.

Seit heute trägt auch die Lesezahl ein Band. Es stand die ganze Zeit gedruckt in den PIRLS-Tabellen, in Klammern hinter jedem Prozentwert. Übertragen ließ es sich erst, seit geprüft ist, dass die Lesekomponente der Datenbank wirklich diese Studie ist.

Von den Kipps sind 28 überhaupt entscheidbar, weil nur für sie auf beiden Seiten ein Band vorliegt. Acht davon fallen: Dänemark, Frankreich, Italien, Litauen, Katar, Serbien, Schweden und die Türkei. Zwanzig bleiben, darunter Deutschland, Österreich, Tschechien, Montenegro, Nordmazedonien und Irland. Die übrigen 29 sind mit den vorliegenden Daten weder zu halten noch zu widerlegen, weil ihre Länder nicht in PIRLS 2021 stehen.

Gefallen ist dabei der Nachweis und nicht der Unterschied. Dänemark kann im Lernen sehr wohl anders liegen als im Überleben. Wir können es nur nicht mehr zeigen, und das ist ein Satz über unsere Messgenauigkeit und keiner über Dänemark.

Die publizierte 55 war selbst schon falsch, und zwar zu niedrig. Sie stand auf Überlebensschranken, die auf eine Nachkommastelle gerundet waren, weil sie aus einer Zwischendatei stammten statt aus den Rohdaten. Ungerundet sind es 57.

Beide Fehler waren klein und zeigten gegeneinander. In der Summe fällt die Zahl von 57 auf 46, ohne dass sich eine einzige gemessene Zahl bewegt hätte. Was sich bewegt hat, ist die Frage, was wir aus ihr ablesen dürfen. Die halbe Bandbreite der Lernarmut liegt im Median bei 1,14 Prozentpunkten, bei Italien bei knapp einem halben und bei Nordmazedonien bei dreieinhalb. Gerechnet ist auf 90 Prozent, demselben Niveau wie die Bänder der Kindersterblichkeit, und die beiden Schichten sprechen dabei über verschiedene Jahre: Lesen über 2021, Überleben über 2024.

Nur die 51 PIRLS-Länder tragen ein Band. Alle anderen behalten Breite null und gelten damit als exakt, obwohl sie es nicht sind. Das Rangintervall eines PIRLS-Landes ist deshalb enger, als es wäre, wenn alle Länder ehrlich Breite trügen. Die 46 ist also derselbe Typ Zahl wie die 57, nur schärfer.

Dazu kommt der Baustein, der schon am 31. August die Hälfte der deutschen Lernarmut ausmachte. Von den 15,44 Prozentpunkten sind 9,65 Schulentzug, und der trägt gar kein Band. Bei Deutschland reicht das Band von 14,70 bis 16,18 Prozent, und diese Breite kommt allein aus dem kleineren der beiden Bausteine. Wo der Schulentzug groß ist, ist das hier gerechnete Band das kleinere der beiden Probleme.

Ein Vorbehalt von gestern gilt weiter und betrifft zwei der zwanzig gebliebenen Länder. Bei Österreich und Tschechien verschwindet der Kipp, wenn man statt der zusammengesetzten Lernarmut nur ihre Lesekomponente nimmt. Sie bestehen diesen Test hier, und sie bestehen den anderen nicht. Beides steht nebeneinander, weil es zwei verschiedene Fragen sind.

Seit dem 2. September steht in diesem Issue der Satz: Die Rangfolge zwischen Überleben und Lernen kippt für höchstens 46 von 123 Ländern, sicher für 26, und für 20 wissen wir es nicht.

Ab heute lautet er: höchstens 43, sicher 35, unbekannt 8.

Die auffällige Bewegung ist nicht die erste Zahl. Sie ist die dritte. Von den zwanzig Fällen, über die sich nichts sagen ließ, sind zwölf entscheidbar geworden, weil die Weltbank in ihrem Repositorium für jede Beobachtung einen Standardfehler führt. 28 Länder tragen damit zum ersten Mal ein Unsicherheitsband. Zehn der zwölf Kipps haben es überstanden, zwei sind gefallen.

Am 1. September stand hier, die 46 bewege sich nicht; sie sei eine Obergrenze, und angegriffen werde nur die Gewissheit darin. Die Richtung dieses Satzes stimmt und ist geprüft: Ein zusätzliches Band kann einen Kipp nur auflösen, nie erzeugen.

Der Eindruck, den er erzeugt hat, war trotzdem falsch. Die Grenze ist kein fester Wert. Sie ist ein Deckel, der sinkt, sobald irgendwo eine Unsicherheit beziffert wird. Heute sinkt er zum ersten Mal, und er wird weiter sinken: 30 der 123 Länder tragen bis heute kein Leseband und gelten deshalb als exakt.

Von den drei gefallenen Kipps sind zwei leicht zu erklären. Chile und Malaysia kamen aus den zwanzig Unbekannten und haben nun ein Band.

Der dritte ist die Slowakei, und sie hatte längst eines. Ihre Zahlen sind dieselben wie gestern, ihr Band ist dasselbe, an ihr ist nichts passiert. Gefallen ist sie, weil die Bänder ihrer Nachbarn breiter geworden sind.

Das ist der Satz, der an dieser Stelle etwas erklärt, was man sich nicht selbst zusammenreimt. Ein Rangkipp ist keine Eigenschaft eines Landes. Er ist eine Eigenschaft eines Feldes. Ob Land A vor Land B steht, hängt davon ab, wie scharf die Plätze um A und B herum überhaupt bestimmt sind. Werden die Nachbarn unschärfer, werden die Rangintervalle breiter, und eine Reihenfolge, die vorher sicher schien, löst sich auf, ohne dass irgendjemand etwas Neues über das betroffene Land erfahren hätte.

Wer eine Kippzahl als Aussage über einzelne Länder liest, liest sie deshalb falsch.

Chile war unter den offenen Kipps der zerbrechlichste. Am 2. September lag seine Kippschwelle bei 0,09 Prozentpunkten, dem niedrigsten Wert im ganzen Bestand: So wenig hätte gereicht, um ihn umzuwerfen. Sein neues Band ist mit 3,56 Punkten rund vierzigmal so breit.

Damit ist die Frage, die am Anfang dieser Woche stand, in beide Richtungen beantwortet. Die Herkunft der chilenischen Zahl ist geklärt, und der Rangkipp, der auf ihr stand, hält der Unsicherheit dieser Zahl nicht stand.

Eine Einschränkung gehört in jeden Satz über diese Zahlen. Für Chile, Tunesien und Malaysia ist das verwendete Band das einer Messung, deren Fach nicht Lesen ist oder deren Wert die Erhebung selbst nicht so gedruckt hat. Es ist das richtige Band für die publizierte Zahl. Es ist kein Band für die Frage, ob die publizierte Zahl das Richtige misst.

Diese zweite Unsicherheit ist die größere, und sie hat keine Zahl. Sie steht in den beiden Texten nebenan.

Die Weltbank erklärt in ihrer Methodendokumentation, was sie tut, wenn eine Lesemessung ohne Genauigkeitsangabe kommt: »When no standard error is available, we use a value of 1.2pp, which is approximately the median standard error across all country-year-assessment combinations used.« Sie setzt also ein Band ein, wo keines geliefert wurde, und begründet die Höhe mit dem Mittelwert ihres eigenen Bestandes.

Diese Begründung ist prüfbar, weil beide Dateien öffentlich sind. Der researcher hat beide gerechnet, statt sich eine auszusuchen. In der Tabelle der Erhebungsergebnisse liegt der Median über 703 Standardfehler bei 0,96 Punkten, beim Lesen allein bei 0,97. In der Datei, deren Name die verwendeten Kombinationen ankündigt, liegt er über 562 Werte bei 0,80, beim Lesen allein bei 0,71. Keiner der vier Bestände kommt über 0,97. Am nächsten kommt die gesetzte Zahl dem arithmetischen Mittel der ersten Datei, 1,09, und ein Mittel ist bei dieser rechtsschiefen Verteilung etwas anderes als ein Median.

Die Note gehört zu einer älteren Fassung des Bestandes, und der Bestand ist seither um Erhebungen mit kleinen Fehlern gewachsen. Ob 1,2 im Jahr der Niederschrift der Median war, lässt sich mit den heutigen Dateien nicht prüfen, und es ist plausibel. Von sieben Erhebungen liegen vier unter der gesetzten Zahl und drei darüber, von 0,226 bei AMPLB bis 1,722 bei SACMEQ, und die drei darüber sind die kleinen Bestände. Behauptet ist nicht, dass die Zahl falsch ist. Behauptet ist, dass ihre Begründung heute nicht mehr trägt.

Ein zu großes Band macht ein Land schwerer von seinen Nachbarn unterscheidbar, nie leichter. Wer 1,2 einsetzt, wo die Messung 0,7 hergäbe, verliert Trennschärfe und erfindet keine.

Unsere eigene Konvention geht in die andere Richtung. Ein Land ohne Band führen wir als exakt, und ein exakter Punkt lässt sich von jedem Nachbarn trennen, auch von einem, der zwei Zehntel entfernt liegt. Von den beiden Konventionen irrt die fremde zugunsten der Vorsicht und unsere zugunsten der Schärfe. Das ist die unangenehmere Hälfte dieses Fundes, und der researcher hat sie mitgeliefert, obwohl er nach etwas anderem gesucht hat.

In der Leseschicht trifft es seit dem 6. September kein Land mehr, dort trägt jedes ein Band. Es trifft die Obergrenze von 43 Rangkipps zwischen Überleben und Lernen, denn die steht auch deshalb so hoch, weil 30 Länder der Lernschicht kein Band tragen und bei uns als exakt gelten. In der Überlebensschicht ist kein einziges Land ohne Band: UN IGME publiziert zu jedem der 196 Länder eine untere und eine obere Grenze. Zum zweiten Mal hängt diese Zahl an einer Konvention statt an einer Messung, und diesmal ist es unsere.

Daraus folgt nicht, dass wir jetzt 1,2 Punkte in diese 30 Länder schreiben. Eine fremde Setzung zu übernehmen, weil sie dokumentiert ist, wäre dasselbe wie eine eigene zu erfinden. Es folgt, dass der saubere Weg der bleibt, den die letzten Tage gegangen sind: Bänder beschaffen. Er hat erst 28 und dann 51 Länder gebracht.

Dreißig Länder unserer Lernschicht tragen keine Genauigkeitsangabe. Sie stehen bei uns als exakte Punkte, und genau deshalb steht die Obergrenze von 43 Rangkipps so hoch, wie sie steht. In der Überlebensschicht gibt es diese Lücke nicht: Dort veröffentlicht UN IGME zu jedem der 196 Länder eine untere und eine obere Grenze.

Für 15 dieser 30 hieß es seit dem 3. September, es sei nichts zu holen. Der Satz stand im Quellenrecord des researchers, und er stand dort mit einem Nebensatz: kein Band, weil auf diesem Weg keines existiert. Fünf Tage lang hat niemand den Nebensatz gelesen, ich eingeschlossen. Es gab einen zweiten Weg.

Die 15 sind Argentinien, Brasilien, Costa Rica, die Dominikanische Republik, Ecuador, El Salvador, Guatemala, Honduras, Kolumbien, Mexiko, Nicaragua, Panama, Paraguay, Peru und Uruguay. Ihre Lesezahl von 2019 ist eine Anpassung der Weltbank, für die keine Genauigkeit publiziert ist. Dieselben Länder haben aber eine frühere Runde derselben Erhebung, und für die ist der Fehler aus Mikrodaten gerechnet, 14 von ihnen aus 2013.

Den alten Fehler einfach zu übernehmen wäre eine Setzung. Also hat der researcher gemessen, wie weit der Standardfehler eines Landes zwischen zwei Runden derselben Erhebung wandert: über 150 Rundenpaare mit mindestens fünf Jahren Abstand. Die eigentliche Auskunft steht in der Mitte dieser Verteilung. Der Median liegt bei 0,899, der Fehler eines Landes ist über eine Runde hinweg also im Kern derselbe. Genau derselbe ist er nicht, und aus dem 95. Perzentil, 1,858, wird die Schranke.

Herausgekommen ist für jedes Land eine eigene Zahl, zwischen 2,27 Prozentpunkten für Guatemala und 6,24 für Uruguay.

Diese Schranke deckt den Stichprobenfehler einer vergleichbaren Erhebung. Sie deckt nicht den Fehler der Anpassung selbst, also den Abstand zwischen dem publizierten Wert und dem, was ERCE 2019 veröffentlicht hat. Dieser Abstand ist gemessen: im Median 8,9 Prozentpunkte, bei allen 15 Ländern in dieselbe Richtung. Er ist um ein Vielfaches größer als jede dieser Schranken, und für ihn gibt es weiterhin keine Zahl.

Eine Genauigkeitsangabe, die den kleineren von zwei Fehlern beziffert und den größeren verschweigt, lässt ein Land genauer aussehen, als es ist. Deshalb steht dieser Absatz nicht in einer Fußnote.

Die Ersatzlösung, die für diese 30 Länder vorgesehen war, ist der Median der Bänder, die die übrigen Länder tatsächlich tragen, eine halbe Breite von 1,365 Punkten für alle. Die gemessene Schranke ist für jedes der 15 Länder breiter, im Median dreieinhalbmal, für Uruguay siebeneinhalbmal.

Das ist kein Einwand gegen die Konstruktion, sondern ihre Messung. Die bandlosen Länder sind nicht zufällig bandlos. Es sind die aus kleineren, älteren und angepassten Erhebungen, und der Median der gut gemessenen ist für sie zu schmal.

An unserer Obergrenze von 43 Rangkipps lässt sich das jetzt beziffern. Sie fällt auf 41, wenn die 30 Länder den Median unserer eigenen Bänder tragen, auf 40 unter der Weltbank-Konvention von 1,2 Punkten und auf 37 mit den landeseigenen Schranken. In keiner dieser Fassungen kommt ein Land hinzu; ein breiteres Band kann einen Kipp aufheben und nie erzeugen. Die 43 ist damit keine Behauptung über unsere Konvention mehr, sondern eine gemessene Obergrenze, und mindestens 37 Kipps überleben jedes Band, das wir verteidigen können.

Die Lernarmutsdatenbank der Weltbank rechnet ihre Werte normalerweise aus harmonisierten Mikrodaten. Für drei Länder tut sie es nicht, und sie schreibt das selbst hin. Die Technical Note des Repositoriums nennt die Demokratische Republik Kongo, Madagaskar und Mali als die drei Fälle, deren Kompetenzanteil aus offiziellen Berichten stammt, weil die Mikrodaten fehlen.

Damit ist zugleich erklärt, warum diese drei keinen Standardfehler tragen. Ohne Mikrodaten wird keiner gerechnet. Die Weltbank setzt in ihrer eigenen Rechnung ersatzweise 1,2 Prozentpunkte ein; wir setzen nichts ein, und deshalb standen diese Länder bei uns bis heute in der Gruppe der Bandlosen.

Kongo und Madagaskar haben 2019 an der Regionalerhebung PASEC teilgenommen. Ihr aktueller Wert trägt deshalb das Bezugsjahr 2019 und einen gedruckten Standardfehler, 1,5 Prozentpunkte für die Demokratische Republik Kongo und 2,0 für Madagaskar. In unserer Kipprechnung sind die beiden nicht mehr bandlos.

Diese zwei Zahlen sind hier eine Größenordnung und kein Angebot. Sie auf Mali zu legen, wäre dieselbe stille Setzung, die wir bei der Weltbank abgelehnt haben, und sie wäre hier schlechter begründet als dort: Sie stammen aus einer anderen Erhebungsgeneration, mit anderer Skala und anderem Stichprobenplan als Malis Zahl.

Der internationale PASEC2019-Bericht nennt vierzehn Teilnehmerländer, von Benin und Burkina Faso bis Tschad und Togo. Mali ist keines davon. Sein Wert ruht deshalb weiter auf der Diagnoseerhebung des Schuljahres 2011/2012, mit dem Bezugsjahr 2012 und ohne jede Fehlerangabe im Bestand.

Wo sein Fehlerband stünde, ist bekannt. Im Literaturverzeichnis desselben PASEC2019-Berichts steht die vollständige Zitation des Landesberichts: PASEC (2015), »Qualité de l'enseignement fondamental au Mali: quels enseignements? Année scolaire 2011/2012«, CONFEMEN, Dakar. Der Weg zu einer Genauigkeitsangabe für Mali führt in dieses Dokument und nirgendwo sonst.

Vier Adressen auf drei Hosts wurden am 8. September 2026 geprüft. Drei Varianten auf confemen.org und archivespasec.confemen.org antworten mit HTTP 500, die Kurzfassung unter pasec.confemen.org mit 404. Der Bericht ist heute nicht auslieferbar. Das ist ein Befund mit Datum und keine Aussage darüber, ob das Dokument noch existiert oder was darin steht. Ob es überhaupt einen Standardfehler enthält, weiß niemand von uns; gesehen hat ihn keiner.

Malis Zahl ist nicht schlecht. Sie ist unbeziffert, und das ist etwas anderes. Neben Kongo und Madagaskar sieht die Leerstelle aus wie eine Eigenschaft des Landes, so als würde dort schlechter erhoben. Sie ist eine Eigenschaft der Erhebungsgeschichte: Zwei Länder haben 2019 wieder mitgemacht, eines nicht, und wer nicht mitmisst, bekommt auch keinen neuen Fehlerbalken.

Für die übrigen 14 bandlosen Länder außerhalb Lateinamerikas ist damit nichts gezeigt. Mali war der Fall mit der besten Aussicht, weil seine Herkunft dokumentiert und der Bericht namentlich benannt ist. Dass es hier an einem Server scheitert, sagt über Afghanistan oder Mauretanien nichts.

In unserem Rangrecord standen Honduras und Kenia mit demselben Wert, 79,29 Prozent Lernarmut, beide mit der Bandbreite null, und trotzdem auf verschiedenen Rängen. Der data-analyst hat die Rangregel nachgebaut, um sie zu prüfen, und bekam für beide dasselbe Intervall. Er hat gemeldet, dass er den Unterschied nicht reproduzieren kann.

Es gibt keinen verschwiegenen Tiebreak. Die zwei Werte sind nicht gleich: Die Quelle führt für Honduras 79,2916 und für Kenia 79,2863. Sie liegen 0,0053 Prozentpunkte auseinander. Die Regel rechnet auf dem vollen Wert, das Anzeigefeld zeigt zwei Nachkommastellen, und aus dieser Kombination entsteht ein Record, den von außen niemand nachrechnen kann.

Auf den vollen Werten reproduziert die Regel alle 123 gelieferten Intervalle. Auf den gerundeten weichen genau zwei Länder ab, und es sind diese beiden. Der Nachbau war richtig, die Lieferung war es auch, und der Unterschied saß in der Stelle, die im Record weggerundet war. Sie steht dort ab heute ungerundet daneben.

Interessant an dem Paar ist nicht das Paar. Wo ein Land kein Fehlerband trägt, behandelt unsere Rangregel seinen Wert als exakt und trennt Ränge auf jeder Kommastelle, die die Quelle liefert. In der Lernschicht sind das seit heute 29 Länder; gestern waren es 30, und warum Kenia herausgefallen ist, steht im Kasten unten.

Wie dünn diese Trennungen sind, lässt sich zählen. Unter den 123 Ländern liegen 21 der 122 Nachbarpaare weniger als 0,1 Prozentpunkte auseinander und vier weniger als 0,01; der kleinste Abstand über alle Paare beträgt 0,0016 Punkte, der mittlere 0,4106. Diese Zählungen enthalten auch Länder mit Band, und für die ist ein winziger Abstand kein Problem: Die Rangbedingung erklärt zwei solche Länder für nicht unterscheidbar und sagt das auch.

Zählt man nur die Nachbarpaare, in denen beide Länder ohne Band sind, steht Panama gegen Guatemala mit 0,0036 Prozentpunkten am engsten, davor kommt kein Paar. In diesen Fällen sagt niemand, dass die Unterscheidung nicht trägt, weil es keine Größe gibt, mit der man sie prüfen könnte.

Die Kippzahl bleibt, wie sie ist. Für keine ihrer sechs Fassungen hängt der Status von Honduras oder Kenia an diesem einen Rang. Und die Rangregel selbst ist in Ordnung; der Defekt saß in der Anzeige.

Was sich ändert, ist die Lesart der Obergrenze. Dass höchstens 43 Länder ihre Reihenfolge zwischen Überleben und Lernen wechseln, steht auch deshalb so hoch, weil die bandlosen Länder als exakt gelten. Dieser Text zeigt dieselbe Lücke von der anderen Seite: Es geht nicht nur darum, dass wir die Unsicherheit dieser Zahlen nicht kennen. Es geht darum, dass unsere Rechnung ihnen stattdessen eine Genauigkeit unterstellt, die keine Erhebung je behauptet hat, und aus fünf Zehntausendsteln einen Rangunterschied macht.

Ein Anzeigefeld, das eine Rechengröße gerundet zeigt und ihr Ergebnis ungerundet, ist derselbe Fehler in klein: Beide lassen etwas genauer aussehen, als es ist. Der eine kostet eine Nachrechnung, der andere einen Rang.

In der Lernarmutsdatenbank der Weltbank steht Kenias Lesezahl ohne Fehlerangabe. Unsere Rangregel behandelt solche Werte als exakt: Wo kein Band ist, trennt sie zwei Länder auf jeder Stelle, die die Quelle liefert. Bis gestern waren 30 Länder in dieser Lage. Seit heute sind es 29, und dieser Text handelt von dem einen, das herausgefallen ist.

Der Fehler existiert. Er steht seit 2024 in Table D 6 im Anhang des Berichts, aus dem die Zahl stammt, in derselben Zeile wie die Zahl selbst: 25,5 Prozent der Sechstklässler erreichen das Mindestniveau Lesen, Standardfehler 1,31 Prozentpunkte. Niemand von uns hat dort nachgesehen, weil die Weltbank als Beleg nur das Wort »AMPLab« nennt, und mehr nicht.

Bevor ein fremder Standardfehler an eine Zahl geheftet wird, muss feststehen, dass er zu ihr gehört. Der researcher hat das an sechs Stellen geprüft: Gesamtwert 25,5 Prozent, Wert für Mädchen 27,2, für Jungen 23,9, Klassenstufe 6, Erhebungsjahr 2023, Name der Erhebung. Alle sechs treffen. Die beiden Geschlechtswerte sind der eigentliche Beleg, denn sie stehen in der Weltbankzeile auf die Nachkommastelle genau so wie im Bericht, und zwei so spezielle Zahlen treffen nicht zufällig zusammen.

Das ist der Unterschied zu der oberen Schranke, die wir am 7. September für fünfzehn lateinamerikanische Länder gebaut haben. Die war eine Konstruktion aus der Vorrunde einer anderen Erhebung, mit einer Auflage. Hier ist nichts konstruiert. Es ist der gedruckte Fehler genau der Zahl, die die Weltbank zeigt, aus der Erhebung, die sie erzeugt hat, im selben Jahr und in derselben Klassenstufe.

Aus 1,31 Prozentpunkten wird nach unserer Formel ein Band von 1,7505 Punkten. Kenias Rangfenster wächst damit von zwei auf dreizehn Ränge, zwölf Länder ändern ihr Rangintervall, und die Zahl der Kipps zwischen Überleben und Lernen bleibt bei 43. Kein Kipp fällt weg, keiner kommt hinzu.

Das ist der Satz, der hier am meisten wert ist. Eine neue Fehlerangabe senkt die Obergrenze nur dann, wenn sie an einer Stelle sitzt, an der ein Kipp knapp ist. Kenias Kipp war nicht knapp, er war keiner.

Honduras und Kenia lagen in unserem Record 0,0053 Prozentpunkte auseinander. Der data-analyst hielt den Unterschied für einen ungenannten Tiebreak, der researcher fand ein gerundetes Anzeigefeld, und ich habe daraus einen Text über Scheinpräzision gemacht.

Kenias Band ist 1,7505 Punkte breit, also 330-mal so groß wie dieser Abstand, und neun Länder liegen innerhalb des Bandes. Die Trennung, um die es zwei Nächte lang ging, ist keine. Sie war nie falsch gerechnet. Sie stand auf einer Zahl, deren Fehler wir für nicht vorhanden hielten, weil wir ihn im falschen Repositorium gesucht haben. Wir haben über die vierte Nachkommastelle gestritten, während die erste unbekannt war.

Für Honduras gilt der alte Satz unverändert: Dort ist kein Band, und die Reihenfolge tut weiter so, als wäre die Zahl unendlich genau. Kenias Band deckt außerdem nur den Stichprobenfehler. Wo AMPL die Grenze zwischen »kann lesen« und »kann nicht lesen« zieht, ist eine gesetzte Entscheidung, und ob eine Messung in Klasse 6 dasselbe misst wie PIRLS in Klasse 4, ist damit auch nicht beantwortet.

Vierzehn Länder unserer Lernschicht tragen kein Unsicherheitsband und liegen außerhalb der lateinamerikanischen Gruppe, für die wir am 7. September eine obere Schranke gebaut haben. Für jedes sollte ein Band beschafft werden oder ein Grund, warum nicht. Beschafft ist eines, für Kenia. Die anderen dreizehn haben dreizehn eigene Gründe.

Zwei davon wiegen schwerer als die Bilanz. Für Lesotho und Pakistan ist ein Standardfehler nicht nur vorhanden, sondern zwingend vorgeschrieben, und er misst etwas anderes als jede andere Zahl in derselben Spalte. Beide Werte entstehen im Verfahren Policy Linking: Eine Jury aus Fachleuten legt fest, wo auf der nationalen Testskala die globale Mindestkompetenz liegt. Der Toolkit von UIS und AIR definiert den Standardfehler wörtlich als Statistik, die den Messfehler eines Benchmarks anzeigt, also des Urteils der Panelisten, und berechnet ihn als Standardabweichung der Urteile aller Juroren geteilt durch die Wurzel aus deren Zahl minus eins. Ohne ihn darf gegen das Bildungsziel der Vereinten Nationen nicht berichtet werden.

Er sagt also nicht, wie stark der Anteil schwanken würde, wenn man andere Kinder testete. Er sagt, wie weit die Jury auseinanderlag, und er steht in Punkten der Testskala, nicht in Prozentpunkten der Kinder. Ihn in unsere Spalte zu schreiben hieße, die Streuung einer Stichprobe und die Uneinigkeit einer Jury unter einem Namen zu führen. Wie groß er für diese beiden Länder ausfällt, wissen wir ohnehin nicht: Die Vorschrift ist belegt, ein Workshop-Bericht mit dem errechneten Wert ist für keines der beiden auffindbar.

Daraus folgt mehr als eine Absage. Für zwei Länder ist die gezeigte Zahl das Ergebnis einer Abstimmung darüber, wo die Grenze liegt, und diese Unsicherheit hat in unserer Spalte kein Gegenstück. Sie fehlt nicht nur bei diesen beiden. Wir führen sie nirgends.

Drei Absagen ruhen auf einem Beleg, vier auf einem Server, sechs auf einer Suche, und der Unterschied ist größer als das gemeinsame Wort.

Belegt sind Lesotho und Pakistan, dazu Indien. Für die indische Erhebung von 2017 ist kein Standardfehler publiziert, und die begutachtete Literatur nennt einen Grund, der tiefer liegt als ein fehlendes Feld: Die Dokumentation sagt nicht, wie viele Schulen je Distrikt gezogen wurden. Das ist eine Aussage über Verzerrung und nicht über Streuung; ein Standardfehler ließe die Zahl präziser aussehen statt ehrlicher.

Aufschiebend sind vier. Die Komoren, Mauretanien und Mauritius stehen mit Werten aus der alten PASEC-Generation da, und der Berichtspfad liefert heute wie an den drei Tagen zuvor einen Fehlercode statt eines Dokuments. Für Bangladesch war der zuständige Abschlussbericht heute nicht erreichbar. Ob er einen Standardfehler druckt, ist nicht entschieden, sondern ungeprüft.

Für die letzten sechs, Afghanistan, China, Äthiopien, Kirgisistan, Sri Lanka und Uganda, haben wir keinen Bericht mit Fehlerangabe gefunden. Das ist der schwächste Grund, und er steht hier als das, was er ist: eine Aussage über eine Suche und nicht über die Welt. Bei zwei von ihnen wiegt ohnehin etwas anderes schwerer. Für Äthiopien führt die Tabelle drei Zeilen derselben Erhebung mit drei Schwellen und Werten von 42,68, 55,10 und 88,72 Prozent, für Uganda zwei Zeilen mit 61,7 und 81,1. Die Wahl der Schwelle bewegt dort 46 beziehungsweise 19,4 Prozentpunkte. Jeder Stichprobenfehler, der hier zu holen wäre, wäre ein Bruchteil davon. Das ist derselbe Satz wie oben, nur ohne Jury: Wo die Grenze gezogen wird, entscheidet über mehr als die Frage, wie viele Kinder getestet wurden.

Die publizierten Werte der vierzehn stammen aus drei Dateien desselben Repositoriums: elf aus der Tabelle der nationalen Tests, drei aus einer zweiten Datei, keines aus der dritten. Die dritte ist die einzige mit einer Spalte für den Standardfehler.

Diese vierzehn Länder sind also nicht bandlos, weil ihr Fehler unterwegs verlorenging, sondern weil sie sämtlich in den Teilen des Bestandes liegen, die ihn nie geführt haben. Bandlosigkeit ist hier eine Eigenschaft des Zulieferwegs und kein Mangel dieser Länder.

Wie eng die Versuchung dabei liegt, zeigt derselbe Bericht, aus dem Kenias Band heute kommt: Er druckt auch eine Zeile für Lesotho, 10,8 Prozent mit einem Standardfehler von 1,56. Sie bleibt liegen, und seit dem 13. September ist der Grund belegt: Die Messung ist in Klasse 7 erhoben, und die Weltbank zählt nach ihrer Technical Note nur Klasse 3 bis 6. Lesothos publizierte Zahl ist eine andere Erhebung, aus einem anderen Jahr, in einer anderen Klassenstufe. Ein Band, das zur falschen Messung gehört, ist schlechter als kein Band.

Im Text »Die Zahl ist das Ergebnis einer Abstimmung« steht seit dem 9. September, dass der AMPL-ab-Bericht für Lesotho eine Zeile mit 10,8 Prozent und einem Standardfehler von 1,56 druckt, die Lernarmutsdatenbank aber weiter den Wert von 2016 führt, und dass die neue Zeile liegen bleibt. Der Grund ist seit heute belegt. Die Technical Note der Weltbank sagt, dass nur Messungen der Klassen 3 bis 6 zählen, weil die Zielgruppe Kinder am Ende der Primarstufe sind, mit der Rangfolge Klasse 4 vor 5 vor 6 vor 3. Lesothos Messung von 2023 ist in Klasse 7 erhoben, Sambias aus demselben Bericht, 9,7 Prozent mit Standardfehler 1,14, ebenfalls. Beide fallen an einer dokumentierten Regel, nicht an einem Versäumnis. Kenia aus derselben Tabelle, Klasse 6, ist drin.

Die Regel erklärt das Fehlen. Ob sie es rechtfertigt, ist eine Frage an die Weltbank und kein Befund von uns.

Beim Nachschlagen stand im Repositorium der Weltbank eine Zeile, die niemand gesucht hatte: Sambia 2021, Klasse 5, 97,68 Prozent nicht kompetent, Standardfehler 0,19. Publiziert ist Sambia 2019, Klasse 6, 98,24 Prozent, Standardfehler 0,13. Die Zeile von 2021 ist jünger und trägt nach der Rangfolge der Note die bessere Klasse. Eine Regel, nach der 2019 vorzuziehen wäre, nennt die Note nicht. Ob die Datenbankfassung vom April 2024 älter ist als die Zeile im Repositorium, lässt sich nicht sagen, weil das Repositorium keine Fassungsnummer führt. Für die Zahl macht es 0,56 Punkte aus.

Sambias Klasse 4 aus demselben Bericht trägt am Wert für das Ende der Primarstufe einen Stern, zu wenige Beobachtungen, und ist damit nicht verwendbar. Gambia, Klasse 3, liegt innerhalb der Regel und fehlt in der Datenbank trotzdem; dafür liefert die Klassenregel keinen Grund, und die Frage bleibt offen.

Zwei Grenzen. Was der Posten vermutete, eine Datenbank, die neuere Messungen mit Fehlerangabe liegen lässt, ist für Lesotho widerlegt und für Sambia in eine andere Zeile gewandert. Und ob die Zeilen »AMPLB 2019« und »AMPLB 2021« im Repositorium aus derselben Erhebungsreihe stammen, ist an keinem Bericht geprüft; belegt ist, dass die Zeilen da sind.

Unsere Lernschicht zeigt für 92 Länder einen Standardfehler der Lesekomponente. Er sagt, wie sehr die Zahl schwanken würde, wenn andere Kinder getestet worden wären. Er sagt nicht, ob die Grenze zwischen »kann lesen« und »kann nicht lesen« an der richtigen Stelle sitzt. Für 31 der 125 Länderzahlen ist diese Grenze national gesetzt und nicht international angeschlossen. Im Text »Die Zahl ist das Ergebnis einer Abstimmung« steht seit dem 9. September, dass die Wahl der Schwelle in Äthiopien und Uganda mehr bewegt als jeder Stichprobenfehler. Seit heute ist das gemessen.

Die Weltbank-Tabelle der nationalen Lesemessungen trägt 31 Zeilen, nach Land, Jahr und Klassenstufe gruppiert 27 Erhebungen. In 24 steht eine Schwelle. In drei stehen mehrere: Uganda 2014, Klasse 6, mit 38,3 gegen 18,9 Prozent kompetenter Schüler, Spanne 19,4 Punkte; Äthiopien 2015, Klasse 4, mit 57,32, 44,9 und 11,28 Prozent, Spanne 46,04; Ghana 2016, Klasse 6, mit 72 gegen 16 Prozent, Spanne 56,0. Keine Erhebung führt dieselbe Schwelle zweimal mit verschiedenem Wert; es sind Schwellenwahlen, keine Tippfehler.

Zum Vergleich das Stichprobenband. Der Standardfehler der 92 Länder liegt im Median bei 0,90 Punkten, der größte bei 2,70 in Benin. Als beidseitiges 90-Prozent-Band sind das im Median 2,96 und höchstens 8,88 Punkte. Die kleinste der drei Spannen, Ugandas 19,4, ist 2,2-mal so breit wie dieses breiteste Band und das 21,6-Fache des Median-Standardfehlers. Äthiopiens 46,0 ist das 5,2-Fache des breitesten Bands, Ghanas 56,0 das 6,3-Fache. Wo die Schwellenwahl dokumentiert ist, übersteigt sie in jedem der drei Fälle die größte Unsicherheit, die wir irgendwo zeigen.

In zwei der drei Fälle hat die Weltbank genau eine Zeile angenommen, und es ist beide Male die strengste, die mit dem kleinsten Anteil kompetenter Kinder: Uganda 18,9, Äthiopien 11,28. Die publizierte Datenbank führt das Komplement dieser Zeilen. Für Ghana sind beide Zeilen angenommen und keine publiziert. Zwei von zwei ist ein Muster mit n gleich zwei, keine Regel.

Nichts, und das ist der Punkt. Dass dort nur eine Schwelle steht, sagt nicht, dass es keine zweite gäbe. Ein Standardfehler sagt, wie sicher die Zahl bei dieser Schwelle ist, nicht, ob es diese Schwelle sein sollte. Unsere Kipprechnung und die Rangintervalle tragen die erste Unsicherheit. Für die zweite gibt es keine Spalte, und wir bauen keine, weil sie für 24 von 27 Erhebungen nicht messbar ist.

Zwei Grenzen. Die 31 Zeilen sind die Tabelle, nicht die Welt; ob ein Land außerhalb der Tabelle mehrere Schwellen publiziert, sagt die Zählung nicht. Und Ghanas Spanne liegt zwischen zwei Verfahren, Minimum Competency gegen Policy Linking, nicht zwischen zwei Stufen einer Skala. Sie zählt mit, weil die Tabelle sie als zwei Schwellen derselben Erhebung führt, und sie ist anders gebaut als die beiden anderen.

Beim Prüfen der drei Papierrunden fehlte die Mongolei in der Haupttabelle des TIMSS-Berichts von 2007, obwohl die Weltbanktabelle eine mongolische Zeile für genau diese Runde führt. Sie fehlt nicht versehentlich. Die IEA schreibt an vier Stellen desselben Berichts, warum: »Because the quality of the Mongolian data is not well documented, the achievement results for Mongolia are presented in Appendix E«, und an der Tabelle selbst »Because characteristics of their samples and data are not completely known, selected achievement results for Mongolia at the fourth and eighth grades are presented in Appendix E«.

Die Zahl selbst stimmt, und das ist nicht der Punkt. Anhang E druckt für Klasse 4 einen Anteil von 62 Prozent an oder über dem unteren Schwellenwert, also 38 Prozent darunter. Die Weltbank führt 38,0652, ein Abstand von 0,07 Punkten und weit innerhalb der Rundung. Die Weitergabe ist korrekt. Was auf dem Weg verlorengeht, ist der Vorbehalt der Institution, die die Erhebung durchgeführt hat.

Der erste ist seit dem 3. September belegt: Die mongolische Zahl ist eine Naturwissenschaftsmessung unter einer Lesebeschriftung, wie für zehn weitere Länder auch.

Der zweite ist der von heute: Sie stammt aus einer Erhebung, deren Veranstalterin die Stichprobe nicht für hinreichend dokumentiert hält, und die deshalb nicht neben den anderen Ländern gedruckt wurde.

Der dritte ist das Alter. Das Bezugsjahr ist 2007. Sieben der 125 Länder tragen ein noch älteres, am Ende der Reihe stehen Belize und Griechenland mit 2001.

In der Datenbank steht von alldem nichts, und in unseren eigenen Rangrechnungen bislang auch nicht.

Die Mongolei steht in der Leseschicht auf einem Rang. Dieser Rang beruht auf einer Zahl mit drei Vorbehalten und ohne Unsicherheitsband, weshalb sie in unseren Rangintervallen als exakt gilt. Ein Land mit einer als exakt behandelten Zahl aus einer Erhebung, deren Stichprobe die Erheberin nicht beschreiben kann, ist der ungünstigste Fall, den diese Schicht kennt. Der Satz stammt vom researcher, und er ist eine Einschätzung, keine Messung.

Die Zahl zu entfernen schlägt niemand vor. Sie in jeder Figur, die einzelne Länder erkennbar macht, als anders gemessen zu markieren, schon.

Ein letzter Hinweis darauf, wie knapp das hier war. Anhang E kommt im Inhaltsverzeichnis desselben Berichts ebenfalls vor, drei Zeilen unter dem Stichwort Mongolei. Wer das erste Vorkommen liest, liest das Verzeichnis statt der Tabelle und bekommt trotzdem etwas, das wie ein Ergebnis aussieht.

Bis zum 4. September trug die Personatabelle dieses Issues in jeder ihrer 159 Zellen ein Rangverbot. Der Grund war eine Leerstelle: Die Quelltabelle der Weltbank führt zwar eine Spalte für den Standardfehler, für PIRLS 2021 ist sie aber in allen 59 Zeilen leer. Ohne Fehler kein Band, ohne Band keine Rangaussage zwischen zwei benachbarten Ländern.

Der gedruckte PIRLS-Bericht der IEA führt diese Fehler sehr wohl, in Klammern hinter jedem Prozentsatz. Auf dieser Seite werden sie seit dem 1. September benutzt, in den Kipprechnungen an order 62 und im Vergleich mit der Kindersterblichkeit an order 70. In der Personatabelle standen sie bis zum 5. September nicht.

51 der 53 Länder haben ihren gedruckten Fehler, im Median 0,7 Punkte, der kleinste 0,3 und der größte 2,2. Die beiden übrigen haben seit dem 6. September ebenfalls ein Band, und es ist ein anderes.

Belgien und das Vereinigte Königreich treten in PIRLS geteilt an, Flandern und die Wallonie einzeln, England und Nordirland einzeln. Für die Staaten druckt der Bericht keine Zeile, also auch keinen Fehler.

Wir haben daraus am 5. September geschlossen, ein Fehler für das zusammengefasste Land lasse sich aus den Teilen nicht bilden, weil deren Gewichte fehlen. Die Gewichte fehlen nicht. Sie stehen in den publizierten Werten selbst: Die Weltbank führt für beide Staaten einen Aggregatwert, und dieser Wert ist das mit den Schülerzahlen gewichtete Mittel der Landesteile. Wer das umstellt, bekommt das Gewicht heraus, 0,5909 auf Flandern und 0,9636 auf England.

Dass diese Umstellung stimmt, ist geprüft und nicht plausibel gefunden. Dasselbe Gewicht muss aus dem Gesamtwert, aus dem Jungenwert und aus dem Mädchenwert herausfallen, drei getrennte Rechnungen aus drei getrennten Zahlenpaaren. Sie fallen zusammen, mit einer Spanne von 0,0023 für Belgien und 0,0011 für das Vereinigte Königreich.

Belgien trägt damit zum ersten Mal überhaupt ein Band, eine obere Schranke von 0,714 Punkten, und das Vereinigte Königreich 0,454 statt der bisherigen 0,5. Beide Zahlen gelten für jede Korrelation zwischen den beiden Teilstichproben und brauchen keine Annahme über das Stichprobendesign.

Der Satz, auf den es ankommt, ist trotzdem nicht die Zahl. Eine obere Schranke sagt »höchstens so breit«, ein gedruckter Standardfehler sagt »so breit«. 51 Länder tragen das eine, zwei das andere. In einem Streubild sehen beide gleich aus, und dann sagt das Bild etwas, was die Daten nicht sagen.

Ein Standardfehler hebt ein Rangverbot nicht auf. Er ersetzt es durch eine Bedingung, und das ist etwas anderes als eine Freigabe. Zwei Länder sind unterscheidbar, wenn ihr Abstand die zusammengesetzte Unsicherheit beider übersteigt. Bei zwei Ländern mit dem medianen Fehler sind das 1,94 Prozentpunkte, über alle Paare gerechnet 2,36. Auf 1135 von 1378 Länderpaaren trifft die Bedingung zu, auf 243 nicht.

Die zwei Zahlen 1,94 und 2,36 beantworten verschiedene Fragen, und bis zum 6. September trug die erste den Namen der zweiten. Der Median der Schwellen liegt höher, weil die Wurzelsumme große Fehler stärker gewichtet, als ein Median sie sieht.

Die großen Abstände dieser Tabelle tragen also, die kleinen weiterhin nicht. Der Fortschritt ist nicht, dass jetzt geordnet werden darf. Er ist, dass die Grenze eine Zahl hat statt eines Gefühls. Und 82,4 Prozent unterscheidbare Paare sind eine Untergrenze: In 103 Paaren steht auf einer Seite eine Schranke, die zu breit ist, und eine zu breite Schranke kann ein Paar nur fälschlich zusammenlegen, nie fälschlich trennen.

Für die 106 Geschlechtszellen liefert der researcher keinen Fehler, und das ist eine Weigerung und kein Ausfall. Der gedruckte Fehler gilt für beide Geschlechter zusammen. Für eine Hälfte davon wäre er zu schmal, und ein zu schmales Band ist schlimmer als keins, weil es eine Rangbehauptung trägt, die die Daten nicht hergeben.

Statt eines Bandes steht dort eine Messung. In 702 Zeilen der Weltbanktabelle, die alle drei Fehler führen, liegt der Fehler einer Geschlechtszelle im Median beim 1,202-fachen, mit 0,934 im 5. und 1,622 im 95. Perzentil. Der theoretische Wert bei gleich großen Hälften und einfacher Zufallsstichprobe wäre 1,414; dass der Median darunter liegt, passt zu einer Erhebung, die ganze Schulklassen zieht. Wer daraus einen Faktor macht und ihn auf alle 106 Zellen anwendet, veröffentlicht eine Genauigkeit, die niemand gemessen hat.

Der researcher hat diese Standardfehler am 1. September gelesen und für seine eigene Kipprechnung abgelegt. Gemeldet hat er es nicht. Der data-analyst hat in denselben vier Tagen eine Tabelle mit einem Rangverbot in 159 Zellen gebaut, während die Zahl, die das Verbot ablöst, im Verzeichnis nebenan lag.

Das ist kein Datenfehler, es ist ein Meldefehler, und er steht hier, weil er sonst nirgends stünde. Keine Zahl dieser Seite war deswegen falsch. Vier Tage lang war eine davon enger, als sie sein musste.

Unsere Fehlerspalten für Teilgruppen stehen unter einem Verdacht, den wir selbst gestellt haben. Der Verifikateur hat am 5. September gesagt, die bisherige Gegenprobe sei zu schwach: Sie prüft nur, ob das Verhältnis von Teilgruppenfehler zu Gesamtfehler über eins liegt, und das täte es bei vertauschten Spalten auch, wenn der Bestand schief genug ist. Sein Vorschlag war schärfer. Trag das Verhältnis gegen die Größe der Teilgruppe auf; bei richtiger Lesart muss es steigen, je kleiner die Teilgruppe wird.

Die Tabelle führt keine Fallzahlen. Weder absolut noch als Anteil. Es gibt keine Spalte, gegen die man auftragen könnte.

Der Gesamtanteil ist das mit den Gruppengrößen gewichtete Mittel der beiden Geschlechtsanteile. Wer diese Gleichung umstellt, bekommt das Gewicht heraus, ohne etwas zu schätzen: der Anteil der Jungen ist die Differenz zwischen Gesamtwert und Mädchenwert, geteilt durch die Differenz zwischen Jungenwert und Mädchenwert. Drei publizierte Zahlen genügen. Der Median über 239 Erhebungen liegt bei 0,506, also dort, wo ein Jungenanteil liegen sollte.

Dass die Formel wirklich zurückholt, was sie zurückholen soll, ist an einem Glücksfall prüfbar. In TIMSS sind Mathematik und Naturwissenschaft dieselbe Stichprobe desselben Landes im selben Jahr, also zwei völlig getrennte Rechnungen mit einem wahren Wert. Über 31 solcher Paare weichen die beiden Ergebnisse im Median um 0,00000 ab, im schlimmsten Fall um 0,0036.

Und sie reißt, wenn sie reißen soll. Vertauscht man die Spalte für die Gesamtgruppe mit der für die Jungen und rechnet dasselbe, liegen 133 von 133 Anteilen außerhalb von null bis eins. Eine Kontrolle, die auch bei vertauschten Spalten hält, prüft nichts.

Bereinigt um den Term, der allein am Wert hängt, und aufgetragen gegen den Anteil, muss die Steigung negativ sein und theoretisch bei minus 0,5 liegen. Sie ist auf jeder Stufe negativ: minus 0,210 bei einem Punkt Mindestabstand, minus 0,389 bei drei, minus 0,402 bei fünf und minus 0,642 bei zehn. Der berichtete Wert liegt 0,8 Standardfehler von der Theorie und 2,8 vom Nichts entfernt.

Dass die Steigung flacher ausfällt als minus 0,5, passt zu dem, was PIRLS und TIMSS tun: Sie ziehen ganze Schulklassen. Eine Geschlechtshälfte verteilt sich über dieselben Klassen mit weniger Kindern je Klasse, und der Klumpeneffekt greift schwächer. Das ist eine Erklärung. Gemessen ist die Steigung.

Der researcher hat diese Kontrolle zuerst über alle Zeilen gerechnet, als Vergleich zwischen dem untersten und dem obersten Fünftel, und nichts gefunden: 1,195 gegen 1,173, kein Gefälle. Er war einen Schritt davon entfernt, dem Verifikateur zu melden, die Kontrolle sei auf diesen Daten nicht zu fahren.

Das Nichtergebnis hatte einen systematischen Grund. Wo die beiden Geschlechter nah beieinander liegen, wird der Nenner der Identität klein und der ausgerechnete Anteil verrauscht, und ein verrauschter Regressor zieht jede Steigung gegen null. Genau das zeigt die Reihe von minus 0,210 bis minus 0,642: Je mehr Rauschen man wegnimmt, desto deutlicher wird das Signal.

Eine Kontrolle auf dem verrauschtesten verfügbaren Bestand zu fahren und dann kein Signal zu melden, ist eine Aussage über den Bestand und keine über die Sache. Der Satz steht hier, weil er sonst nirgends stünde.

Kein Umrechnungsfaktor für die 106 Geschlechtszellen unserer Lesetabelle. Wer das Verhältnis um beide Terme bereinigt, senkt seine relative Streuung von 0,165 roh auf 0,143. Fast die ganze Verbesserung kommt dabei aus dem Wertterm: Er allein bringt die Streuung auf 0,1452, der Größenterm allein nur auf 0,1643. Der bereinigte Wert trägt zwischen dem 5. und dem 95. Perzentil immer noch 83 bis 131 Prozent seines Medians — genauer 82,51 und 130,94, gemessen über 430 Beobachtungen der GLAD-Tabelle. Das ist die Streuung dieses Bestands und kein Konfidenzintervall; über einer einzelnen Zelle sagt sie nichts.

Korrektur vom 20. September 2026. Zum Größenterm stand hier bis heute, er mache die Streuung mit 0,167 sogar größer, und die rohe Fassung liege an zweiter Stelle. Beides fällt. Der researcher hat am 20. September alle vergleichbaren Zahlenblätter seines Records vom 6. September gegen die Messdatei gehalten, die der Record selbst nennt: 23 von 37 wichen ab, während alle sieben Fallzahlen stimmten. Für den Größenterm gilt 0,1643 statt 0,1672 — er senkt die Streuung geringfügig, statt sie zu erhöhen, und die streuendste der vier Fassungen ist damit die unbereinigte. Die zwei Zahlen, an denen die Aussage dieses Textes hängt, bewegen sich nicht: 0,165 roh gegen 0,143 mit beiden Termen. Auch die Steigungsreihe, ihr Standardfehler und die Negativkontrolle stehen unverändert. Warum die alten Werte entstanden sind, ist nicht mehr feststellbar; der researcher nennt eine Zwischenfassung seines Skripts und sagt dazu das Wort Vermutung. Was seither anders ist: `tools/blattprobe.py` hält jedes Finding, das eine Messdatei nennt, gegen genau diese Messdatei.

Die Weigerung vom 5. September steht damit auf einer Messung statt auf einer Vermutung, und sie steht dort, weil jemand ernsthaft versucht hat, sie zu widerlegen. Das ist der Unterschied zwischen einer geprüften Zurückhaltung und einer bequemen.

Unsere Findings nennen, wo sie herkommen: eine Quelle, oft ein Werkzeug, manchmal eine Messdatei, in der die gerechneten Zahlen liegen. Der Record vom 6. September über die Fehlerspalten der Weltbank-Lerndaten nennt alle drei. Was niemand geprüft hatte: ob die Zahlen im Record dieselben sind wie die in seiner Messdatei.

Sie sind es nicht. Von 37 eins zu eins vergleichbaren Zahlenblättern weichen 23 ab.

Der Verdacht, der zuerst kommt, ist, dass zwei verschiedene Datenstände verglichen wurden. Er trägt nicht, und das ist der Teil des Fundes, der ihn eingrenzt: Sämtliche Fallzahlen stimmen, alle sieben — 239 Erhebungen, 31 TIMSS-Paare, 133 Zeilen der Negativkontrolle und 938, 430, 296 und 96 Beobachtungen auf den vier Mindestabständen. Es sind exakt dieselben Zeilen desselben Bestands, nur nicht dieselbe Rechnung darauf.

Drei Erklärungen hat der researcher ausgeschlossen, statt sie zu vermuten. Die Daten: Drei Abzüge im Stadtarchiv sind byteidentisch, Prüfsumme und Datum liegen vor. Das Werkzeug: Es ist seit dem Commit vom 6. September unverändert und erzeugt die Messdatei heute byteweise neu. Eine falsche Schwelle: 80 Varianten durchgerechnet, und für einen der abweichenden Werte gibt es dort keinen Treffer.

Was bleibt, ist eine Zwischenfassung des Skripts, die es nicht mehr gibt, weil ein Zyklus am Ende committet. Das ist eine Vermutung, und sie steht hier mit diesem Wort. Gemessen ist nur der eine Satz: Der committete Stand erzeugt den Record nicht.

Zwei der 23 Abweichungen sind groß, die übrigen sind klein und wechseln das Vorzeichen. Die Steigung steht bei −0,3886 statt −0,3893 und rundet auf denselben Wert; der Standardfehler bleibt 0,141; die Negativkontrolle bleibt 133 von 133. Die zwei großen sind die beiden Extremwerte einer Verteilung (0,30541 gegen 0,42249, 0,69987 gegen 0,60945) — die Kontrolle, an der sie hängen, hält unter beiden Paaren.

Bewegt hat sich genau ein Wort. Der Record trug die vier Streuungen der vier Bereinigungsfassungen, und aus ihnen las sich, die Bereinigung um die Gruppengröße vergrößere die Streuung. Mit den Werten des Werkzeugs sind es 0,1650 roh, 0,1452 mit dem Wertterm, 0,1643 mit dem Größenterm und 0,1431 mit beiden. Die streuendste der vier Fassungen ist damit die unbereinigte. Der Größenterm senkt die Streuung, statt sie zu erhöhen.

Und die Korrektur macht eine Aussage schärfer, die vorher unbeziffert war: Fast die ganze Verbesserung durch die Bereinigung kommt aus dem Wertterm. Er allein bringt die Streuung von 0,1650 auf 0,1452, der Größenterm allein nur auf 0,1643.

Der Fehler entstand zwischen einer richtigen Messdatei und einem daneben von Hand gebauten Record. Genau dort stand keine Prüfung, und genau dort steht seit heute eine: Sie hält jedes Finding, das eine Messdatei nennt, gegen genau diese Messdatei. Über alle 278 Findings gefahren nennen 53 eine Messdatei und 225 keine; nach der Korrektur meldet sie in 18 der 53 noch Blätter ohne Entsprechung.

Zwei Grenzen gehören in denselben Absatz wie das Ergebnis. Die Prüfung sieht nicht, ob eine Zahl am richtigen Feld steht, nur ob sie überhaupt vorkommt. Und 225 Findings sieht sie gar nicht. Ihre Auskunft heißt deshalb »nachsehen« und nicht »falsch«.

Bei dieser Gelegenheit haben zwei Zahlen ein Feld bekommen, die seit dem 6. September in offenem Text auf der Seite dieses Issues stehen: die 83 und die 131. Sie waren gerechnet und nirgends abgelegt. Genau sind es 82,51 und 130,94 Prozent des Medians, über 430 Beobachtungen — eine Beschreibung dieses Bestands und kein Konfidenzintervall.

Ein Nachsatz, der zu diesem Text gehört und gegen ihn geht: Gefunden hat das keine Prüfung, sondern die Frage eines Kollegen zu etwas anderem. Die Prüfung gibt es erst seit dem Fund.

Seit dem 20. September hält ein Werkzeug jede Zahl in unseren Findings gegen die Messdatei, aus der sie stammen soll. Es meldet Zahlen ohne Entsprechung — und seine eigene Lesart sagt: ein Fund heißt nachsehen, nicht falsch.

Es meldete 165 solcher Blätter in 23 Findings. 74 davon waren am 20. September von Hand angesehen, 91 lagen offen. Von Hand heißt: jede einzeln, mit Begründung und Nachweis.

Der naheliegende Gedanke war, das zu automatisieren. Ein zweites Werkzeug versucht, jeden gemeldeten Wert aus zwei Zahlen der genannten Datei zu rekonstruieren — Differenz, Summe, Anteil, Quotient, relative Änderung. Es fand für 136 der 165 Blätter einen Weg. Das sah nach einer erledigten Woche aus.

Bevor das als Ergebnis zählen durfte, war eine andere Zahl fällig: Wie oft findet die Probe einen Weg für eine Zahl, die wir gewürfelt haben? 200 Ziehungen je Datensatz, gleiche Größenordnung, gleiche Stellenzahl.

In der Mehrheit unserer Datensätze bestätigt diese Probe alles, was man ihr vorlegt. Ein Werkzeug, das zu jeder gewürfelten Zahl eine passende Differenz findet, belegt mit einer gefundenen Differenz nichts. Die 136 Wege waren kein Ergebnis, sondern Rauschen.

Sie sind nicht weggeworfen. Die Probe trägt ihre Kalibrierung jetzt bei sich und meldet in diesen Datensätzen »blind« statt eines Urteils. In drei Sätzen ist ein gefundener Weg weiter ein Beleg und ein fehlender ein echter Befund, weil die Werte dort lang genug sind: Der Zufall trifft in 0 bis 1 Prozent der Ziehungen.

Einen falschen Wert in 91 Blättern: eine Ersparnis von 4,4 Prozent, die zur anderen Rundungskonvention gehörte als die Zahl daneben. Sie stand 21 Tage auf der Seite, richtig sind 4,3 (siehe »Zwei richtige Zahlen für dieselbe Größe«). Dazu 16 dänische Blätter frisch gegen die Quelle gehalten, alle 16 exakt.

Und weil eine Fehlerquote die Frage mitmisst und nicht nur den Korpus: Die Durchsicht vom 20. September hat mit ihrer Frage 0 von 74 Blättern beanstandet. Sechs davon tragen heute einen Befund — die Konventionsfrage hat sie gefunden, weil sie eine andere Frage stellt. »1 von 91« ist deshalb keine Aussage über die Sauberkeit unserer Zahlen.

Auch die vierte Stufe der Probe — Suche im Stadtarchiv — hat sich zuerst selbst betrogen: Sie zählte die Ziffernfolge »44534« innerhalb von 55.888044534 als Treffer und fand einen angeblichen Beleg in einer Datei, die aus unseren eigenen Records gebaut wird. Ein Zirkelschluss und ein Zähler, der Zeichen zählt statt Adressen.

Eine Probe ohne Placebo-Messung ist keine Probe. Sie ist eine Maschine, die uns bestätigt — und das ist schlimmer als keine, weil sie dabei aussieht wie Sorgfalt.

Gestern haben wir vier Angaben aus einem Bericht des Hauses selbst nachgezählt und vier Abweichungen gemeldet. Heute liegt die dritte Zählung vor. Sie ist unbequemer als unsere Meldung:

Drei von vier gehen an uns. Die vierte an niemanden: »ab 96 Prozent« heißt im Deutschen einschließlich, und einschließlich sind es 15. Strikt über 96 Prozent sind es 14 — unsere Zahl. Ab 97 Prozent sind es 13 — die im Bericht. Drei richtige Zahlen für einen Satz, und der Fehler saß im Namen eines Datenfeldes: Es hieß »ab 96« und trug den strikten Wert.

Alle sieben falschen Zahlen dieser Nacht — vier von uns gemeldet, eine von einer neuen Probe gefunden, zwei beim Bauen einer angeforderten Liste — haben dieselbe Bauart: Ein Programm schreibt zwanzig Werte einzeln in eine Datei und fasst sie nicht zusammen. Daneben steht ein Mensch und fasst zusammen. Die Programme haben in allen sieben Fällen richtig gerechnet.

Die Regel, die daraus folgt, ist so kurz wie unbequem: Wer eine Liste in Prosa zusammenfasst, zählt. Wer sie als Feld hinlegt, rechnet.

Weil drei der vier als Wort dastanden — »vier«, »fünf«, »einer« — und unsere Proben Ziffern suchen. Dahinter liegt eine Fläche von 2.139 Zahlwörtern in unseren Methodentexten, die bisher keine Prüfung gelesen hat.

Die neue Probe darüber taugt nur zur Hälfte, und wir schreiben beide Hälften hin: Ihr Grün ist wertlos, weil eine gewürfelte Zahl im Median in 85,5 Prozent der Ziehungen ebenfalls eine Entsprechung findet — die Probe selbst kommt auf 96,8 Prozent. Ihr Rot taugt: 31 Meldungen, darunter fünf echte Abzählungen — und eine davon war falsch. »Elf Namen« stand 15 Tage in einem Bericht; es sind zwölf. In unseren Texten stand der Satz nie.

Der Text nebenan trug seit gestern »14 von 20«. Er trägt jetzt 15. Beide Zahlen waren richtig gezählt — nur über zwei verschiedenen Mengen von zwanzig Datensätzen: Wir hatten die Liste genommen, die der Bericht mitführt, statt die Datei, die er zitiert. Der Kasten dort erklärt, worin sich die beiden unterscheiden.

Unsere Lesetabelle zeigt für jedes Land drei Zeilen: alle Kinder, die Mädchen, die Jungen. Ein Unsicherheitsband trägt nur die erste. Der Standardfehler, den PIRLS druckt, gilt für beide Geschlechter zusammen; für eine Hälfte davon ist er zu schmal, weil eine halbe Stichprobe ungenauer misst als eine ganze.

Wie viel zu schmal, war bisher eine Erfahrungszahl. Über 702 Zeilen, in denen alle drei Fehler vorliegen, liegt der Fehler einer Geschlechtszelle im Median beim 1,202-fachen des Gesamtfehlers. Wer damit rechnet, borgt sich einen typischen Wert und weiß nicht, ob er für das Land vor ihm gilt.

Es gibt einen zweiten Weg, und er kommt ohne Erfahrungswerte aus. Der Standardfehler eines Anteils hängt an zwei Dingen: an der Höhe des Anteils und an der Größe der Stichprobe. Beides steht in den publizierten Zahlen. Wie hoch der Anteil in der Jungenzelle ist, steht da; wie groß der Jungenanteil an der Stichprobe ist, lässt sich aus den drei Werten herausrechnen. Damit ist das Verhältnis der beiden Fehler bestimmt, ohne dass eine gemessene Zahl eingeht.

Der researcher hat diese Fassung an 1.402 Beobachtungen geprüft und selbst verworfen. Sie ist schlechter als das feste Quantil, um 31,8 Prozent: mittlerer absoluter Fehler 0,2167 gegen 0,1644. Der Grund steht in derselben Rechnung. Die Vorhersagen liegen systematisch um den Faktor 0,86 daneben, und zwar in eine Richtung. Eine Teilstichprobe streut über weniger Schulklassen als die ganze, und deshalb ist ihr Erhebungsdesign gutmütiger, als die Formel annimmt.

Damit ist die Herleitung nicht gescheitert, sondern halb gelungen. Die Form der Formel stimmt, ihr Niveau nicht, und um genau dieses eine Niveau lässt sie sich eichen. Dann schlägt sie das feste Quantil: Auf den PIRLS-Zeilen sinkt der mittlere Fehler von 0,200 auf 0,149, ein Viertel weniger.

Diese Zahl ist gegen den bequemen Fall gerechnet. Geeicht wurde ausschließlich an Erhebungen außerhalb von PIRLS, geprüft wurde auf PIRLS. Eine Formel, die an denselben Zeilen lernt, auf die sie angewandt wird, sagt nichts über den nächsten Fall. Die Gegenprobe kommt dazu: Hängt man dieselbe Vorhersage an das jeweils andere Geschlecht, steigt der Fehler von 0,2167 auf 0,2821. Die Formel trägt also Information über die Zelle, die sie beschreibt, und nicht bloß über die Zeile.

Was sie nicht ist, gehört danebengestellt. Sie liefert keinen Wert je Zelle, dem man trauen könnte, sondern eine Vorhersage mit Rest: In neun von zehn dieser Zeilen liegt das tatsächliche Verhältnis zwischen dem 0,84- und dem 1,33-fachen des vorhergesagten. Beim festen Quantil reicht dieselbe Spanne von 0,73 bis 1,39. Enger heißt hier enger und nicht genau.

Seit dem 5. September steht in dieser Tabelle ein Rückzug: Bahrain und Saudi-Arabien tragen die beiden größten Abstände zwischen Jungen und Mädchen, 17,9 und 14,5 Punkte, und werden nicht in eine Reihenfolge gebracht. Ihr Abstand beträgt 3,33 Punkte, und ob das reicht, hing bisher daran, welches Quantil man für den Zellenfehler wählt. Beim kleinsten je gemessenen Verhältnis reicht es, bei jedem anderen nicht.

Die hergeleitete Rechnung entscheidet diese Frage, und sie entscheidet sie gegen die Trennung. Für beide Länder sagt sie größere Zellenfehler voraus als das Quantil, nicht kleinere. Die Schwelle steigt damit von 4,75 auf 6,18 Punkte, also auf fast das Doppelte des gemessenen Abstands.

Über diese 6,18 ist zwei Nächte lang gestritten worden. Eine zweite Rechnung kam auf 6,96 und begründete das damit, in der ersten fehle Bahrains Fehlerterm. Beide Zahlen standen eine Zeitlang nebeneinander auf dieser Seite. Entschieden ist es seit dem 8. September, und zwar von einer Stelle, die keinen eigenen Text daran hängen hat: Es gilt 6,18. Die 6,96 war keine andere Größe, sondern dieselbe mit einer vertauschten Zuordnung, und sie ist von ihrem Urheber zurückgezogen.

Für den Rückzug der beiden Länder ist die Zahl selbst das weniger Wichtige. Ausgerechnet wurde auch, wie weit sie danebenliegen müsste, damit die Trennung doch hielte: Alle vier Fehlerterme müssten um den Faktor 0,54 kleiner sein, und der kleinste Wert, der in 346 gemessenen Zeilen überhaupt vorkommt, liegt bei 0,74. Rechnet man ganz ohne Kalibrierung, mit der rohen Formel, liegt die Schwelle bei 7,28. Unter jeder geprüften Lesart liegt sie mindestens beim 1,86-fachen des Abstands. Es gibt keine vertretbare Rechnung, unter der Bahrain und Saudi-Arabien trennbar wären.

Der Rückzug wird dadurch trotzdem nicht zwingend, und das ist der Unterschied, auf den es ankommt. Er war eine Entscheidung, bevor diese Rechnungen existierten, und er bleibt eine. Neu ist, dass er jetzt auf mehreren Rechnungen steht, die nichts miteinander zu tun haben.

Eine Grenze gehört dazu, und sie ist eine Auflage aus dem Verdikt: Diese Schwelle gehört zum Nichterreichen des Mindestniveaus Lesen und nicht zur Lernarmut. Dort beträgt der Abstand der beiden Geschlechtsabstände 2,606 Punkte statt 3,3326, weil der Schulentzug mitrechnet. Wer die 6,18 an eine Lernarmutszahl legt, hält eine Fehlerrechnung gegen eine andere Größe.

Seit dem 6. September steht unsere Lesetabelle auf der Seite, und in der Spalte, die jede Zeile trägt, stand zuerst gar kein Land und dann ein Kürzel aus zwei Buchstaben. Den Namen dazu durfte niemand von uns eintippen. Er stünde sonst in der einen Spalte, an der ein Leser jede andere Zahl der Zeile festmacht, und käme von uns statt aus der Quelle.

Also kommt er jetzt aus derselben gedruckten Zeile wie die Zahl daneben. Für 51 der 53 Länder steht der Name in Exhibit 4.2 des PIRLS-Berichts, in derselben Zeile wie der Prozentwert und der Standardfehler, mit denen wir seit dem 5. September rechnen. Wer mag, kann jede Zeile unserer Tabelle gegen die gedruckte halten.

Belgien und das Vereinigte Königreich treten in PIRLS geteilt an, Flandern und die Wallonie getrennt, England und Nordirland getrennt. Für den Staat gibt es im Exhibit keine Zeile und damit auch keinen gedruckten Namen. Der Wert, den wir zeigen, ist der Aggregatwert aus dem Datenbestand der Weltbank, also kommt der Name aus der Länderliste derselben Institution, und die abweichende Herkunft steht im Datensatz.

Es sind dieselben zwei Länder, die auch keinen gedruckten Standardfehler haben und deshalb seit dem 6. September eine gerechnete obere Schranke tragen. Die Lücke hat eine Ursache und nicht zwei.

Die Quelle führt keine deutschen Namen. Eine Übersetzung von uns wäre in dieser Spalte dasselbe wie eine erfundene Zahl in der Spalte daneben: eine Setzung, die als Quellenangabe auftritt. Bei 46 der 51 Länder nennen IEA und Weltbank dasselbe Land ohnehin gleich, bei fünf verschieden, etwa »Czech Republic« gegen »Czechia«. Auch da gilt die einfache Regel: Maßgeblich ist der Name aus der Quelle der Zahl.

Das Exhibit markiert Anmerkungen mit Zeichen, die es selbst erklärt: Ziffern für die Abdeckung der Schülerschaft, Kreuze und Striche für Besonderheiten der Stichprobe, zwei griechische Buchstaben für Vorbehalte gegen die Zuverlässigkeit. Die sind entfernt, der ungekürzte Text steht daneben.

Zwei Zeilen tragen aber etwas anderes: »Norway (5)« und, unter den Vergleichsteilnehmern, »South Africa (6)«. Der erste Anlauf hat die Klammer für ein Fußnotenzeichen gehalten und gestrichen. Danach gab es zwei Zeilen namens South Africa, eine mit 19 und eine mit 44 Prozent der Kinder am oder über der Leseschwelle. Die Klammer unterscheidet also zwei Zeilen und ist kein Anhängsel.

Was sie bedeutet, sagt das Dokument nicht. Die Fußnote des Exhibits erklärt alle anderen Zeichen und diese nicht. Die naheliegende Lesart wäre eine abweichende Klassenstufe, und gegen sie spricht, dass der Datenbestand der Weltbank Norwegen wie alle anderen in Klasse 4 führt. Wir lösen sie deshalb nicht auf. Sie steht als eigenes Feld neben dem Namen, mit dem Vermerk, dass wir sie nicht erklären können.

Nachtrag vom 14. September 2026. Aufgelöst, in Anhang A desselben Berichts: Die Klammer ist die getestete Klassenstufe. Norwegen testet aus eigener Wahl die fünfte Klasse, Südafrika hat neben der vierten zusätzlich eine sechste testen lassen. Dass die Weltbank Norwegen in Klasse 4 führt, sprach nicht gegen diese Lesart, sondern ist eine pauschale Beschriftung, die für Norwegens Zeile von 2021 nicht stimmt. Der Text »Norwegens Reihe wechselt die Klasse« führt es aus. Unser Feld neben dem Namen bleibt; sein Vermerk sagt jetzt, was die Klammer heißt.

Das ist der lehrreiche Teil und nicht die Panne. Eine Bereinigung, die ein unbekanntes Zeichen als Rauschen behandelt, macht zwei verschiedene Dinge gleich, und man merkt es erst, wenn man hinterher nachzählt.

Seit dem 5. September rechnen wir mit den Leseanteilen aus Exhibit 4.2 des PIRLS-Berichts, seit dem 7. tragen die Zeilen die gedruckten Ländernamen, und seit heute Nacht liegen alle 51 Werte als Reihe in einem Record, jeder mit seinem gedruckten Standardfehler und der Zeile der Quelle im Wortlaut. Damit lässt sich zum ersten Mal sagen, wie fein diese Spalte überhaupt ist.

Sie ist nicht fein. Der Bericht druckt ganze Prozentzahlen. Hinter einer gedruckten 6 steht alles zwischen 5,5 und 6,5, also ein Band von einem ganzen Prozentpunkt, und das ist genau ein Schritt der Skala. Der Standardfehler, den die Quelle danebendruckt, kommt erst danach dazu; er reicht über die 51 Zeilen von 0,3 bis 2,2 Prozentpunkten.

Am unteren Ende führt das zu einer Umkehrung, die man selten sieht. Hongkong, Kroatien, Irland und Russland stehen alle bei 2 Prozent, und der Standardfehler ihrer Zeilen beträgt 0,4 Prozentpunkte. Die Rundung beim Drucken ist dort also breiter als die Unsicherheit der Messung. Nicht die Erhebung ist die Grenze, sondern das Setzen der Tabelle.

31 der 51 Länder liegen unter 10 Prozent. Für sie stehen acht mögliche Werte zur Verfügung, die Schritte von 2 bis 9, und mehr Auflösung gibt es nicht. Also fallen Länder zusammen: vier auf der 2, vier auf der 3, sieben auf der 4, drei auf der 5 und acht auf der 6. Über alle 51 Länder sind nur 23 verschiedene Werte belegt, und elf dieser 23 gehören genau einem Land.

Weiter oben ist die Rundung folgenlos. Zwischen den drei höchsten Werten, 81 Prozent in Südafrika, 59 in Marokko und 55 in Ägypten, liegen Abstände, an denen ein halber Punkt nichts ändert. Dieselbe Spalte ist am oberen Ende scharf und am unteren stumpf, und wer daraus eine Rangliste macht, behandelt beides gleich.

Die Werte reichen von 2 bis 81 Prozent. Die Mitte dieser Spanne liegt bei 41,5 Prozent. Über ihr liegen vier der 51 Länder, darunter 47. Der Median ist 6 Prozent, und 26 der 51 Länder liegen auf ihm oder darunter.

Das ist der Grund, warum eine Spannweite allein in die Irre führt. Sie beschreibt zwei Ränder und sagt nichts darüber, wo das Feld steht. Hier steht es fast vollständig am unteren Rand, und der lange Weg nach oben gehört einer Handvoll Länder.

Das Exhibit druckt 57 Länderzeilen. 51 davon sind unsere Leseschicht. Vier sind die Teilgebiete Belgiens und des Vereinigten Königreichs, die die IEA getrennt führt und die wir kennen. Die restlichen zwei sind Chinesisch Taipeh und Brasilien, zwei Länder, die PIRLS 2021 misst und die in unserer Leseschicht nicht stehen.

Warum sie dort nicht stehen, wissen wir nicht. Es ist nicht gemessen, und wir raten nicht. Wer unseren Satz von den 51 gedruckten Leseanteilen liest, sollte ihn deshalb nicht als »alle gedruckten« verstehen; der Unterschied sind sechs Zeilen.

Im Text »Die 53 Namen stehen gedruckt« steht seit dem 7. September, dass zwei Zeilen des PIRLS-Exhibits eine Klammer tragen, »Norway (5)« und »South Africa (6)«, dass die Fußnote sie nicht erklärt und dass wir sie deshalb nicht auflösen. Seit heute ist sie aufgelöst, im Anhang A desselben Berichts. Die Klammer nennt die getestete Klassenstufe, wo sie nicht die vierte ist. Norwegen testet die fünfte Klasse, aus eigener Wahl: Der Bericht sagt, Norwegen wolle so mit gleichaltrigen Kindern in Schweden, Dänemark und Finnland verglichen werden. Das Alter trägt den Satz. Norwegens Fünftklässler sind zur Testzeit im Schnitt 10,8 Jahre alt, die Viertklässler der drei Nachbarn 10,7 bis 10,9.

Für unsere Zahl ändert sich nichts. Norwegen steht in den 51 Leseanteilen mit 4 Prozent, und das misst Zehneinhalbjährige nach fünf Schuljahren, wie die Zahlen der Nachbarn Zehneinhalbjährige nach vier messen.

Anders in der Datenbank der Weltbank. Sie führt für Norwegen fünf Werte von 2001 bis 2021, alle beschriftet mit Klasse 4. Bis 2016 stimmt das: Norwegen ließ damals zusätzlich eine vierte Klasse testen, und die Weltbank nahm diese Zeile, wie ihre Regel es verlangt. 2021 gab es nur die fünfte Klasse. Der Wert der Weltbank für 2021, 4,18 Prozent, trifft genau die Zeile »Norway (5)« des Berichts. Die 2021er Zeile ist also die fünfte Klasse mit der Beschriftung der vierten.

Damit zeigt die publizierte Reihe zwischen 2016 und 2021 einen Fortschritt, von 5,79 auf 4,18 Prozent Nichtleser, und wechselt dabei die Klasse. Auf derselben Klassenstufe, der fünften, steigt der Anteil im gleichen Zeitraum von 1,39 auf 4,18. Der Abstand zwischen den zwei Klassen im Jahr 2016, 4,40 Punkte, ist 2,7-mal so groß wie die Bewegung, die die Reihe zeigt. Wer aus der Reihe eine Verbesserung liest, liest einen Klassenwechsel.

Die Beschriftung ist nicht norwegisch, sondern pauschal: Alle 59 PIRLS-2021-Zeilen der Datenbank tragen Klasse 4, und für 2021 liegt im Repositorium der Weltbank kein Programm, das die Rohdaten je Land liest. Bei Südafrika, das 2021 zwei Klassen testen ließ, trifft die Beschriftung die Hauptstichprobe.

Ob Norwegens Kinder 2021 schlechter lesen als 2016, steht hier nicht. Der Anstieg auf der fünften Klasse liegt außerhalb der gedruckten Standardfehler, 0,3 und 0,6 Punkte, aber 2021 war ein Pandemiejahr, und der Bericht ordnet es selbst so ein. Gemessen ist der Klassenwechsel, nicht seine Ursache. Und die Zuordnung der 2021er Zeile zur fünften Klasse ist ein Schluss aus zwei Belegen, kein Feld der Weltbank: Der Anhang nennt nur eine norwegische Stichprobe, und der Wert trifft ihre Zeile.

Am 10. September haben wir aufgeschrieben, wie die 51 Leseanteile der PIRLS-Tabelle verteilt sind: Median 6, die Quartile 4 und 25. Wer diese 51 Werte in eine Tabellenkalkulation kippt und `QUARTILE` aufruft, bekommt für das obere Quartil 22,5.

Keine der beiden Zahlen ist falsch. Es gibt zwei gängige Definitionen dafür, wo ein Quartil liegt, und beide stehen in Lehrbüchern:

Unsere Werkzeuge rufen die Python-Funktion ohne Parameter auf — und nehmen damit stillschweigend genau die Variante, die eine Leserin mit Excel oder R nicht bekommt.

Gemessen über den ganzen Bestand: 19 von 298 Findings drucken eine Quartilzahl, in 8 Fällen hängt der Wert an der Wahl, und in keinem der drei betroffenen Records steht, welche gilt. Die Abstände reichen von 0,1 bis 2,5 Prozentpunkten.

Weil es genau den Vertrauensvorgang zerstört, für den wir die Zahlen überhaupt so ausführlich hinschreiben. Wer nachrechnet, bekommt 22,5, liest bei uns 25 und schließt: Die haben sich um zweieinhalb Punkte verrechnet. Haben wir nicht. Wir haben eine Wahl getroffen, ohne sie zu nennen — und eine ungenannte Wahl sieht von außen aus wie ein Fehler.

Tröstlich ist, was die Wahl nicht anfasst: Der Median ist unter beiden Definitionen derselbe, und die beiden Ränder der Reihe sind es auch — sie reicht von 2 bis 81 Prozent. Wo eine konventionsfreie Zahl neben einer konventionsabhängigen steht, liest man sonst zwei gleich harte Zahlen, und eine davon ist es nicht.

Dieselbe Klasse, anderer Ort. In einem Text vom 5. September stand, die Unabhängigkeitsannahme spare Belgien 29 Prozent Bandbreite und dem Vereinigten Königreich 4,4 — »sauber auf einer Konvention gerechnet«. Es waren zwei.

Die zulässigen Paare sind die Zeilen, nicht die Diagonale. Wir hatten 29,0 aus der unteren und 4,4 aus der oberen Zeile — und daneben stand die Deklaration, beide Werte trügen den Zuschlag. Richtig sind auf dieser Konvention 4,3. Es sind 0,09 Prozentpunkte, und der Befund hält unverändert: Wo alles Gewicht auf einem Landesteil liegt, spart die Annahme fast nichts; das Vereinigte Königreich ist zu 96 Prozent England.

Jede gedruckte Quartilzahl nennt ihre Konvention neben sich — oder sagt, dass der Wert unter beiden derselbe ist. In unseren Texten sind das drei Stellen mit sechs Quartilzahlen, von denen genau zwei an der Wahl hängen: die 25 der Leseanteile und die 1,4 der 85 Banddifferenzen.

Und eine Beobachtung, die wir uns selbst aufschreiben: Der große Abstand von 2,5 Punkten stand in einem Feld, das nicht gerendert wird. Am Leser stand der kleine — die 1,4, sechsmal. Die Stelle, die am meisten weh tut, ist selten die, die am meisten sichtbar ist.

Am 27. August stand auf dieser Seite, dass die Kindersterblichkeitsrangliste über weite Strecken gar keine Rangliste ist: Von 19.110 Länderpaaren lassen sich 5.278 aus den Daten nicht ordnen, weil sich ihre Unsicherheitsbänder überlappen. Das Medianland steht zu 54 anderen in keiner gesicherten Reihenfolge.

Wir hatten das für eine Eigenschaft der Aufgabe gehalten. Überleben wird gezählt, Lesefähigkeit wird getestet, und ein Test an ein paar tausend Viertklässlern sollte weicher sein als eine Todeszählung. Seit die Leseschicht ein Band trägt, lässt sich dieselbe Frage an sie stellen, und die Antwort geht in die andere Richtung.

Unter den 51 Ländern mit einer PIRLS-Lesezahl sind von 1.275 Paaren 174 nicht zu ordnen, also 13,6 Prozent. Das Medianland steht zu sieben anderen in keiner gesicherten Reihenfolge, im ungünstigsten Fall zu fünfzehn. Diese Ränge halten Frankreich und die USA.

13,6 gegen die 27,6 Prozent der Weltmenge zu stellen wäre die griffige Fassung, und sie wäre falsch. Das sind zwei verschiedene Bestände. Die PIRLS-Menge ist reicher, kleiner und hat bessere Personenstandsregister, also genau die Eigenschaften, von denen am 30. August auf dieser Seite stand, dass sie die Schärfe einer Überlebensrangliste erklären.

Der Vergleich, der zählt, ist derselbe Länderkreis in beiden Schichten. Für die 49 dieser Länder, die auch eine Überlebenszahl haben, sind dort 262 von 1.176 Paaren nicht zu ordnen, also 22,3 Prozent, mit einem Median von zehn ungeordneten Nachbarn. Der Abstand schrumpft von 14 Prozentpunkten auf 8,7. Er schrumpft, und er bleibt.

Die beiden Bänder messen nicht dasselbe. Der PIRLS-Standardfehler sagt, wie genau man den Wert eines Landes kennt, wenn man ein paar tausend Kinder getestet hat statt aller. Das UN-IGME-Band ist die Unsicherheit eines Schätzmodells, das aus Erhebungen, Registern und Zeitreihen einen Jahreswert herstellt, oft für ein Jahr, in dem gar nichts erhoben wurde.

Ein Test misst wenige Kinder genau. Eine Sterblichkeitsschätzung stellt für viele Kinder eine Zahl her aus dem, was da ist. Die Rangfolge ist deshalb dort unschärfer, wo man die Genauigkeit vermutet, und das ist keine Aussage über Lesen und Sterben, sondern über Messen und Schätzen.

Die 51 Länder sind der Teilnehmerkreis einer Studie und kein Weltbestand; für die übrigen 74 Länder der Lernarmutsdatenbank ist diese Frage nicht beantwortet. Das Leseband deckt nur die Lesekomponente ab, während der Schulentzug ohne Unsicherheit in die Rechnung geht, obwohl er in einer Reihe von Ländern die Mehrheit der Lernarmut trägt. Ein ehrliches Band wäre breiter und der gemessene Abstand kleiner.

Auch die Bezugsjahre fallen nicht zusammen: Die Lesezahlen stehen für 2021, die Überlebenszahlen für 2024. Ein Land kann sich in drei Jahren bewegt haben, und diese Rechnung sieht das nicht.

Und »nicht zu ordnen« heißt nicht »gleich«. Es heißt, dass zwei 90-Prozent-Bänder sich überlappen. Südafrika und die Vereinigten Arabischen Emirate stehen zu keinem einzigen Land in einer ungeklärten Reihenfolge, das eine mit 82,0, das andere mit 25,9 Prozent Lernarmut. Wer so weit vom Feld entfernt steht, ist eindeutig eingeordnet. Das ist die einzige Art von Eindeutigkeit, die eine Rangliste sicher liefert, und sie ist die uninteressanteste.

Auf dieser Seite steht seit dem 31. August, dass 94 Prozent der reichen Länder über einer Million Einwohnern eine Lernarmutszahl haben, 47 von 50. Die drei ohne Zahl blieben namenlos. Es sind die Schweiz mit 9,09 Millionen Einwohnern, Estland mit 1,37 und Puerto Rico mit 3,18.

Der Grund ist kein Geldbetrag, sondern ein Termin. Keines der drei steht im Teilnehmerbestand von PIRLS 2021, der alle 57 Länder namentlich führt, und keines kommt in dem Abschnitt an anderer Stelle vor, auch nicht in den Trendtabellen zurück bis 2001. Wer bei dieser Studie nicht mitmacht, hat gute Chancen, in dieser Schicht zu fehlen: Die Lesehälfte der Lernarmut ist für 51 der 125 Länder buchstäblich die PIRLS-Zahl.

Estland und die Schweiz nehmen an PISA 2022 teil und schneiden dort überdurchschnittlich ab. Das schließt die Lücke nicht, es erklärt sie. PISA misst Fünfzehnjährige, die Lernarmut das Ende der Grundschule. Für die Frage, ob ein Kind mit zehn einen einfachen Text versteht, hilft ein guter Wert mit fünfzehn nichts.

Die Lücke im Blatt heißt also nicht, dass diese Länder ihre Kinder nicht prüfen. Sie heißt, dass sie sie an dieser Stelle des Lebens nicht international vergleichbar prüfen. Für Puerto Rico gilt auch das nicht: Ob es an PISA teilnimmt, konnten wir nicht prüfen, weil der Server der OECD dem researcher den Zugriff verweigert. Wir behaupten dazu in keine Richtung etwas.

Seit dem 20. August steht in diesem Issue der Satz, dass die Abdeckung dem Erhebungsfahrzeug folgt und nicht dem Einkommen. Diese drei Länder sind der Test dagegen, denn sie sind reich und fehlen trotzdem.

Sie fehlen nicht, weil das Fahrzeug arme Länder auslässt. Sie fehlen, weil sie in keines eingestiegen sind, das an diesem Alterspunkt hält. Der Satz hält an einem Fall, der ihm hätte widersprechen können, und das ist mehr wert als zehn Fälle, die ihn bestätigen.

Eine Einschränkung bleibt und sie zeigt gegen das Ergebnis: Die Lernarmutsdatenbank speist sich nicht nur aus PIRLS. Dass ein Land dort fehlt, erklärt sein Fehlen plausibel, aber nicht zwingend. Ein nationaler Test hätte den Wert liefern können.