Eigentlich war es meine Absicht, die nachfolgende Kritik eines Aufsatzes von Kolo und Meyer-Lucht bei der M&K als ‘ordentliche’ Replik einzureichen.[1] Ich habe mit einigen Kolleginnen und Kollegen darüber gesprochen, mir auswärtigen Rat eingeholt und dann den Beitrag etwa 6 Monate liegen lassen. In den letzten Tagen habe ich meine Kritik nochmals ‘hervorgekramt’, habe mich vor allem etwas mit Zeitreihenanalyse beschäftigt und gemerkt, dass Teile meiner Kritik eine durchaus gängige Praxis kritisieren, was diese Kritik wiederum etwas (nicht völlig; etwa die Regression von Anteilswerten) ins Leere laufen lässt. Hinzu kommt, dass es keine fundamentale Kritik ist und die Kernaussage des Artikels, nach der es zu einer „Erosion der Intensivleserschaft“ kommt und „Nachrichtensites“ den Printmedien Nutzer streitig machen, nicht in Frage gestellt wird. Unter diesen Voraussetzungen kommt mir eine Replik bei der M&K etwas übertrieben vor, und daher habe ich mich dazu entschlossen, meine Überlegungen hier auf der Zahlen|Gesellschaft zu veröffentlichen. Zwei weitere Einschränkungen: (1) Es ist kein fertiger Fachartikel, siehe dazu auch die “Zahlen|Gesellschaft als Experimentierfeld“. (2) (Fast) Unnötig zu erwähnen, dass ich hier ausschließlich meine persönliche Meinung vertrete.

Einleitung

In Ausgabe 4/2007 der Medien & Kommunikationswissenschaft findet sich ein Beitrag von Kolo und Meyer-Lucht (2007; nachfolgend KML abgekürzt) mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites“. In diesem Artikel befassen sich die beiden Autoren mit der Frage, ob beide Mediengattungen in einem komplementären oder substitutiven Verhältnis zu einander stehen. Die späteren empirischen Analysen konzentrieren sich auf die Beantwortung von drei Fragen: „1. Wie verändert sich die Nutzungsintensität von Tageszeitungen und von Nachrichtensites im Zeitverlauf? 2. Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen? 3. Was lässt sich daraus für die Komplementarität oder Substitutivität der Nutzung dieser beiden Mediengattungen folgern?“ (KML: 514). Datengrundlage der Untersuchung ist einerseits die Allensbacher Computer- und Technik-Analyse (ACTA), andererseits die Allensbacher Markt- und Werbeträger-Analyse (AWA).

Die von den Autoren durchgeführten statistischen Analysen sind nach meinem Dafürhalten in vielen Fällen für die Beantwortung der drei Forschungsfragen nicht von Belang, sondern wirken durch den Einsatz von unangemessenen Verfahren sowie der fehlerhaften Befundinterpretationen eher verwirrend. Anliegen dieses Beitrags ist eine kritische Diskussion ausgewählter empirischer Befunde von KML, die vor allem darin besteht, dass ihre Ausführungen eine statistische Genauigkeit suggerieren, die sie gar nicht einhalten können. Im Einzelnen umfasst die Methodenkritik drei Punkte: (1) Die unangemessene Verwendung von linearen Regressionsmodellen sowie (2) die falsche Interpretation von statistischer Signifikanz. (3) Hinzu kommt ein fehlendes Problembewusstsein für ökologische Fehlschlüsse, das heißt den unzulässigen Schluss von Zusammenhängen auf der Aggregatebene auf individuelles Handeln.

Die unangemessenene Verwendung und Interpretation von Regressionsmodellen

(Die in der Vorbemerkung angesprochene Praxis der Zeitreihenanalyse betrifft den nachfolgenden Absatz.  Ich belasse meine Kritik an dieser Stelle und würde mich freuen, wenn mich eine/r eines Besseren belehrt.)

An mehreren Stellen im Aufsatz wird ein zeitlicher Trend, etwa die „Anteile Intensivnutzer überregionaler Nachrichtensites“ (KML: 518, Abbildung 1) mit einem linearen Regressionsmodell „abgesichert“. Um den Trend zu illustrieren, hätte das Einzeichnen der jeweiligen Kurven beziehungsweise Geraden völlig genügt. Doch die Autoren „untermauern“ ihre grafischen Befunde mit den Ergebnissen einer linearen Regression, was zumindest den Eindruck erwecken kann, ein Verständnis des Prozesses erlangt zu haben. Für die überregionalen Abotageszeitungen weisen sie etwa einen „Trend“ (= Regressionskoeffizient) von -0.6 Prozentpunkten pro Jahr (auf zwei Nachkommastellen genau beträgt der Wert -0.58)  aus. Die vollständige Gleichung lautet:

y = 1175.15 + (-0.58)*Jahr,

wobei y den Anteil der Intensivleser (überregional) in Prozent bezeichnet. Im Jahr 0 lag dementsprechend der Anteil der Intensivnutzer bei 1175,15% und im Jahre 2027 wird der Anteil etwa -0.51% betragen. Beide Aussagen sind natürlich sinnlos, lassen sich aber aus dem geschätzten Regressionsmodell ableiten und demonstrieren die Gefahren, die mit dem Einsatz solcher Verfahren verbunden sind. Üblicherweise wird bei Prozent- beziehungsweise Anteilswerten statt des linearen Modells eine sogenannte Beta-Regression vorgenommen, die auf den eingeschränkten Wertebereich (zwischen 0% und 100%) der abhängigen Variablen Rücksicht nimmt (Smithson/Verkuilen 2006). Überhaupt ist fraglich, welchen Sinn es hat, bei sechs Analyseeinheiten eine lineare Regression zu schätzen.

(Ende der Einschränkung …)

Weitere Regressionsanalysen wurden vermutlich auch anlässlich der Frage nach dem Zusammenhang von Alter und der Nachfrage nach aktuellen Informationen durchgeführt. Die auf Seite 523 formulierte Hypothese lautet: „Die Nachfrage nach aktuellen Informationen über […] Print bzw. […] Online ist jeweils eine Funktion des Alters“. Zumindest lässt der Hinweis auf „eine  Funktion des Alters“ darauf schließen, dass auch hier Regressionsmodelle geschätzt wurden. Doch die Ausführungen dazu  und vor allem Abbildung 3 auf Seite 524 lassen sich nicht nachvollziehen. Dort findet sich der Hinweis auf eine „angepasste Normalverteilung“ beziehungsweise ist einige Zeilen später davon die Rede, „dass man an die Verteilung der Intensivnutzer von Nachrichtensites sehr gut eine Normalverteilung mit einem Mittelwert von 38 Jahren anpassen kann [...]“. Während also die Verteilung der Intensivnutzer einer „Normalverteilung folgen soll“, scheint für die „Intensivleser von Abotageszeitungen ein linearer Anstieg mit dem Alter“ vorzuliegen. Eine Normalverteilung beschreibt die (Häufigkeits-)Verteilung eines Merkmals (Sachs/Hedderich 2006: 191ff). „Angepasste Geraden“ beschreiben dagegen den Zusammenhang zwischen zwei Merkmalen. Es ist unklar, was an dieser Stelle überhaupt untersucht wird. Wird die Altersverteilung der jeweiligen Teilstrichproben von Intensivnutzern und Intensivlesern beschrieben? Interessieren sich die Autoren für den funktionalen Zusammenhang zwischen Nutzungsgrad und Alter?

Fehlerhafte Interpretation des Begriffs der statistischen Signifikanz

Als weitere Absicherung und, so ist zu vermuten, um die „Güte“ des Modells zu belegen, weisen die Autoren „p(lineare Regression)“ aus (im vorliegenden Beispiel auf Seite 518 beträgt dieser Wert 0,009). Zur Interpretation dieser Irrtumswahrscheinlichkeit p schreiben sie: „Die Wahrscheinlichkeit, dass nur zufällig eine Regression mit von 0 verschiedener Steigung vorliegt, beträgt auch hier 0,9 Prozent“ (KML: 518). Diese Auffassung von statistischer Signifikanz ist verbreitet, aber falsch (Haller/Krauss 2002). Die Irrtumswahrscheinlichkeit ist immer eine bedingte Wahrscheinlichkeit, nämlich unter der Bedingung, dass in der Population (der Grundgesamtheit) die H0 korrekt ist. Richtigerweise müsste die Formulierung also lauten: Unter der Bedingung, dass in der Population der Steigungskoeffizient („Trend“) gleich 0 ist, beträgt die Wahrscheinlichkeit mit den verwendeten Daten den ermittelten oder einen extremeren F-Wert (Teststatistik des entsprechenden Omnibustestes des linearen Regressionsmodells) zu erhalten 0,009. Formuliert wird also p(Daten|H0) und nicht p(H0) (Fahrmeir et al. 2001: 409).

Auf Seite 525 wollen die Autoren den „Zusammenhang des Anteils an Intensivlesern mit dem Nachrichtenkonsum im Internet“ näher untersuchen und verwenden dazu Chi-Quadrat, einen verbreiteten Test auf Unterschiedlichkeit. Sie schreiben dazu: „Der Effekt ist zwar bis auf das Alterssegment der 14- bis 17-Jährigen schwach, aber durch das durchgängige Auftreten in fast allen Altersgruppen bei hohen Fallzahlen signifikant. Damit ist Hypothese (4a) bestätigt.“ Meine Interpretation würde wie folgt lauten: Es lässt sich nur ein (sehr) schwacher Effekt beobachten, der aber auf Grund der Fallzahlen signifikant ist. Ein substantieller Befund, der klare Unterschiede zwischen Gruppen beschreibt, ist das eben nicht. Dazu schreiben Sachs/Hedderich (2006: 307; Herv. durch die Autoren): „Betont sei auch, dass formale statistische Signifikanz (nur diese kann ein statistischer Test nachweisen!) und wirkliche (praktische) Bedeutung – Relevanz – nicht miteinander verwechselt werden dürfen“.

Das Problem eines ökologischen Fehlschlusses

Eine der einleitend genannten Forschungsfragen thematisiert Bedingungen, unter denen Nutzer von der einen zu der anderen Mediengattung wechseln (KML: 514): „Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen“? Zu den Voraussetzungen, eine solche Frage angemessen beantworten zu können, schreiben die Autoren weiter unten (KML: 514):

„Veränderungen der Mediennutzung lassen sich am verlässlichsten durch eine wiederholte Befragung identischer Personen ermitteln. Nur so kann man direkt die Selektionshandlung – ob singulär oder eher schleichend über sich verändernde Nutzungsintensitäten – dokumentieren.“

Ich interpretiere diese Aussage dahingehend, dass man individuelles Verhalten am besten mit Individualdaten erklären kann – dem stimme ich vorbehaltlos zu. Doch die Analysen der Untersuchung basieren (zumindest teilweise und soweit ich das dem Text entnehmen konnte) auf Aggregatdaten und von Zusammenhängen auf Aggregatebene auf individuelles Verhalten schließen zu wollen, wird in den Sozialwissenschaften als „ökologischer Fehlschluss“ bezeichnet (Diekmann 2004: 116ff).[2]

Es wäre falsch, Kolo und Meyer-Lucht an dieser Stelle den Vorwurf des ökologischen Fehlschlusses zu machen. Tatsächlich sind die empirischen Befunde plausibel, so dass es schwer fällt, einen solchen Fehlschluss zu vermuten. Doch es lässt sich ein fehlendes Problembewusstsein erkennen. Gleich die erste Hypothese lautet etwa: „Die Nachfrage nach aktuellen Informationen ist – unabhängig vom Medium – altersabhängig“ (KML: 523). Meiner Meinung nach wird hier ein Zusammenhang auf Individualebene formuliert, doch die Analysen werden, wie oben erwähnt, auf Aggregatdatenebene ausgeführt. Da hilft auch der am Ende der Hypothesen aufgeführte Hinweis nicht viel, dass die „Hypothesen […] so gewählt [wurden], dass auf Basis der vorliegenden Daten […] ein Überprüfung möglich ist“ (KML 523).

Anhand eines einfachen grafisches Beispiels mit simulierten Daten soll das Problem illustriert werden: In Abbildung 1 wird der Zusammenhang zwischen dem Merkmal Alter (hier: 3 Altersgruppen) und der Nachfrage nach aktuellen Informationen untersucht. In der linken Abbildung (1a) finden sich die Befunde der auf der Aggregatebene durchgeführten Analysen. Die rechte Abbildung (1b) enthält die Befunde der Individualdatenanalysen. In der ersten Abbildung zeigt sich ein klar positiver Zusammenhang und unzweifelhaft lautet die (falsche) Interpretation: Mit dem Alter steigt die Nachfrage nach aktuellen Informationen. In der rechten Abbildung (1b) hingegen wurde der Zusammenhang pro Altersgruppe auf Grundlage der Individualdaten errechnet und nun zeigt sich, dass ein negativer Zusammenhang vorliegt. Wie sich gut erkennen lässt, ergibt sich lediglich durch die unterschiedlichen Nachfrageniveaus ein scheinbar positiver Zusammenhang. Bereits dieses einfache Beispiel belegt eindringlich, welche Folgen ein ökologischer Fehlschluss haben kann.

Abbildung 1: Grafische Illustration eines ökologischen Fehlschluss

Zusammenfassung

Die vorangegangenen Ausführungen haben sich mit einigen methodische Unzulänglichkeiten eines von Kolo und Meyer-Lucht verfassten Beitrags mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites” befasst. Die Hauptthese des Beitrags wird nicht in Frage gestellt, doch es wird behauptet, dass ein Teil der Analysen im Hinblick auf die Fragestellungen des Artikels überflüssig ist oder falsch durchgeführt wurde. Das betrifft etwa die unangemessene Verwendung von linearen Regressionsmodellen (bei Zeitreihendaten; siehe meine einschränkenden Anmerkungen in den Vorbemerkungen) sowie die Interpretation der Ergebnisse. Ein weiteres Problem betrifft die Verwendung von Aggregatdaten, während die Hypothesen teilweise auf der Individualebene formuliert werden. An keiner Stelle im Artikel findet sich der Hinweis auf einen drohenden ökologischen Fehlschluss.

Endnoten

[1] Erste kritische Anmerkungen von mir zu dem Beitrag von KML finden sich auch auf dem KoopTech-Blog.

[2] Die Frage, auf welcher Analyseebene (Individual- oder Aggregatebene) Teile der Untersuchungen letztlich durchgeführt wurden, kann ich nicht beantworten. Eine Nachfrage beim Institut für Demoskopie Allensbach für die ACTA-Daten ergab, dass diese in Verbindung mit einer Software namens mediMACH als Individualdaten bezogen werden können. Inwieweit dann die Analysen, etwa zu den Faktoren der Nutzungsintensität von Tageszeitungen und von Nachrichtensites, diese Individualdaten nutzen, ist mir nicht klar geworden.

Literatur

Diekmann, Andreas, 2004: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Hamburg: Rowohlt.

Fahrmeir, Ludwig, 2001: Statistik. Der Weg zur Datenanalyse. Berlin [u.a.]: Springer.

Fahrmeir, Ludwig, Thomas Kneib, und Stefan Lang, 2007: Regression: Modelle, Methoden und Anwendungen. Berlin, Heidelberg: Springer.

Haller, Heiko, und Stefan Kraus, 2002: Misinterpretations of significance: A problem students share with their teachers?, Methods of Psychological Research Online 7: 1-20.

Kolo, Castulus, und Robin Meyer-Lucht, 2007: Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites, Rundfunk und Fernsehen 55: 513-533.

R Development Core Team, 2008: R: A language and environment for statistical computing <http://www.R-project.org>. Wien: R Foundation for Statistical Computing.

Sachs, Lothar, und Jürgen Hedderich, 2006: Angewandte Statistik: Methodensammlung mit R ; mit 180 Tabellen. Berlin u.a.: Springer.

Smithson, Michael, und Jay Verkuilen, 2006: A better lemon squeezer? Maximum-likelihood regression with beta-distributed dependent variables, Psychological Methods 11: 54-71.

Anhang

Der nachfolgende R-Code (R Development Core Team 2008) repliziert einen Teil der Analysen der in Abbildung 1 (oberste Regressionslinie) auf Seite 518 vorgestellten Befunde.
## Anteil Intensivleser (ueberregional) in Prozent
y <- c(15.0, 13.4, 13.6, 12.9, 11.7, 12.1)
## Historisches Jahr
jahr <- c(2001:2006)
## Schaetzen des Regressionsmodells
summary(fit  <- lm(y ~ jahr))
## Neue Daten fuer Vorhersage erzeugen, Jahr 0 sowie den Zeitraum
## von 2006 bis 2030
vorhersage <- data.frame(jahr = c(0,2006:2030))
## Vorhersage ermitteln
predict(fit, vorhersage)

(zum Vergrößern auf die Abbildung klicken)

Eine annehmbare Erklärung findet sich bei der englischen Wikipedia: Ecological Fallacy.

Wie immer: R-Code (ziemlicher Hack…)