Der folgende kritische Einwand aus der Rezension findet aber meine volle Zustimmung:

“Ein kritischer Leser, der Nutzer von TeX-Software zum Textsatz ist und professionelle Grafikprogramme zur Diagrammdarstellung verwendet, wird vermutlich den gesamten praktischen Ansatz des Buches samt der erkennbar der Microsoftfamilie entstammenden Schriften und Grafiken ablehnen. Und in der Tat kann man über die Qualität der Abbildungen bisweilen geteilter Meinung sein. So stört, dass der Autor alle Abbildungen generell einrahmt, da er dies für Geschmacksache hält. In der Praxis wissenschaftlicher Publikationen sollten die meisten Abbildungstypen aber in aller Regel freistehen. Auch fehlen Hinweise auf die durchgehende Einheitlichkeit von Abbildungen in einem Textdokument bzw. einer Publikation. Die Wahl der Parameter der Abbildung (wie Schriftgröße, Farb- oder Graustufenspektrum sowie Anordnung) sollte nicht für eine Abbildung alleine gelten, sondern sich wenn möglich im Sinne eines einheitlichen Designs durch eine Publikation ziehen” (280).

Im nachfolgenden Text versuche ich relativ einfach und nicht auf Fachartikel-Niveau die für mich relevanten Punkte der statistischen Datenanalyse darzulegen. Die Idee zu einem solchen Blogbeitrag besteht schon länger und es gab auch schon Textfragmente. Die Motivation, den Artikel fertig zu stellen, habe ich durch den Beitrag “Ich plotte – also bin ich” auf dem Blog “Hinterm Mond gleich links” erhalten. Die dort sowohl im Artikel als auch in den Kommentaren vorgebrachten Einstellungen provozieren den Puristen in mir. Konkret ging es um das Nachbearbeiten einer Grafik, das heißt der Visualisierung von Daten. Dort ist dann von “nachträglich im Bild [d.h. der Grafik, BW] rumzupfuschen” oder “Diagramme meistens in Corel Draw” nachbauen die Rede. Der Pragmatiker (das ist der Gegenspieler des Puristen, s.o) in mir weiß natürlich auch, dass es Situationen geben kann, wo es zu einem solchen Vorgehen keine Alternative gibt (1 Stunde vor einer deadline o.ä.). Insofern wird nachfolgend ein idealisiertes Vorgehen beschrieben, dem auch ich nicht immer vollständig entsprechen kann und das natürlich über meine Kritik an “Ich plotte – also bin ich” weit hinausgeht.

(Übrigens: Weitere Überlegungen zu meinen Arbeitsabläufen finden sich in einem Artikel mit dem Titel “Denkwerk braucht Werkzeug“.)

Eine (zu) knappe Antwort auf die Frage “Woher kommen die Daten?”

(Angewandte) Soziologie befasst sich unter anderem mit der empirischen Prüfung von Theorien. Empirisch bedeutet hier, dass theoretische Überlegungen mit Daten kontrastiert werden. Sofern Theorien passende Annahmen über menschliches Handeln bereit halten, sollten sich diese Annahmen anhand des Datenmaterials belegen lassen. Grob lassen sich zwei Arten von Daten unterscheiden, qualitative und quantitative/statistische Daten. Quantitative Daten sind etwa das Ergebnis von standardisierten (Personen-)Befragungen. Zentrales Merkmal dieses Befragungstyps ist, dass den Befragten nur die Möglichkeit gegeben wird, zwischen bestimmten Antwortmöglichkeiten zu entscheiden. In einer solchen Befragungssituation darf die Frage “Wie häufig kommt es in Ihrer Partnerschaft bei dem Thema „Aufteilung der Hausarbeit“ zu Konflikten? ” etwa nur mit “nie”, “sehr selten”, “gelegentlich”, “häufig”, “sehr häufig” beantwortet werden. Antworten wie “Lassen Sie mich mal überlegen… Also letzte Woche hatten wir einen recht heftigen Streit. Es ging um meine Schwiegermutter. Weiß nicht, insgesamt ein paar Mal” lassen sich (a) nur schwer mit den Antworten anderer Befragten vergleichen und (b) nur schwer in eindeutige Zahlencodes überführen. Gerade aber das ist Gegenstand der quantitativen Soziologie, menschliches Handeln und menschliche Einstellungen zu messen, indem standardisierte Befragungen durchgeführt werden und die erfassten Antworten der Befragten in Zahlenkolonnen überführt werden, die dann wiederum mathematischen/statistischen Verfahren zugänglich sind.

Statistische Datenanalyse ist ein Handwerk

Wenn man die Daten einmal gesammelt hat (diesen Schritt nennt man Datenerhebung) und sicher ist, dass keine Fehler mehr in den Befragungsdaten enthalten sind (Datenbereinigung), dann kann man sich an die statistische Auswertung der Daten machen. Statistische Datenanalyse ist manchmal eine Kunst, in den meisten Fällen jedoch ein erlernbares Handwerk, das bestimmten Regeln (oder Prinzipien) folgt. Im Laufe der letzten Jahre habe ich für mich deren drei erschlossen: Transparenz und Nachvollziehbarkeit, Modularität und Lesbarkeit. Grundlage dieser drei Prinzipien ist eine ‘Philosophie’, die von den Autoren des “Emacs Speaks Statistics”-Mode als “The source code is real” umschrieben wird.

Es gibt keine Geheimnisse (Transparenz)

In Köln werden Studierende der Soziologie früher oder später mit einem der gängigen Statistikprogramme konfrontiert, früher war das SPSS, inzwischen verstärkt Stata (und wenn sie es mir zu tun bekommen, dann auch noch R). Solche Programme (zumindest SPSS und größtenteils auch Stata) lassen sich auf zweierlei Weisen bedienen: (1) Über eine graphische Benutzeroberfläche (Graphical User Interface = GUI) klickt man sich die Befehle zusammen, sinngemäß etwa “Berechne den Mittelwert”, “Erstelle eine Kreuztabelle”, “Zeichne ein Säulendiagramm”. (2) SPSS, Stata wie auch R lassen sich aber auch durch eigene, selbstgeschriebene Programme steuern. Ja, das heißt, dass man etwas Programmieren muss, wobei man sich (meistens) auf wenige Programmbefehle beschränken kann.

Es ist verständlich, dass man sich im Angesicht des Neuen (neue, häufig wenig intuitive Statistiksoftware) und Ungeliebten (Statistik) die eigene Arbeit so einfach wie möglich machen möchte. Im Fall der statistischen Datenanalyse bedeutet das, der graphischen Benutzeroberfläche den Vorzug zu geben und sich die Analyse ‘zusammenzuklicken’. Ein solches Vorgehen hat mehrere Nachteile. Zentrale Schwäche ist jedoch, dass sich damit die Datenanalyse der Überprüfbarkeit durch Dritte entzieht — oder anders formuliert: sie ist nicht transparent. Sofern der Programmcode vorliegt, lässt sich detailliert nachvollziehen, wie die Analyse durchgeführt wurde. Welche Variablen wurden verändert? Bezogen sich die Analysen vielleicht nur auf einen Teildatensatz? Wurden während der Analysen Gewichtungsfaktoren berücksichtigt? Man sollte immer damit rechnen, dass Fragen zu den eigenen Analysen kommen — und zumindest im wissenschaftlichen Kontext wäre es eine grobe Verletzung von Wissenschaftlichkeit, wenn nicht mehr belegt werden kann, wie bestimmte Ergebnisse erstellt wurden. Beispielhaft ist diesbezüglich das Vorgehen von Ulrich Kohler, der für sämtliche seiner Publikationen den entsprechenden Stataprogrammcode öffentlich verfügbar hält, so das es interessierten Wissenschaftlern jederzeit möglich ist, seine Analysen zu replizieren.

Teile und herrsche (Modularität)

Statistische Analysen können sehr schnell sehr komplex werden. Dieser Umstand bezieht sich gar nicht einmal (nur) auf die eingesetzten Verfahren, sondern allein auf die Menge an Programmcode. Für die Analysen im Rahmen meiner Dissertation wurden sicherlich mehr als 5000 Zeilen Programmcode erstellt. Dieser lässt sich (am einfachsten) danach unterscheiden, ob er der Datenaufbereitung (Daten einlesen, neue Variablen erstellen, vorhandene Variablen ändern etc.) oder der Datenanalyse dient. Dementsprechend verwende ich immer mindestens zwei verschiedene Dateien, nämlich initXXX.X (etwa initMeta.R, initGGS.do, initPairfam.sps etc.) und anaXXX.X. Die initXXX.X-Dateien enthalten sämtlichen Code, um Daten für die späteren Analysen aufzubereiten. Folglich enthalten anaXXX.X-Dateien den eigentlichen Analysecode. Ab und an gibt es auch noch funcXXX.X-Dateien, in denen eigene Funktionen definiert werden. Am Anfang der anaXXX.X-Datei wird die initXXX.X-Datei aufgerufen, wenn vorhanden, auch die funcXXX.X-Date. Mit anderen Worten: Vor jedem Analyselauf werden die Daten erneut aufbereitet und so etwas wie ein Analysedatensatz in Form einer einzigen Datei existiert bei mir nicht. So ein Vorgehen ist natürlich nur möglich, wenn der Durchlauf der initXXX.X-Datei nicht mehr als 10 Minuten dauert. Hat aber den Vorteil, dass man ganz sicher immer mit der aktuellen (laut initXXX.X) Datei arbeitet.

Lesbarkeit durch Kommentare

Sofern man nicht mit einem photographischen Gedächtnis gesegnet ist, hat man spätestens in einem halben Jahr vergessen, was etwa die folgende Befehlssequenz bewirken sollte (ich habe das auch schon früher vergessen):

replace f030100m = 0 if (missing(f030100m))
generate zuziehdat = ((f030100j - 1900)*12) + f030100m
generate zuswohn = intdatum - zuziehdat
replace zuswohn = 2 if (zuswohn == 0 | zuswohn == 1)

Deshalb sollte dort ein (oder mehrere Kommentare) Kommentar eingefügt werden, der mindestens erläutert, was die Variablen f030100m und f030100j inhaltlich bedeuten und welche Transformationen zu welchem Zweck vorgenommen werden. Dass diese Kommentare (die sind echt, nicht didaktisch aufbereitet) nicht immer den grammatikalischen Gepflogenheiten der deutschen Sprache genügen, ist eine andere Sache (in Stata können Kommentare u.a. durch “//” eingeleitet werden).

// Dauer des Zusammenlebens = Erhebungszeitpunkt - Zeitpunkt des Zusammenzugs
replace f030100m = 0 if (missing(f030100m))
generate zuziehdat = ((f030100j - 1900)*12) + f030100m
generate zuswohn = intdatum - zuziehdat
// Problem: wenn Interview später intdatum durchgeführt wurde,
//kann zuswohn < 0 sein, deshalb min auf 2 Monate festlegen:
replace zuswohn = 2 if (zuswohn == 0 | zuswohn == 1)

Kommentare können auch dazu dienen, umfassenderen Analysecode zu strukturieren, ihn in einzelne Kapitel zu unterteilen (etwa: deskriptive, psychometrische und multivariate Analysen).

The source code is real

Hinter dem zuvor geschriebenen verbirgt sich ein “The source code is real”-Ansatz. Ausgehend von den ursprünglichen Daten sollte für sämtliche Analyseschritte der entsprechende Programmcode vorhanden sein. Ein kurzer Hinweis auf diese Prinzip findet sich in Folien von Sven Hartenstein; ich bin im Rahmen des ESS-Projektes (Emacs Speaks Statistics) darauf gestoßen. In Abschnitt “6.4 Philosophies for using ESS[S]” heißt es

“The source code is real. The objects are realizations of the source code. Source for EVERY user modified object is placed in a particular directory or directories, for later editing and retrieval.”

Eigentlich war es meine Absicht, die nachfolgende Kritik eines Aufsatzes von Kolo und Meyer-Lucht bei der M&K als ‘ordentliche’ Replik einzureichen.[1] Ich habe mit einigen Kolleginnen und Kollegen darüber gesprochen, mir auswärtigen Rat eingeholt und dann den Beitrag etwa 6 Monate liegen lassen. In den letzten Tagen habe ich meine Kritik nochmals ‘hervorgekramt’, habe mich vor allem etwas mit Zeitreihenanalyse beschäftigt und gemerkt, dass Teile meiner Kritik eine durchaus gängige Praxis kritisieren, was diese Kritik wiederum etwas (nicht völlig; etwa die Regression von Anteilswerten) ins Leere laufen lässt. Hinzu kommt, dass es keine fundamentale Kritik ist und die Kernaussage des Artikels, nach der es zu einer „Erosion der Intensivleserschaft“ kommt und „Nachrichtensites“ den Printmedien Nutzer streitig machen, nicht in Frage gestellt wird. Unter diesen Voraussetzungen kommt mir eine Replik bei der M&K etwas übertrieben vor, und daher habe ich mich dazu entschlossen, meine Überlegungen hier auf der Zahlen|Gesellschaft zu veröffentlichen. Zwei weitere Einschränkungen: (1) Es ist kein fertiger Fachartikel, siehe dazu auch die “Zahlen|Gesellschaft als Experimentierfeld“. (2) (Fast) Unnötig zu erwähnen, dass ich hier ausschließlich meine persönliche Meinung vertrete.

Einleitung

In Ausgabe 4/2007 der Medien & Kommunikationswissenschaft findet sich ein Beitrag von Kolo und Meyer-Lucht (2007; nachfolgend KML abgekürzt) mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites“. In diesem Artikel befassen sich die beiden Autoren mit der Frage, ob beide Mediengattungen in einem komplementären oder substitutiven Verhältnis zu einander stehen. Die späteren empirischen Analysen konzentrieren sich auf die Beantwortung von drei Fragen: „1. Wie verändert sich die Nutzungsintensität von Tageszeitungen und von Nachrichtensites im Zeitverlauf? 2. Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen? 3. Was lässt sich daraus für die Komplementarität oder Substitutivität der Nutzung dieser beiden Mediengattungen folgern?“ (KML: 514). Datengrundlage der Untersuchung ist einerseits die Allensbacher Computer- und Technik-Analyse (ACTA), andererseits die Allensbacher Markt- und Werbeträger-Analyse (AWA).

Die von den Autoren durchgeführten statistischen Analysen sind nach meinem Dafürhalten in vielen Fällen für die Beantwortung der drei Forschungsfragen nicht von Belang, sondern wirken durch den Einsatz von unangemessenen Verfahren sowie der fehlerhaften Befundinterpretationen eher verwirrend. Anliegen dieses Beitrags ist eine kritische Diskussion ausgewählter empirischer Befunde von KML, die vor allem darin besteht, dass ihre Ausführungen eine statistische Genauigkeit suggerieren, die sie gar nicht einhalten können. Im Einzelnen umfasst die Methodenkritik drei Punkte: (1) Die unangemessene Verwendung von linearen Regressionsmodellen sowie (2) die falsche Interpretation von statistischer Signifikanz. (3) Hinzu kommt ein fehlendes Problembewusstsein für ökologische Fehlschlüsse, das heißt den unzulässigen Schluss von Zusammenhängen auf der Aggregatebene auf individuelles Handeln.

Die unangemessenene Verwendung und Interpretation von Regressionsmodellen

(Die in der Vorbemerkung angesprochene Praxis der Zeitreihenanalyse betrifft den nachfolgenden Absatz.  Ich belasse meine Kritik an dieser Stelle und würde mich freuen, wenn mich eine/r eines Besseren belehrt.)

An mehreren Stellen im Aufsatz wird ein zeitlicher Trend, etwa die „Anteile Intensivnutzer überregionaler Nachrichtensites“ (KML: 518, Abbildung 1) mit einem linearen Regressionsmodell „abgesichert“. Um den Trend zu illustrieren, hätte das Einzeichnen der jeweiligen Kurven beziehungsweise Geraden völlig genügt. Doch die Autoren „untermauern“ ihre grafischen Befunde mit den Ergebnissen einer linearen Regression, was zumindest den Eindruck erwecken kann, ein Verständnis des Prozesses erlangt zu haben. Für die überregionalen Abotageszeitungen weisen sie etwa einen „Trend“ (= Regressionskoeffizient) von -0.6 Prozentpunkten pro Jahr (auf zwei Nachkommastellen genau beträgt der Wert -0.58)  aus. Die vollständige Gleichung lautet:

y = 1175.15 + (-0.58)*Jahr,

wobei y den Anteil der Intensivleser (überregional) in Prozent bezeichnet. Im Jahr 0 lag dementsprechend der Anteil der Intensivnutzer bei 1175,15% und im Jahre 2027 wird der Anteil etwa -0.51% betragen. Beide Aussagen sind natürlich sinnlos, lassen sich aber aus dem geschätzten Regressionsmodell ableiten und demonstrieren die Gefahren, die mit dem Einsatz solcher Verfahren verbunden sind. Üblicherweise wird bei Prozent- beziehungsweise Anteilswerten statt des linearen Modells eine sogenannte Beta-Regression vorgenommen, die auf den eingeschränkten Wertebereich (zwischen 0% und 100%) der abhängigen Variablen Rücksicht nimmt (Smithson/Verkuilen 2006). Überhaupt ist fraglich, welchen Sinn es hat, bei sechs Analyseeinheiten eine lineare Regression zu schätzen.

(Ende der Einschränkung …)

Weitere Regressionsanalysen wurden vermutlich auch anlässlich der Frage nach dem Zusammenhang von Alter und der Nachfrage nach aktuellen Informationen durchgeführt. Die auf Seite 523 formulierte Hypothese lautet: „Die Nachfrage nach aktuellen Informationen über […] Print bzw. […] Online ist jeweils eine Funktion des Alters“. Zumindest lässt der Hinweis auf „eine  Funktion des Alters“ darauf schließen, dass auch hier Regressionsmodelle geschätzt wurden. Doch die Ausführungen dazu  und vor allem Abbildung 3 auf Seite 524 lassen sich nicht nachvollziehen. Dort findet sich der Hinweis auf eine „angepasste Normalverteilung“ beziehungsweise ist einige Zeilen später davon die Rede, „dass man an die Verteilung der Intensivnutzer von Nachrichtensites sehr gut eine Normalverteilung mit einem Mittelwert von 38 Jahren anpassen kann [...]“. Während also die Verteilung der Intensivnutzer einer „Normalverteilung folgen soll“, scheint für die „Intensivleser von Abotageszeitungen ein linearer Anstieg mit dem Alter“ vorzuliegen. Eine Normalverteilung beschreibt die (Häufigkeits-)Verteilung eines Merkmals (Sachs/Hedderich 2006: 191ff). „Angepasste Geraden“ beschreiben dagegen den Zusammenhang zwischen zwei Merkmalen. Es ist unklar, was an dieser Stelle überhaupt untersucht wird. Wird die Altersverteilung der jeweiligen Teilstrichproben von Intensivnutzern und Intensivlesern beschrieben? Interessieren sich die Autoren für den funktionalen Zusammenhang zwischen Nutzungsgrad und Alter?

Fehlerhafte Interpretation des Begriffs der statistischen Signifikanz

Als weitere Absicherung und, so ist zu vermuten, um die „Güte“ des Modells zu belegen, weisen die Autoren „p(lineare Regression)“ aus (im vorliegenden Beispiel auf Seite 518 beträgt dieser Wert 0,009). Zur Interpretation dieser Irrtumswahrscheinlichkeit p schreiben sie: „Die Wahrscheinlichkeit, dass nur zufällig eine Regression mit von 0 verschiedener Steigung vorliegt, beträgt auch hier 0,9 Prozent“ (KML: 518). Diese Auffassung von statistischer Signifikanz ist verbreitet, aber falsch (Haller/Krauss 2002). Die Irrtumswahrscheinlichkeit ist immer eine bedingte Wahrscheinlichkeit, nämlich unter der Bedingung, dass in der Population (der Grundgesamtheit) die H0 korrekt ist. Richtigerweise müsste die Formulierung also lauten: Unter der Bedingung, dass in der Population der Steigungskoeffizient („Trend“) gleich 0 ist, beträgt die Wahrscheinlichkeit mit den verwendeten Daten den ermittelten oder einen extremeren F-Wert (Teststatistik des entsprechenden Omnibustestes des linearen Regressionsmodells) zu erhalten 0,009. Formuliert wird also p(Daten|H0) und nicht p(H0) (Fahrmeir et al. 2001: 409).

Auf Seite 525 wollen die Autoren den „Zusammenhang des Anteils an Intensivlesern mit dem Nachrichtenkonsum im Internet“ näher untersuchen und verwenden dazu Chi-Quadrat, einen verbreiteten Test auf Unterschiedlichkeit. Sie schreiben dazu: „Der Effekt ist zwar bis auf das Alterssegment der 14- bis 17-Jährigen schwach, aber durch das durchgängige Auftreten in fast allen Altersgruppen bei hohen Fallzahlen signifikant. Damit ist Hypothese (4a) bestätigt.“ Meine Interpretation würde wie folgt lauten: Es lässt sich nur ein (sehr) schwacher Effekt beobachten, der aber auf Grund der Fallzahlen signifikant ist. Ein substantieller Befund, der klare Unterschiede zwischen Gruppen beschreibt, ist das eben nicht. Dazu schreiben Sachs/Hedderich (2006: 307; Herv. durch die Autoren): „Betont sei auch, dass formale statistische Signifikanz (nur diese kann ein statistischer Test nachweisen!) und wirkliche (praktische) Bedeutung – Relevanz – nicht miteinander verwechselt werden dürfen“.

Das Problem eines ökologischen Fehlschlusses

Eine der einleitend genannten Forschungsfragen thematisiert Bedingungen, unter denen Nutzer von der einen zu der anderen Mediengattung wechseln (KML: 514): „Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen“? Zu den Voraussetzungen, eine solche Frage angemessen beantworten zu können, schreiben die Autoren weiter unten (KML: 514):

„Veränderungen der Mediennutzung lassen sich am verlässlichsten durch eine wiederholte Befragung identischer Personen ermitteln. Nur so kann man direkt die Selektionshandlung – ob singulär oder eher schleichend über sich verändernde Nutzungsintensitäten – dokumentieren.“

Ich interpretiere diese Aussage dahingehend, dass man individuelles Verhalten am besten mit Individualdaten erklären kann – dem stimme ich vorbehaltlos zu. Doch die Analysen der Untersuchung basieren (zumindest teilweise und soweit ich das dem Text entnehmen konnte) auf Aggregatdaten und von Zusammenhängen auf Aggregatebene auf individuelles Verhalten schließen zu wollen, wird in den Sozialwissenschaften als „ökologischer Fehlschluss“ bezeichnet (Diekmann 2004: 116ff).[2]

Es wäre falsch, Kolo und Meyer-Lucht an dieser Stelle den Vorwurf des ökologischen Fehlschlusses zu machen. Tatsächlich sind die empirischen Befunde plausibel, so dass es schwer fällt, einen solchen Fehlschluss zu vermuten. Doch es lässt sich ein fehlendes Problembewusstsein erkennen. Gleich die erste Hypothese lautet etwa: „Die Nachfrage nach aktuellen Informationen ist – unabhängig vom Medium – altersabhängig“ (KML: 523). Meiner Meinung nach wird hier ein Zusammenhang auf Individualebene formuliert, doch die Analysen werden, wie oben erwähnt, auf Aggregatdatenebene ausgeführt. Da hilft auch der am Ende der Hypothesen aufgeführte Hinweis nicht viel, dass die „Hypothesen […] so gewählt [wurden], dass auf Basis der vorliegenden Daten […] ein Überprüfung möglich ist“ (KML 523).

Anhand eines einfachen grafisches Beispiels mit simulierten Daten soll das Problem illustriert werden: In Abbildung 1 wird der Zusammenhang zwischen dem Merkmal Alter (hier: 3 Altersgruppen) und der Nachfrage nach aktuellen Informationen untersucht. In der linken Abbildung (1a) finden sich die Befunde der auf der Aggregatebene durchgeführten Analysen. Die rechte Abbildung (1b) enthält die Befunde der Individualdatenanalysen. In der ersten Abbildung zeigt sich ein klar positiver Zusammenhang und unzweifelhaft lautet die (falsche) Interpretation: Mit dem Alter steigt die Nachfrage nach aktuellen Informationen. In der rechten Abbildung (1b) hingegen wurde der Zusammenhang pro Altersgruppe auf Grundlage der Individualdaten errechnet und nun zeigt sich, dass ein negativer Zusammenhang vorliegt. Wie sich gut erkennen lässt, ergibt sich lediglich durch die unterschiedlichen Nachfrageniveaus ein scheinbar positiver Zusammenhang. Bereits dieses einfache Beispiel belegt eindringlich, welche Folgen ein ökologischer Fehlschluss haben kann.

Abbildung 1: Grafische Illustration eines ökologischen Fehlschluss

Zusammenfassung

Die vorangegangenen Ausführungen haben sich mit einigen methodische Unzulänglichkeiten eines von Kolo und Meyer-Lucht verfassten Beitrags mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites” befasst. Die Hauptthese des Beitrags wird nicht in Frage gestellt, doch es wird behauptet, dass ein Teil der Analysen im Hinblick auf die Fragestellungen des Artikels überflüssig ist oder falsch durchgeführt wurde. Das betrifft etwa die unangemessene Verwendung von linearen Regressionsmodellen (bei Zeitreihendaten; siehe meine einschränkenden Anmerkungen in den Vorbemerkungen) sowie die Interpretation der Ergebnisse. Ein weiteres Problem betrifft die Verwendung von Aggregatdaten, während die Hypothesen teilweise auf der Individualebene formuliert werden. An keiner Stelle im Artikel findet sich der Hinweis auf einen drohenden ökologischen Fehlschluss.

Endnoten

[1] Erste kritische Anmerkungen von mir zu dem Beitrag von KML finden sich auch auf dem KoopTech-Blog.

[2] Die Frage, auf welcher Analyseebene (Individual- oder Aggregatebene) Teile der Untersuchungen letztlich durchgeführt wurden, kann ich nicht beantworten. Eine Nachfrage beim Institut für Demoskopie Allensbach für die ACTA-Daten ergab, dass diese in Verbindung mit einer Software namens mediMACH als Individualdaten bezogen werden können. Inwieweit dann die Analysen, etwa zu den Faktoren der Nutzungsintensität von Tageszeitungen und von Nachrichtensites, diese Individualdaten nutzen, ist mir nicht klar geworden.

Literatur

Diekmann, Andreas, 2004: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Hamburg: Rowohlt.

Fahrmeir, Ludwig, 2001: Statistik. Der Weg zur Datenanalyse. Berlin [u.a.]: Springer.

Fahrmeir, Ludwig, Thomas Kneib, und Stefan Lang, 2007: Regression: Modelle, Methoden und Anwendungen. Berlin, Heidelberg: Springer.

Haller, Heiko, und Stefan Kraus, 2002: Misinterpretations of significance: A problem students share with their teachers?, Methods of Psychological Research Online 7: 1-20.

Kolo, Castulus, und Robin Meyer-Lucht, 2007: Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites, Rundfunk und Fernsehen 55: 513-533.

R Development Core Team, 2008: R: A language and environment for statistical computing <http://www.R-project.org>. Wien: R Foundation for Statistical Computing.

Sachs, Lothar, und Jürgen Hedderich, 2006: Angewandte Statistik: Methodensammlung mit R ; mit 180 Tabellen. Berlin u.a.: Springer.

Smithson, Michael, und Jay Verkuilen, 2006: A better lemon squeezer? Maximum-likelihood regression with beta-distributed dependent variables, Psychological Methods 11: 54-71.

Anhang

Der nachfolgende R-Code (R Development Core Team 2008) repliziert einen Teil der Analysen der in Abbildung 1 (oberste Regressionslinie) auf Seite 518 vorgestellten Befunde.
## Anteil Intensivleser (ueberregional) in Prozent
y <- c(15.0, 13.4, 13.6, 12.9, 11.7, 12.1)
## Historisches Jahr
jahr <- c(2001:2006)
## Schaetzen des Regressionsmodells
summary(fit  <- lm(y ~ jahr))
## Neue Daten fuer Vorhersage erzeugen, Jahr 0 sowie den Zeitraum
## von 2006 bis 2030
vorhersage <- data.frame(jahr = c(0,2006:2030))
## Vorhersage ermitteln
predict(fit, vorhersage)

The basic premise of this book is that scientists are required to perform many tasks with data other than statistical analyses. A lot of time and effort is usually invested in getting data ready for analysis: collecting the data, storing the data, transforming and subsetting the data, and transferring the data between different operating systems and applications.

Many scientists acquire data management skills in an ad hoc manner, as problems arise in practice. In most cases, skills are self-taught or passed down, guild-like, from master to apprentice. This book aims to provide a more structured and more complete introduction to the skills required for managing data.

The focus of this book is on computational tools that make the management of data faster, more accurate, and more efficient. The intention is to improve the awareness of what sorts of tasks can be achieved and to describe the correct approach to performing these tasks and there is an emphasis on working with data technologies via written computer languages.

Ich bin über das Blog von Andrew Gelman darauf gestoßen, der sich an dem Begriff “data technologies” stört und den Begriff “data management” bevorzugt. Wie auch immer, schaut man sich die zentralen Kapitel an, dann wird schnell klar, wohin die Reise geht: Writing computer code, HTML, CSS, Data Entry, HTML Forms, Data Storage, XML, Data Queries, SQL, Data Crunching, R, Regular Expressions.

Paul Murrell ist mir unter anderem als Autor des Buches “R Graphics” bekannt.

1. Eine gelungene Zusammenfassung von Sutton und Higgins zum aktuellen (Methoden)Stand der Meta-Analyse aus (bio/medizin)statistischer Sicht: “Recent developments in meta-analysis“. Wie zu erwarten, werden Meta-Analysen auf Grundlage von individual patient data eine immer gewichtigere Rolle spielen.
2. Die Ankündigung der Tagung “Uneindeutigkeit als Herausforderung. Risiko, amtliche Statistik und Wahrscheinlichkeit” klingt spannend und müsste ich nicht meine Diss zu einem (hoffentlich) guten Ende bringen, hätte es mich in den Süden der Republik verschlagen (ich hätte vor allem gerne die Vorträge von Götz Rohwer, Friedrich Leisch und Thomas Augustin angeschaut). Definitiv ein Thema, dem ich mich nach der Diss widmen werde.
3. Unabhängig von einander und mit unterschiedlicher Stoßrichtung machen sich Gary King sowie Rainer Böhme und Andreas Pfitzmann (via Bamblog) Gedanken über die zukünftige(n) Datengrundlage(n) in den Sozialwissenschaften.
4. R ist in der Version 2.6.0 erschienen. Ich musste lernen, dass die Deinstallation der vorherige Version von R (2.5.1) und das Behalten der alten R-Pakete zu Konflikten führen kann. Aber es gibt wie immer einen Ausweg. Oder sogar noch einen besseren.

[1] Hat nur 108 Minuten gedauert.

(Die Folien wurden mit Sweave unter Verwendung des unglaublich nützlichen sweave.sh-Skriptes von Gregor Gorjanc erstellt.)

Ich bin beileibe keine ESS-Experte, wenn ich das aber richtig verstanden habe, dann gibt es zwei Varianten, nämlich das Anzeigen der Argumentenliste im minibuffer oder als tooltip. Bevor überhaupt irgendetwas funktioniert, muss eine R-Instanz laufen und entweder mindestens ein Befehl an R geschickt oder das Verhalten mit C-c C-s aktiviert worden sein (siehe auch Beitrag von Martin Mächler: “In an *.R buffer, type C-c C-s to activate the feature”).

Im minibuffer sieht das etwa für die Funktion lm (= OLS-Regression) wie folgt aus:

Um die Anzeige als tooltip zu aktivieren, muss in der Emacs-Konfigurationsdatei _emacs folgende Zeile stehen: (setq ess-r-args-show-as 'tooltip). Default ist (setq ess-r-args-show-as nil) . Das Ergebnis sieht dann wie folgt aus:

Schließlich gibt es noch die Funktion ess-r-args-insert, mit der sich sämtliche angezeigten Argument in den eigenen Code einfügen lassen.

Der letzte Hinweis betrifft einige Maßnahmen zur Arbeitserleichterung. Sven Hartenstein hält freundlicherweise einige Lisp-Funktionen (unter “Usage”) bereit, mit denen sich die oben genannten Aufrufe etwa mit den Tasten F2 und F3 verknüpfen lassen (keybinding). Auch diese Änderungen werden in der Datei _emacs vorgenommen.

Zu den Folien der Veranstaltung…