1. Eine gelungene Zusammenfassung von Sutton und Higgins zum aktuellen (Methoden)Stand der Meta-Analyse aus (bio/medizin)statistischer Sicht: “Recent developments in meta-analysis“. Wie zu erwarten, werden Meta-Analysen auf Grundlage von individual patient data eine immer gewichtigere Rolle spielen.
2. Die Ankündigung der Tagung “Uneindeutigkeit als Herausforderung. Risiko, amtliche Statistik und Wahrscheinlichkeit” klingt spannend und müsste ich nicht meine Diss zu einem (hoffentlich) guten Ende bringen, hätte es mich in den Süden der Republik verschlagen (ich hätte vor allem gerne die Vorträge von Götz Rohwer, Friedrich Leisch und Thomas Augustin angeschaut). Definitiv ein Thema, dem ich mich nach der Diss widmen werde.
3. Unabhängig von einander und mit unterschiedlicher Stoßrichtung machen sich Gary King sowie Rainer Böhme und Andreas Pfitzmann (via Bamblog) Gedanken über die zukünftige(n) Datengrundlage(n) in den Sozialwissenschaften.
4. R ist in der Version 2.6.0 erschienen. Ich musste lernen, dass die Deinstallation der vorherige Version von R (2.5.1) und das Behalten der alten R-Pakete zu Konflikten führen kann. Aber es gibt wie immer einen Ausweg. Oder sogar noch einen besseren.

[1] Hat nur 108 Minuten gedauert.

Konkreter Anlass für die nachfolgenden Notizen ist ein Artikel (s.u.) im Economist, den ich erst fast überlesen hätte und der mich dann doch länger beschäftigt hat als ich dachte. Über kritische Anmerkungen oder auftretende Verständnisfragen würde ich mich freuen.

Klimamodelle, Soziologie und Unsicherheit

Die Diskussion um Anwendungen/Probleme/Vorteile Bayesianischer Statistik findet sich inzwischen auch in Magazinen wie The Economist wieder. Der mit Gambling on tomorrow überschriebene Artikel erläutert die “Schwierigkeiten”, die sich aus einer Bayesianischen Perspektive mit der Modellierung des Klimas ergeben [1]. Die Autoren heben vor allem auf den “problematischen” Umgang mit so genannten Prior-Informationen ab und den Konsequenzen, die sich für die Vorhersagen von Klimaphänomenen ergeben. In verschiedenen Simulationsläufen lassen sich diese Prior-Annahmen variieren:

“But models are not given single runs. Since the future is uncertain, they are run thousands of times, with different values for the parameters, to produce a range of possible outcomes. The outcomes are assumed to cluster around the most probable version of the future. [...] The particular range of values chosen for a parameter is an example of a Bayesian prior assumption, since it is derived from actual experience of how the climate behaves—and may thus be modified in the light of experience. But the way you pick the individual values to plug into the model can cause trouble.”[2]

Die Vorhersage von Prozessen/Ereignissen setzt natürlich das Verstehen der kausalen Mechanismen voraus. Vorhersagen werden in der Soziologie nur selten vorgenommen, meist ist man mit dem Verstehen der sozialer Prozesse ausreichend beschäftigt. Implizit wird mit dem häufig praktizierten Schluss von der Stichprobe auf die Grundgesamtheit natürlich auch eine (Art von) Vorhersage getroffen. Was der oben zitierte Artikel insgesamt etwas randständig behandelt, ist eines der zentralen Motive angemessen zu betonen, sich mit bayesianischen Methoden zu befassen, nämlich dem angemessenen Umgang mit Unsicherheit. Jede Vorhersage (“Since the future is uncertain”), jede soziologische Inferenz ist mit Unsicherheit behaftet.

Kritische Anmerkungen zur gängigen Praxis

Bislang gründet sich die empirische Soziologie auf einem frequentistischen Konzept von (Inferenz)Statistik. Die frequentistische Statistik definiert Wahrscheinlichkeit als die relative Häufigkeit (“frequentistisch”) einer großen Zahl von Zufallsexperimenten. Je mehr Stichproben aus ein und derselben Grundgesamtheit gezogen werden können, desto besser (mit einer größeren Wahrscheinlichkeit) lässt sich der gesuchte Populationsparameter schätzen. Diese Situation ist hypothetisch, da zumeist nur eine einzige Stichprobe gezogen werden kann. Auf Grundlage aller (hypothetisch unendlich vielen) Stichprobenziehungen lässt sich eine (hypothetisch exakte) Schätzung des wahren/unveränderlichen/fixen Populationsparameters vornehmen. Doch wie sicher können wir auf Grundlage unserer Modellannahmen eigentlich sein, den “Entstehungsprozess” des Parameters angemessen beschrieben zu haben? Wäre nicht ein Ansatz fairer/transparenter, der ausdrücklich solche (subjektiven, von mir aus auch theortisch fundierten) Modellannahmen bei seinen Parameterschätzungen und vor allem bei den Maßen zur Reliabilität dieser Schätzungen (Fehlervarianz) berücksichtigt?

In der Bayesianischen Statistik wird dem Parameter vorab eine Prior-Wahrscheinlichkeit [3] zugewiesen. Der gesamte Modellierungsprozess setzt also, zumindest konzeptionell, bereits vor dem Vorliegen von Daten an, indem a priori Informationen über den Parameter bestimmt werden müssen. Formuliert (beziehungsweise formalisiert) werden diese so genannten Prior-Informationen in Form einer Wahrscheinlichkeitsverteilung. Prior-Informationen können als zusätzliche Datenpunkte interpretiert werden. Was sind die Konsequenzen? Liegt wenig empirisches Datenmaterial vor, dann beeinflussen Prior-Informationen die Parameterschätzungen stark. Ihr Einfluss sinkt mit zunehmenden Fallzahlen.

Wird einem Parameter aber eine Prior-Wahrscheinlichkeit zugewiesen, dann ist die Annahme schwierig, es gäbe eine unbekannte Konstante, die (mit Aufwand zwar) beliebig genau geschätzt werden kann. Mit dem Zuweisen eines Wahrscheinlichkeitsmodell wird die (subjektive) Ungewissheit über den “wahren” Wert zum Ausdruck gebracht. Beide Ansätze unterscheiden sich jedoch letztlich nicht darin, einen einzigen, festen Parameter anzunehmen.[4]

Wenn der Gedanke, eine Prior-Wahrscheinlichkeit zu formulieren, erst einmal akzeptabel erscheint, eröffnen sich die Vorzüge dieses Ansatzes: Einer der Vorteile Bayesianischen Denkens in der Statistik ist die Tatsache, dass sich konkrete Wahrscheinlichkeitsaussagen über die Zuverlässigkeit der Parameterschätzungen treffen lassen. Diese Wahrscheinlichkeit wird als Posterior-Wahrscheinlichkeit bezeichnet. Nach einigen mentalen Verrenkungen, das Wesen der statistischen Signifikanz und die Frage nach der H0 vs. H1 im Innersten erfassen zu können, habe ich diesen Umstand schätzen gelernt. Außerdem werden die Schätzungen en passant noch für die oben beschriebene Unsicherheit korrigiert.

Warum also nicht?

Warum befasst sich die Soziologie nicht mit einem solchen Ansatz? Fabio Rojas hat sich auf orgtheory.net dieser Frage gewidmet — leider nicht der Frage, warum es für die Soziologie Sinn machen sollte, sich mit Bayes zu befassen. Folgende Gründe, ergänzt um eigene Überlegungen lassen sich aufzählen:

1. Mangelnde Ausbildung und damit einhergehende Ignoranz neuen Verfahren gegenüber.
2. Geringe Akzeptanz seitens der peers in den Begutachtungsverfahren. Was natürlich den ersten Punkt verstärkt. Gleichzeitig wird dieser Ausbildungsmangel aber auch keine fähigen Gutachter hervorbringen — ein Teufelskreis.
3. Es gibt (bislang) keine leicht verständliche Software. Verbreitet sind Programme wie WinBUGS oder OpenBUGS, die wenig massenkompatibel sind . In R gibt es inzwischen einige Pakete, die Erleichterungen bringen, aber das setzt natürlich den Umgang mit R voraus. Hinzu kommt, dass die Schätzverfahren (MCMC), die solche Programme üblicherweise verwenden, alles andere als eingängig sind.
4. Fehlendes Marketing der Bayesianer und hier mach Rojas folgenden Vorschlag: “Bayesians simply haven’t packaged it right for mass consumption yet. Suggested motto – ‘Confidence intervals that you can understand!’ I’d buy it”.
5. Im vierten Punkt wird auf die so genannten credibility intervals angespielt, die üblicherweise “breiter” als Konfidenzintervalle sind. Was natürlich auch als “Nachteil” im Sinne fehlender statistischer Bedeutsamkeit und damit geringerer Veröffentlichungswahrscheinlichkeit verstanden werden kann (Stichwort publication bias).

Weiterführende Literatur

• Eines der Standardwerke haben sicherlich Gelman et al. (2003) mit “Bayesian Data Analysis” verfasst. Ist aber keine leichte Lektüre.
• Von Scott M. Lynch ist kürzlich erst eine “Introduction to Applied Bayesian Statistics and Estimation for Social Scientists” erschienen.
• … die Liste wird fortgesetzt.

Fußnoten

[1] Die Autoren haben aber auf jeden Fall Schwierigkeiten, die Begriffe “Wetter” und “Klima” sinnvoll voneinander abzugrenzen. Den Unterschied erklärt zum Beispiel das Max-Planck-Institut für Meteorologie.

[2] Eine Bewertung der Zuverlässigkeit solcher Klimamodelle findet sich in dem gut lesbaren Artikel von Jouni Räisänen (2007) : “How reliable are climate models? “, Tellus A 59 (1), 2–29.

[3] Wie man zu diesen Prior-Annahmenkommt, ist eine eigene Geschichte. In den meisten Fälle werden so genannte nicht-informative Priors benutzt. Im Falle eines Regressionskoeffizienten würde das etwa bedeuten, dass man die Vorabannahme trifft, er sei mit N(0, 1e+06) normalverteilt. Das heißt man unterstellt einen Nulleffekt und eine riesige Streuung (= große Unsicherheit bezüglich des “wahren” Wertes). Andere Anwendungen verwenden uniforme Verteilungen.

[4] Es fehlt sicherlich noch eine genauere Erläuterung, was “subjektiv” heißt. Andrew Gelman spricht in einem seiner Beitrage zu “Bayes and Popper” auch von “objective Bayes” und erklärt das leider nur in wenigen Sätzen. In seinem Beitrag kommt auch die Falsifizierbarkeit von Theorien zur Sprache; hätte ich auch noch ansprechen können.