We aim to provide a platform for exchanging expertise on Bayesian methods and to build up a network for European scholars who share common methodological interests.

The conference is based on a workshop-format. Each participant has a 30 minute slot available at his/her disposal to present and discuss his/her research paper. This provides the framework for constructive feedback in a friendly and inspiring atmosphere. Please note that we do not expect you to submit polished papers, but we really welcome work in
progress!

Please register by 28th February 2010 at bayes(at)uni-mannheim.de. The participation fee is 15 Euros for workshop materials and snacks. Funding for accommodation can be provided upon approval of a pending grant application.

More information can be found here: http://www.fis.uni-koeln.de/findingthetas.html

We hope to welcome you all in Mannheim in spring 2010!

Best, the Bayes Conference Team

Blogs von Wissenschaftlern können unter anderem den Zweck verfolgen, etwas mehr Transparenz in das Wissenschaftsgeschäft im Allgemeinen und das universitäre Leben im Besonderen zu bringen. Dazu gehört auch die Lehre und eine sehr kurze Recherche zeigt, dass sich noch nicht besonders viele Lehrende in den Wissenschaften kritisch mit ihrer eigenen Lehre auseinander gesetzt haben — sollte ich falsch liegen, so wäre ich natürlich über entsprechende Hinweise mehr als erfreut. Beginnen möchte ich an dieser Stelle mit dem öffentlichen Wissenschaftler per se, nämlich Christian Spannagel. Als öffentlicher Wissenschaftler reflektiert er (natürlich…) über das Aktive[..] Plenum: Feedback der Studierenden (hier Teil II). Vor kurzem (vorgestern) bin ich dann wieder auf orderfromnoise Aufmerksam geworden, wo sich Jan-Hendrik Passoth fragt, “Was tun mit Evaluationen?“. Dass Lehrevaluationen allein noch nicht für bessere Studienbedingungen sorgen, wird auf dem Academics.Blog unter der Überschrift “Macht der Blick in den Spiegel wirklich schöner?” thematisiert. Kritische Gedanken zu “Die Schwierigkeit der Lehrevaluation” finden sich auch bei Gabi Reinmann. Mir geht es in diesem Beitrag aber gar nicht darum, Lehrevaluationen zu hinterfragen. Ich setzte (zumindest teilweise) ihre Sinnhaftigkeit voraus und möchte im Folgenden über die Evaluation meiner eigenen Veranstaltungen reflektieren und, in gewisser Weise, Studierenden eine Entscheidungsgrundlage bieten, sich möglicherweise für eine meiner Veranstaltungen zu entscheiden.

Im Wintersemester 2008/2009 sowie im Sommersemester 2009 wurden (erstmalig) zwei Lehrveranstaltungen von mir evaluiert. Die Entscheidung für (oder gegen) eine Lehrveranstaltung, basiert im wesentlichen auf zwei Momenten: das Veranstaltungsthema und den Dozenten. Ob einem das Veranstaltungsthema liegt, sagt meist bereits ein Blick in die Studienordnung (“Du musst, weil…”) oder den Ausschreibungstext im kommentierten Vorlesungsverzeichnis (“Klingt interessant…”). Bleibt der Dozent: Wie viel Zeit investiert er in die Lehre? Wie geht er mit Fragen der Studierenden um? Wie hoch ist der Zeitaufwand zur Vor- oder Nachbereitung der Sitzungen? etc. Da auch Studierende nicht dazu neigen, die Katze im Sack zu kaufen, versuchen Sie ggf. Informationen über den Dozenten und seine Lehrveranstaltungen einzuholen (ich habe das zumindest so gemacht). Eine Möglichkeit wäre, die Kommilitoninnen und Kommilitonen zu befragen. Das kann mühsam werden, einfacher wäre es doch, wenn man Zugriff auf die Ergebnisse von Lehrevaluationen hat. Wenn dann noch der Dozent gewillt ist, über diese Befunde zu reflektieren und ggf. Besserung zu gelobt, dann sollte einer (hoffentlich) gelungen Dozentenwahl eigentlich nichts mehr im Wege stehen, oder?

Was enthält der Evaluationsbericht und wie liest man ihn?

Die im Folgenden vorzustellenden Evaluationsergebnisse enthalten drei Bereiche, nämlich “Inhalt und Präsentation”, “Studierverhalten” und die “Dialogorientierung der Lehrperson”. Die zweite Kategorie “Studierverhalten” ist eine Selbstauskunft der Studierenden über ihren eigenen Arbeitsaufwand. Neben der eigentlichen Bewertung in Form einer Schulnote enthält der Bericht immer auch eine relative Positionierung im Vergleich mit “einer Referenzgruppe, die aus sämtlichen Veranstaltungen [...] in den letzten drei Semestern besteht”  (die mit “Gesamtvergleich” überschriebenen bunten Balken). Unglücklicherweise neigen Befragte bei Bewertungen dazu, häufig alles sehr positiv zu sehen. Dieses Verhalten führt dazu, dass der absolute Notenwert nur noch wenig aussagt (alle werden positiv bewertet) und die relative Position häufig aussagekräftiger ist. Im vorliegenden Fall beschreibt für jede Kategorie ein “x”, wo meine Veranstaltung im Gesamtvergleich anzusiedeln ist. Vom WiSo-Evaluationszentrum haben wir eine kleine Interpretationshilfe erhalten, dort heißt es:

Daneben finden Sie in der Rubrik Gesamtvergleich zu jeder Aussage einen Balken. Dieser bezieht sich auf die Häufigkeitsverteilung der durchschnittlichen Studierendenurteile in einer Referenzgruppe, die aus sämtlichen Veranstaltungen Ihres Veranstaltungstyps in den letzten drei Semestern besteht. Diese Balken sind in drei Teilbereiche unterteilt, die eine Flächentransformation der Veranstaltungsbewertungen darstellen: die besten 25%, die mittleren 50% und die 25% kritisch bewerteten Lehrveranstaltungen (s. Legende am oberen Rand).

Man könnte nun eine noch technischere Erklärung hinzufügen, die bspw. die Begriffe Quartile enthält, das lasse ich aber lieber. Die Farbwahl erleichtert die Interpretation hinreichend: grün = gut (“Schulterklopfen”), gelb = Mittelfeld (“soweit ok”), rot = schlecht (“das muss sich ändern”).

Wintersemester 2008/2009: “Interaktion in der Familie”

Im Wintersemester 2008/2009 wurde mein (Grundstudiums-/Bachelor-)Seminar “Interaktion in der Familie” begutachtet und im Gesamtergebnis als gut (1,73) befunden (Evaluationsergebnis als PDF). Grundlage waren 15 Fragebögen (insgesamt haben ca 20 Studierende teilgenommen). Im Gesamtranking der WISO-Fakultät (leider nur im Intranet verfügbar) liegt die Veranstaltung damit auf dem 28. Platz (von insgesamt 225), von den Soziologieveranstaltungen auf dem 4. Platz. Die Kategorie “Inhalt und Präsentation” enthält 17 Items (also Aussagen oder Fragen). Relativ schlecht (roter Bereich) bewertet wurden die Items “Ziel der LV insgesamt deutlich” und “Verständliche Vermittlung”. Ansonsten finden sich die meisten Bewertungen im mittleren Bereich (gelb). (Ganz) Gut bewertet wurden “Stoffumfang zu bewältigen”, “Präsentierte Medien” und “Verwendete Unterlagen”, “Abwechslung” und “Tempo ist angemessen” sowie “Literatur-Empfehlungen hilfreich”.

Das “Studierverhalten” gibt (zumindest teilweise) indirekt Auskunft über den Dozenten: Je besser die Studierenden Ihr eigenes Arbeits- und Lernverhalten einschätzen, desto besser die Motivation etc. Hier muss man sagen, dass die Items “Sitzung nachbereitet” und “Zeitaufwand” in Grenzbereich (am Ende des gelben Balkens) oder gar schon im nicht mehr zu akzeptierenden Bereich (rot) liegen. Recht “erfolgreich” waren meine Bemühungen, die Studierenden zu einer regelmäßigen Teilnahme zu bewegen. Interessant sind auch auch die Teilnahmegründe (“TN, …”; Mehrfachnennungen möglich). 93% der befragten Studierenden fanden das Thema interessant — was bei “Interaktion in der Familie” wenig verwunderlich ist. Nur 27% denken, dass die Teilnahme für ihre berufliche Qualifizierung relevant ist. 33% halten die Lehrperson für sympathisch — hier schwanke ich zwischen “immerhin” oder “na ja” . 40% nahmen aus “Pflicht” teil (Studienordnung etc.).

Der letzte Bereich bezieht sich auf die “Dialogorientierung der Lehrperson” und hier, das freut mich ehrlich gesagt, habe ich gut abgeschnitten. Es ist mir scheinbar gelungen, die Studierenden zu Fragen zu ermutigen, ihre Fragen kompetent zu beantworten und sie in den Lernprozess einzubinden. Das Lernklima untereinander wurde immerhin noch mit der Note 2 bewertet.

Sommersemester 2009: Meta-Analyse

Im Sommersemester habe ich unter anderem die Vorlesung “Meta-Analyse” angeboten, die durch die (Pflicht-)Übung “Meta-Analyse” ergänzt wurde. Insgesamt handelte es sich also um eine Veranstaltung im Umfang von vier Semesterwochenstunden. Von den insgesamt 12 Teilnehmerinnen und Teilnehmern haben 7 den Fragebogen ausgefüllt. Insgesamt wurde diese Veranstaltung mit 2,14 bewertet (Evaluationsergebnis als PDF). Im Gesamtvergleich ist das im Mittelfeld. Ein Gesamtranking liegt zur Zeit noch nicht vor.

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

Ich habe für diese Veranstaltung auch noch einen offenen Fragebogen genutzt, in den die Studierenden detaillierter auf ihre Kritik eingehen konnten. Ein ganz zentraler Kritikpunkt war mein Beharren auf der Statistiksoftware GNU R, um die Analysen durchzuführen. Zwei bis drei der Teilnehmer waren daran interessiert, sich mit GNU R auseinanderzusetzen, für den Rest der Teilnehmerinnen und Teilnehmer war es eher belastend, langweilig oder nervig (in wechselnder Reihenfolge).

Was muss sich ändern?

Da ich in beiden Evaluationen in der Frage der Veranstaltungsziele relativ schlecht abgeschnitten habe, muss ich in Zukunft also die  Relevanz des Themas oder das Anliegen der Veranstaltung in der 1. Sitzung stärker herausstellen. Im Veranstaltungsverlauf sollte dann immer mal wieder der aktuelle Zwischenstand reflektiert werden und ggf. eine Änderung des restlichen Seminarverlaufs erwogen werden. Die Mehrzahl der Studierenden mag scheinbar Strukturen. Also gilt es, noch stärker als bisher (und mir vielleicht lieb ist) Strukturen zu schaffen!

Dazu gehört auch, bereits in künftigen Ausschreibungen im kommentierten Vorlesungsverzeichnis sehr deutlich zu machen, was die Voraussetzungen für eine Teilnahme in meinen Veranstaltungen sind. Ich hoffe, dass mir das für das kommende Wintersemester 2009/2010 gelungen ist (wiederum eine Vorlesung + Übung zur Meta-Analyse). Leider hat dieses Vorgehen auch dazu geführt, dass sich bislang erst 5 Studierende eingeschrieben haben.

Defizite in der “verständlichen Vermittlung” lassen sich nur durch eine noch verständliche Vermittlung ausgleichen . An dieser Stelle könnte man Sachen wie “Lernen-durch-Lehren” stärker einbinden. Methoden des kooperativen Lernens (bspw. Gruppenpuzzle) ermöglichen zudem, in der Gruppe auf Probleme zu stoßen und diese zu diskutieren. Mir als Dozent geben sie eine gute und vor allem unmittelbare Rückmeldung, wo es tatsächlich ‘hakt’.

Sowohl der durch mich vermittelte Zeitaufwand (Soll) als auch die tatsächlich aufgebrachte Zeit werden im Seminar “Interaktion in der Familie” als zu hoch bewertet. Mmmh, das kann eigentlich gar nicht sein Zwar findet sich diese Bewertung in dem Meta-Analyse-Seminar nicht in der gleichen Deutlichkeit wieder, doch durch eine zusätzliche qualitative Befragung weiß ich, dass auch dort der Umfang der Hausaufgaben als zu hoch angesehen wurde.

Aus meiner eigenen Wahrnehmung heraus muss sich noch die rhetorische Gestaltung verbessern. Auch der Einsatz (für mich) “neuerer” Lehrmethoden, lässt noch stark zu wünschen übrig. Didaktisch haben ich (und einige meiner Kolleginnen und Kollegen) noch Nachholbedarf.

Die insgesamt 15 Workshops wurden von zwei ‘Hauptvorträgen’ gerahmt. Der erste Vortrag wurde von Joachim Grzega gehalten und befasste sich mit “Das Leben für Lerner und Lehrer spannender machen – Eine Einführung in LdL”. Für jemanden wie mich war der Vortrag genau richtig, nämlich eine knappe Einführung in LdL. Etwas enttäuschend war die anschließende kurze Diskussion, denn die dort vorgetragenenen Erwiderungen der LdL-Seite auf einige Einwände (“Kennen wir doch schon; Projektunterricht; …”) kamen mir etwas schwach vor. Das mag aber auch an meinem Verständnis gelegen haben…

Anschließend gab es drei Workshopphasen mit je 5 parallel angebotenen Workshops. Die von mir besuchten Workshops haben allerdings auch gezeigt, dass der LdL-Gedanke von den Lehrenden bislang unterschiedlich erfolgreich umgesetzt werden konnte. Mir ist dadurch klar geworden, dass u.U. weniger ein Methoden- als möglicherweise eher ein Haltungswechsel im Vordergrund steht.

Die Tagung fand ihr Ende mit einem insgesamt sehenswerten Vortrag (‘Lange Inkubation, plötzliche Emergenz’) des ‘godfather of LdL’ Jean-Pol Martin. Große Teile des Vortrags fand ich spannend. Für mich etwas ungewohnt waren die anschließenden Ausführungen zu “Was ich an Jean Pol besonders schätze!“.

LdL selbst mag ein überzeugendes Lehr/Lern-Konzept sein und die nächsten Jahre werden zeigen wie gut sich der Ansatz durchsetzten kann. Unabhängig von LdL konnte ich für meine eigene Lehrtätigkeit an der Uni einige gute Gedanken mitnehmen. Die (kostenlose) Tagung  war exzellent und mit großem Engagement organisiert. Die Verbreitung von LdL selbst ist ein gutes Beispiel für die Möglichkeiten des ‘Web2.0′. Denn LdL wird seit Anfang der 1980er Jahre entwickelt und in den letzten (beiden?) Jahren hat die Methodik ungeahnte Verbreitung gefunden. Summa summarum würde ich sagen, dass sich die insgesamt 7 Stunden Fahrt nach Ludwigsburg gelohnt haben (sieht man mal von den durch Wolkenbrüchen überfluteten Straßen, den Hagelschauern und Gewittern ab). Auch wenn ich oben einige kritische Punkte angesprochen habe, so war es doch eine anregende Veranstaltung.

P.S.: Die Haltung zur Evaluation von LdL und der Vergleich mit anderen Methoden ist mir noch nicht ganz klar geworden. Nach meiner Vorstellung sollte eine Lehrmethode, welche die Lernenden motiviert, zu besseren Ergebnissen bei entsprechenden Leistungstests führen.

• (Sozial-)Wissenschaftliches Publizieren mit LaTeX (farbig)
• (Sozial-)Wissenschaftliches Publizieren mit LaTeX (einfarbig, Druckfassung)

Im nachfolgenden Text versuche ich relativ einfach und nicht auf Fachartikel-Niveau die für mich relevanten Punkte der statistischen Datenanalyse darzulegen. Die Idee zu einem solchen Blogbeitrag besteht schon länger und es gab auch schon Textfragmente. Die Motivation, den Artikel fertig zu stellen, habe ich durch den Beitrag “Ich plotte – also bin ich” auf dem Blog “Hinterm Mond gleich links” erhalten. Die dort sowohl im Artikel als auch in den Kommentaren vorgebrachten Einstellungen provozieren den Puristen in mir. Konkret ging es um das Nachbearbeiten einer Grafik, das heißt der Visualisierung von Daten. Dort ist dann von “nachträglich im Bild [d.h. der Grafik, BW] rumzupfuschen” oder “Diagramme meistens in Corel Draw” nachbauen die Rede. Der Pragmatiker (das ist der Gegenspieler des Puristen, s.o) in mir weiß natürlich auch, dass es Situationen geben kann, wo es zu einem solchen Vorgehen keine Alternative gibt (1 Stunde vor einer deadline o.ä.). Insofern wird nachfolgend ein idealisiertes Vorgehen beschrieben, dem auch ich nicht immer vollständig entsprechen kann und das natürlich über meine Kritik an “Ich plotte – also bin ich” weit hinausgeht.

(Übrigens: Weitere Überlegungen zu meinen Arbeitsabläufen finden sich in einem Artikel mit dem Titel “Denkwerk braucht Werkzeug“.)

Eine (zu) knappe Antwort auf die Frage “Woher kommen die Daten?”

(Angewandte) Soziologie befasst sich unter anderem mit der empirischen Prüfung von Theorien. Empirisch bedeutet hier, dass theoretische Überlegungen mit Daten kontrastiert werden. Sofern Theorien passende Annahmen über menschliches Handeln bereit halten, sollten sich diese Annahmen anhand des Datenmaterials belegen lassen. Grob lassen sich zwei Arten von Daten unterscheiden, qualitative und quantitative/statistische Daten. Quantitative Daten sind etwa das Ergebnis von standardisierten (Personen-)Befragungen. Zentrales Merkmal dieses Befragungstyps ist, dass den Befragten nur die Möglichkeit gegeben wird, zwischen bestimmten Antwortmöglichkeiten zu entscheiden. In einer solchen Befragungssituation darf die Frage “Wie häufig kommt es in Ihrer Partnerschaft bei dem Thema „Aufteilung der Hausarbeit“ zu Konflikten? ” etwa nur mit “nie”, “sehr selten”, “gelegentlich”, “häufig”, “sehr häufig” beantwortet werden. Antworten wie “Lassen Sie mich mal überlegen… Also letzte Woche hatten wir einen recht heftigen Streit. Es ging um meine Schwiegermutter. Weiß nicht, insgesamt ein paar Mal” lassen sich (a) nur schwer mit den Antworten anderer Befragten vergleichen und (b) nur schwer in eindeutige Zahlencodes überführen. Gerade aber das ist Gegenstand der quantitativen Soziologie, menschliches Handeln und menschliche Einstellungen zu messen, indem standardisierte Befragungen durchgeführt werden und die erfassten Antworten der Befragten in Zahlenkolonnen überführt werden, die dann wiederum mathematischen/statistischen Verfahren zugänglich sind.

Statistische Datenanalyse ist ein Handwerk

Wenn man die Daten einmal gesammelt hat (diesen Schritt nennt man Datenerhebung) und sicher ist, dass keine Fehler mehr in den Befragungsdaten enthalten sind (Datenbereinigung), dann kann man sich an die statistische Auswertung der Daten machen. Statistische Datenanalyse ist manchmal eine Kunst, in den meisten Fällen jedoch ein erlernbares Handwerk, das bestimmten Regeln (oder Prinzipien) folgt. Im Laufe der letzten Jahre habe ich für mich deren drei erschlossen: Transparenz und Nachvollziehbarkeit, Modularität und Lesbarkeit. Grundlage dieser drei Prinzipien ist eine ‘Philosophie’, die von den Autoren des “Emacs Speaks Statistics”-Mode als “The source code is real” umschrieben wird.

Es gibt keine Geheimnisse (Transparenz)

In Köln werden Studierende der Soziologie früher oder später mit einem der gängigen Statistikprogramme konfrontiert, früher war das SPSS, inzwischen verstärkt Stata (und wenn sie es mir zu tun bekommen, dann auch noch R). Solche Programme (zumindest SPSS und größtenteils auch Stata) lassen sich auf zweierlei Weisen bedienen: (1) Über eine graphische Benutzeroberfläche (Graphical User Interface = GUI) klickt man sich die Befehle zusammen, sinngemäß etwa “Berechne den Mittelwert”, “Erstelle eine Kreuztabelle”, “Zeichne ein Säulendiagramm”. (2) SPSS, Stata wie auch R lassen sich aber auch durch eigene, selbstgeschriebene Programme steuern. Ja, das heißt, dass man etwas Programmieren muss, wobei man sich (meistens) auf wenige Programmbefehle beschränken kann.

Es ist verständlich, dass man sich im Angesicht des Neuen (neue, häufig wenig intuitive Statistiksoftware) und Ungeliebten (Statistik) die eigene Arbeit so einfach wie möglich machen möchte. Im Fall der statistischen Datenanalyse bedeutet das, der graphischen Benutzeroberfläche den Vorzug zu geben und sich die Analyse ‘zusammenzuklicken’. Ein solches Vorgehen hat mehrere Nachteile. Zentrale Schwäche ist jedoch, dass sich damit die Datenanalyse der Überprüfbarkeit durch Dritte entzieht — oder anders formuliert: sie ist nicht transparent. Sofern der Programmcode vorliegt, lässt sich detailliert nachvollziehen, wie die Analyse durchgeführt wurde. Welche Variablen wurden verändert? Bezogen sich die Analysen vielleicht nur auf einen Teildatensatz? Wurden während der Analysen Gewichtungsfaktoren berücksichtigt? Man sollte immer damit rechnen, dass Fragen zu den eigenen Analysen kommen — und zumindest im wissenschaftlichen Kontext wäre es eine grobe Verletzung von Wissenschaftlichkeit, wenn nicht mehr belegt werden kann, wie bestimmte Ergebnisse erstellt wurden. Beispielhaft ist diesbezüglich das Vorgehen von Ulrich Kohler, der für sämtliche seiner Publikationen den entsprechenden Stataprogrammcode öffentlich verfügbar hält, so das es interessierten Wissenschaftlern jederzeit möglich ist, seine Analysen zu replizieren.

Teile und herrsche (Modularität)

Statistische Analysen können sehr schnell sehr komplex werden. Dieser Umstand bezieht sich gar nicht einmal (nur) auf die eingesetzten Verfahren, sondern allein auf die Menge an Programmcode. Für die Analysen im Rahmen meiner Dissertation wurden sicherlich mehr als 5000 Zeilen Programmcode erstellt. Dieser lässt sich (am einfachsten) danach unterscheiden, ob er der Datenaufbereitung (Daten einlesen, neue Variablen erstellen, vorhandene Variablen ändern etc.) oder der Datenanalyse dient. Dementsprechend verwende ich immer mindestens zwei verschiedene Dateien, nämlich initXXX.X (etwa initMeta.R, initGGS.do, initPairfam.sps etc.) und anaXXX.X. Die initXXX.X-Dateien enthalten sämtlichen Code, um Daten für die späteren Analysen aufzubereiten. Folglich enthalten anaXXX.X-Dateien den eigentlichen Analysecode. Ab und an gibt es auch noch funcXXX.X-Dateien, in denen eigene Funktionen definiert werden. Am Anfang der anaXXX.X-Datei wird die initXXX.X-Datei aufgerufen, wenn vorhanden, auch die funcXXX.X-Date. Mit anderen Worten: Vor jedem Analyselauf werden die Daten erneut aufbereitet und so etwas wie ein Analysedatensatz in Form einer einzigen Datei existiert bei mir nicht. So ein Vorgehen ist natürlich nur möglich, wenn der Durchlauf der initXXX.X-Datei nicht mehr als 10 Minuten dauert. Hat aber den Vorteil, dass man ganz sicher immer mit der aktuellen (laut initXXX.X) Datei arbeitet.

Lesbarkeit durch Kommentare

Sofern man nicht mit einem photographischen Gedächtnis gesegnet ist, hat man spätestens in einem halben Jahr vergessen, was etwa die folgende Befehlssequenz bewirken sollte (ich habe das auch schon früher vergessen):

replace f030100m = 0 if (missing(f030100m))
generate zuziehdat = ((f030100j - 1900)*12) + f030100m
generate zuswohn = intdatum - zuziehdat
replace zuswohn = 2 if (zuswohn == 0 | zuswohn == 1)

Deshalb sollte dort ein (oder mehrere Kommentare) Kommentar eingefügt werden, der mindestens erläutert, was die Variablen f030100m und f030100j inhaltlich bedeuten und welche Transformationen zu welchem Zweck vorgenommen werden. Dass diese Kommentare (die sind echt, nicht didaktisch aufbereitet) nicht immer den grammatikalischen Gepflogenheiten der deutschen Sprache genügen, ist eine andere Sache (in Stata können Kommentare u.a. durch “//” eingeleitet werden).

// Dauer des Zusammenlebens = Erhebungszeitpunkt - Zeitpunkt des Zusammenzugs
replace f030100m = 0 if (missing(f030100m))
generate zuziehdat = ((f030100j - 1900)*12) + f030100m
generate zuswohn = intdatum - zuziehdat
// Problem: wenn Interview später intdatum durchgeführt wurde,
//kann zuswohn < 0 sein, deshalb min auf 2 Monate festlegen:
replace zuswohn = 2 if (zuswohn == 0 | zuswohn == 1)

Kommentare können auch dazu dienen, umfassenderen Analysecode zu strukturieren, ihn in einzelne Kapitel zu unterteilen (etwa: deskriptive, psychometrische und multivariate Analysen).

The source code is real

Hinter dem zuvor geschriebenen verbirgt sich ein “The source code is real”-Ansatz. Ausgehend von den ursprünglichen Daten sollte für sämtliche Analyseschritte der entsprechende Programmcode vorhanden sein. Ein kurzer Hinweis auf diese Prinzip findet sich in Folien von Sven Hartenstein; ich bin im Rahmen des ESS-Projektes (Emacs Speaks Statistics) darauf gestoßen. In Abschnitt “6.4 Philosophies for using ESS[S]” heißt es

“The source code is real. The objects are realizations of the source code. Source for EVERY user modified object is placed in a particular directory or directories, for later editing and retrieval.”

• Name der Untersuchung
• Beginn und Ende
• Fallzahl
• URL
• Verantwortlicher/Institution
• Untersuchungsgegenstand
• Methodologie

Diese Liste ist unvollständig und sprachlich gewöhnungsbedürftig… aber eben auch der Anfang einer systematischen Dokumentation von empirischen “Blog-Studien”. Ich komme im Moment nicht dazu, mich damit näher zu befassen. Es wäre aber schade, diese Zusammenstellung ungenutzt zu lassen. Deshalb veröffentliche ich sie hiermit, möge sie anderen von Nutzen sein. Die Lizenzbestimmungen finden sich unterhalb dieses Post (Creative Commons Attribution-Noncommercial 2.0 Germany License).

Download als csv-File (Spaltentrenner ist “;”): studien-weblogs

Eigentlich war es meine Absicht, die nachfolgende Kritik eines Aufsatzes von Kolo und Meyer-Lucht bei der M&K als ‘ordentliche’ Replik einzureichen.[1] Ich habe mit einigen Kolleginnen und Kollegen darüber gesprochen, mir auswärtigen Rat eingeholt und dann den Beitrag etwa 6 Monate liegen lassen. In den letzten Tagen habe ich meine Kritik nochmals ‘hervorgekramt’, habe mich vor allem etwas mit Zeitreihenanalyse beschäftigt und gemerkt, dass Teile meiner Kritik eine durchaus gängige Praxis kritisieren, was diese Kritik wiederum etwas (nicht völlig; etwa die Regression von Anteilswerten) ins Leere laufen lässt. Hinzu kommt, dass es keine fundamentale Kritik ist und die Kernaussage des Artikels, nach der es zu einer „Erosion der Intensivleserschaft“ kommt und „Nachrichtensites“ den Printmedien Nutzer streitig machen, nicht in Frage gestellt wird. Unter diesen Voraussetzungen kommt mir eine Replik bei der M&K etwas übertrieben vor, und daher habe ich mich dazu entschlossen, meine Überlegungen hier auf der Zahlen|Gesellschaft zu veröffentlichen. Zwei weitere Einschränkungen: (1) Es ist kein fertiger Fachartikel, siehe dazu auch die “Zahlen|Gesellschaft als Experimentierfeld“. (2) (Fast) Unnötig zu erwähnen, dass ich hier ausschließlich meine persönliche Meinung vertrete.

Einleitung

In Ausgabe 4/2007 der Medien & Kommunikationswissenschaft findet sich ein Beitrag von Kolo und Meyer-Lucht (2007; nachfolgend KML abgekürzt) mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites“. In diesem Artikel befassen sich die beiden Autoren mit der Frage, ob beide Mediengattungen in einem komplementären oder substitutiven Verhältnis zu einander stehen. Die späteren empirischen Analysen konzentrieren sich auf die Beantwortung von drei Fragen: „1. Wie verändert sich die Nutzungsintensität von Tageszeitungen und von Nachrichtensites im Zeitverlauf? 2. Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen? 3. Was lässt sich daraus für die Komplementarität oder Substitutivität der Nutzung dieser beiden Mediengattungen folgern?“ (KML: 514). Datengrundlage der Untersuchung ist einerseits die Allensbacher Computer- und Technik-Analyse (ACTA), andererseits die Allensbacher Markt- und Werbeträger-Analyse (AWA).

Die von den Autoren durchgeführten statistischen Analysen sind nach meinem Dafürhalten in vielen Fällen für die Beantwortung der drei Forschungsfragen nicht von Belang, sondern wirken durch den Einsatz von unangemessenen Verfahren sowie der fehlerhaften Befundinterpretationen eher verwirrend. Anliegen dieses Beitrags ist eine kritische Diskussion ausgewählter empirischer Befunde von KML, die vor allem darin besteht, dass ihre Ausführungen eine statistische Genauigkeit suggerieren, die sie gar nicht einhalten können. Im Einzelnen umfasst die Methodenkritik drei Punkte: (1) Die unangemessene Verwendung von linearen Regressionsmodellen sowie (2) die falsche Interpretation von statistischer Signifikanz. (3) Hinzu kommt ein fehlendes Problembewusstsein für ökologische Fehlschlüsse, das heißt den unzulässigen Schluss von Zusammenhängen auf der Aggregatebene auf individuelles Handeln.

Die unangemessenene Verwendung und Interpretation von Regressionsmodellen

(Die in der Vorbemerkung angesprochene Praxis der Zeitreihenanalyse betrifft den nachfolgenden Absatz.  Ich belasse meine Kritik an dieser Stelle und würde mich freuen, wenn mich eine/r eines Besseren belehrt.)

An mehreren Stellen im Aufsatz wird ein zeitlicher Trend, etwa die „Anteile Intensivnutzer überregionaler Nachrichtensites“ (KML: 518, Abbildung 1) mit einem linearen Regressionsmodell „abgesichert“. Um den Trend zu illustrieren, hätte das Einzeichnen der jeweiligen Kurven beziehungsweise Geraden völlig genügt. Doch die Autoren „untermauern“ ihre grafischen Befunde mit den Ergebnissen einer linearen Regression, was zumindest den Eindruck erwecken kann, ein Verständnis des Prozesses erlangt zu haben. Für die überregionalen Abotageszeitungen weisen sie etwa einen „Trend“ (= Regressionskoeffizient) von -0.6 Prozentpunkten pro Jahr (auf zwei Nachkommastellen genau beträgt der Wert -0.58)  aus. Die vollständige Gleichung lautet:

y = 1175.15 + (-0.58)*Jahr,

wobei y den Anteil der Intensivleser (überregional) in Prozent bezeichnet. Im Jahr 0 lag dementsprechend der Anteil der Intensivnutzer bei 1175,15% und im Jahre 2027 wird der Anteil etwa -0.51% betragen. Beide Aussagen sind natürlich sinnlos, lassen sich aber aus dem geschätzten Regressionsmodell ableiten und demonstrieren die Gefahren, die mit dem Einsatz solcher Verfahren verbunden sind. Üblicherweise wird bei Prozent- beziehungsweise Anteilswerten statt des linearen Modells eine sogenannte Beta-Regression vorgenommen, die auf den eingeschränkten Wertebereich (zwischen 0% und 100%) der abhängigen Variablen Rücksicht nimmt (Smithson/Verkuilen 2006). Überhaupt ist fraglich, welchen Sinn es hat, bei sechs Analyseeinheiten eine lineare Regression zu schätzen.

(Ende der Einschränkung …)

Weitere Regressionsanalysen wurden vermutlich auch anlässlich der Frage nach dem Zusammenhang von Alter und der Nachfrage nach aktuellen Informationen durchgeführt. Die auf Seite 523 formulierte Hypothese lautet: „Die Nachfrage nach aktuellen Informationen über […] Print bzw. […] Online ist jeweils eine Funktion des Alters“. Zumindest lässt der Hinweis auf „eine  Funktion des Alters“ darauf schließen, dass auch hier Regressionsmodelle geschätzt wurden. Doch die Ausführungen dazu  und vor allem Abbildung 3 auf Seite 524 lassen sich nicht nachvollziehen. Dort findet sich der Hinweis auf eine „angepasste Normalverteilung“ beziehungsweise ist einige Zeilen später davon die Rede, „dass man an die Verteilung der Intensivnutzer von Nachrichtensites sehr gut eine Normalverteilung mit einem Mittelwert von 38 Jahren anpassen kann [...]“. Während also die Verteilung der Intensivnutzer einer „Normalverteilung folgen soll“, scheint für die „Intensivleser von Abotageszeitungen ein linearer Anstieg mit dem Alter“ vorzuliegen. Eine Normalverteilung beschreibt die (Häufigkeits-)Verteilung eines Merkmals (Sachs/Hedderich 2006: 191ff). „Angepasste Geraden“ beschreiben dagegen den Zusammenhang zwischen zwei Merkmalen. Es ist unklar, was an dieser Stelle überhaupt untersucht wird. Wird die Altersverteilung der jeweiligen Teilstrichproben von Intensivnutzern und Intensivlesern beschrieben? Interessieren sich die Autoren für den funktionalen Zusammenhang zwischen Nutzungsgrad und Alter?

Fehlerhafte Interpretation des Begriffs der statistischen Signifikanz

Als weitere Absicherung und, so ist zu vermuten, um die „Güte“ des Modells zu belegen, weisen die Autoren „p(lineare Regression)“ aus (im vorliegenden Beispiel auf Seite 518 beträgt dieser Wert 0,009). Zur Interpretation dieser Irrtumswahrscheinlichkeit p schreiben sie: „Die Wahrscheinlichkeit, dass nur zufällig eine Regression mit von 0 verschiedener Steigung vorliegt, beträgt auch hier 0,9 Prozent“ (KML: 518). Diese Auffassung von statistischer Signifikanz ist verbreitet, aber falsch (Haller/Krauss 2002). Die Irrtumswahrscheinlichkeit ist immer eine bedingte Wahrscheinlichkeit, nämlich unter der Bedingung, dass in der Population (der Grundgesamtheit) die H0 korrekt ist. Richtigerweise müsste die Formulierung also lauten: Unter der Bedingung, dass in der Population der Steigungskoeffizient („Trend“) gleich 0 ist, beträgt die Wahrscheinlichkeit mit den verwendeten Daten den ermittelten oder einen extremeren F-Wert (Teststatistik des entsprechenden Omnibustestes des linearen Regressionsmodells) zu erhalten 0,009. Formuliert wird also p(Daten|H0) und nicht p(H0) (Fahrmeir et al. 2001: 409).

Auf Seite 525 wollen die Autoren den „Zusammenhang des Anteils an Intensivlesern mit dem Nachrichtenkonsum im Internet“ näher untersuchen und verwenden dazu Chi-Quadrat, einen verbreiteten Test auf Unterschiedlichkeit. Sie schreiben dazu: „Der Effekt ist zwar bis auf das Alterssegment der 14- bis 17-Jährigen schwach, aber durch das durchgängige Auftreten in fast allen Altersgruppen bei hohen Fallzahlen signifikant. Damit ist Hypothese (4a) bestätigt.“ Meine Interpretation würde wie folgt lauten: Es lässt sich nur ein (sehr) schwacher Effekt beobachten, der aber auf Grund der Fallzahlen signifikant ist. Ein substantieller Befund, der klare Unterschiede zwischen Gruppen beschreibt, ist das eben nicht. Dazu schreiben Sachs/Hedderich (2006: 307; Herv. durch die Autoren): „Betont sei auch, dass formale statistische Signifikanz (nur diese kann ein statistischer Test nachweisen!) und wirkliche (praktische) Bedeutung – Relevanz – nicht miteinander verwechselt werden dürfen“.

Das Problem eines ökologischen Fehlschlusses

Eine der einleitend genannten Forschungsfragen thematisiert Bedingungen, unter denen Nutzer von der einen zu der anderen Mediengattung wechseln (KML: 514): „Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen“? Zu den Voraussetzungen, eine solche Frage angemessen beantworten zu können, schreiben die Autoren weiter unten (KML: 514):

„Veränderungen der Mediennutzung lassen sich am verlässlichsten durch eine wiederholte Befragung identischer Personen ermitteln. Nur so kann man direkt die Selektionshandlung – ob singulär oder eher schleichend über sich verändernde Nutzungsintensitäten – dokumentieren.“

Ich interpretiere diese Aussage dahingehend, dass man individuelles Verhalten am besten mit Individualdaten erklären kann – dem stimme ich vorbehaltlos zu. Doch die Analysen der Untersuchung basieren (zumindest teilweise und soweit ich das dem Text entnehmen konnte) auf Aggregatdaten und von Zusammenhängen auf Aggregatebene auf individuelles Verhalten schließen zu wollen, wird in den Sozialwissenschaften als „ökologischer Fehlschluss“ bezeichnet (Diekmann 2004: 116ff).[2]

Es wäre falsch, Kolo und Meyer-Lucht an dieser Stelle den Vorwurf des ökologischen Fehlschlusses zu machen. Tatsächlich sind die empirischen Befunde plausibel, so dass es schwer fällt, einen solchen Fehlschluss zu vermuten. Doch es lässt sich ein fehlendes Problembewusstsein erkennen. Gleich die erste Hypothese lautet etwa: „Die Nachfrage nach aktuellen Informationen ist – unabhängig vom Medium – altersabhängig“ (KML: 523). Meiner Meinung nach wird hier ein Zusammenhang auf Individualebene formuliert, doch die Analysen werden, wie oben erwähnt, auf Aggregatdatenebene ausgeführt. Da hilft auch der am Ende der Hypothesen aufgeführte Hinweis nicht viel, dass die „Hypothesen […] so gewählt [wurden], dass auf Basis der vorliegenden Daten […] ein Überprüfung möglich ist“ (KML 523).

Anhand eines einfachen grafisches Beispiels mit simulierten Daten soll das Problem illustriert werden: In Abbildung 1 wird der Zusammenhang zwischen dem Merkmal Alter (hier: 3 Altersgruppen) und der Nachfrage nach aktuellen Informationen untersucht. In der linken Abbildung (1a) finden sich die Befunde der auf der Aggregatebene durchgeführten Analysen. Die rechte Abbildung (1b) enthält die Befunde der Individualdatenanalysen. In der ersten Abbildung zeigt sich ein klar positiver Zusammenhang und unzweifelhaft lautet die (falsche) Interpretation: Mit dem Alter steigt die Nachfrage nach aktuellen Informationen. In der rechten Abbildung (1b) hingegen wurde der Zusammenhang pro Altersgruppe auf Grundlage der Individualdaten errechnet und nun zeigt sich, dass ein negativer Zusammenhang vorliegt. Wie sich gut erkennen lässt, ergibt sich lediglich durch die unterschiedlichen Nachfrageniveaus ein scheinbar positiver Zusammenhang. Bereits dieses einfache Beispiel belegt eindringlich, welche Folgen ein ökologischer Fehlschluss haben kann.

Abbildung 1: Grafische Illustration eines ökologischen Fehlschluss

Zusammenfassung

Die vorangegangenen Ausführungen haben sich mit einigen methodische Unzulänglichkeiten eines von Kolo und Meyer-Lucht verfassten Beitrags mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites” befasst. Die Hauptthese des Beitrags wird nicht in Frage gestellt, doch es wird behauptet, dass ein Teil der Analysen im Hinblick auf die Fragestellungen des Artikels überflüssig ist oder falsch durchgeführt wurde. Das betrifft etwa die unangemessene Verwendung von linearen Regressionsmodellen (bei Zeitreihendaten; siehe meine einschränkenden Anmerkungen in den Vorbemerkungen) sowie die Interpretation der Ergebnisse. Ein weiteres Problem betrifft die Verwendung von Aggregatdaten, während die Hypothesen teilweise auf der Individualebene formuliert werden. An keiner Stelle im Artikel findet sich der Hinweis auf einen drohenden ökologischen Fehlschluss.

Endnoten

[1] Erste kritische Anmerkungen von mir zu dem Beitrag von KML finden sich auch auf dem KoopTech-Blog.

[2] Die Frage, auf welcher Analyseebene (Individual- oder Aggregatebene) Teile der Untersuchungen letztlich durchgeführt wurden, kann ich nicht beantworten. Eine Nachfrage beim Institut für Demoskopie Allensbach für die ACTA-Daten ergab, dass diese in Verbindung mit einer Software namens mediMACH als Individualdaten bezogen werden können. Inwieweit dann die Analysen, etwa zu den Faktoren der Nutzungsintensität von Tageszeitungen und von Nachrichtensites, diese Individualdaten nutzen, ist mir nicht klar geworden.

Literatur

Diekmann, Andreas, 2004: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Hamburg: Rowohlt.

Fahrmeir, Ludwig, 2001: Statistik. Der Weg zur Datenanalyse. Berlin [u.a.]: Springer.

Fahrmeir, Ludwig, Thomas Kneib, und Stefan Lang, 2007: Regression: Modelle, Methoden und Anwendungen. Berlin, Heidelberg: Springer.

Haller, Heiko, und Stefan Kraus, 2002: Misinterpretations of significance: A problem students share with their teachers?, Methods of Psychological Research Online 7: 1-20.

Kolo, Castulus, und Robin Meyer-Lucht, 2007: Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites, Rundfunk und Fernsehen 55: 513-533.

R Development Core Team, 2008: R: A language and environment for statistical computing <http://www.R-project.org>. Wien: R Foundation for Statistical Computing.

Sachs, Lothar, und Jürgen Hedderich, 2006: Angewandte Statistik: Methodensammlung mit R ; mit 180 Tabellen. Berlin u.a.: Springer.

Smithson, Michael, und Jay Verkuilen, 2006: A better lemon squeezer? Maximum-likelihood regression with beta-distributed dependent variables, Psychological Methods 11: 54-71.

Anhang

Der nachfolgende R-Code (R Development Core Team 2008) repliziert einen Teil der Analysen der in Abbildung 1 (oberste Regressionslinie) auf Seite 518 vorgestellten Befunde.
## Anteil Intensivleser (ueberregional) in Prozent
y <- c(15.0, 13.4, 13.6, 12.9, 11.7, 12.1)
## Historisches Jahr
jahr <- c(2001:2006)
## Schaetzen des Regressionsmodells
summary(fit  <- lm(y ~ jahr))
## Neue Daten fuer Vorhersage erzeugen, Jahr 0 sowie den Zeitraum
## von 2006 bis 2030
vorhersage <- data.frame(jahr = c(0,2006:2030))
## Vorhersage ermitteln
predict(fit, vorhersage)

Wer sonst als ein Religionswissenschaftler — nämlich Michael Blume –, hätte die Debatte um die Glaubwürdigkeit von Blogs anstoßen können. In der ARD/ZDF-Online-Studie 2008 wurden Leser wie auch Blogger befragt und diese kommen mehrheitlich zu dem Schluss, dass die auf Weblogs verbreiteten Informationen nicht glaubwürdig sind. In dem Beitrag “ARD/ZDF-Online-Studie 2008 kurz angewärmt” habe ich die Frage aufgeworfen, ob auch Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem haben. Kurz: Wie sinnvoll ist die Annahme, Blogs aller Colour hätten in gleichem Ausmaß Schwierigkeiten damit, ihre Inhalte glaubwürdig an die Frau oder den Mann zu bringen?

Robert Basic hält bereits die Frage für falsch und schreibt – mit Blick auf Strickblogs – dazu: “Die Beurteilung aber von privaten Gesprächen auf Bogs hinsichtlich Qualität und Glaubwürdigkeit ist schlichtweg Bullshit und im höchsten Maße derespektiertlich gegenüber einer Person.” Kann man so sehen, insbesondere für Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs sollten jedoch strengere Kriterien gelten. Was Basic ähnlich sieht: “Davon zu trennen sind die Minderheit der Blogs, die sich thematisch und idealtypisch mit einem einzigen Thema auf ihrem Blog auseinandersetzen. Fachblogs eben, die sehr viel stärker auf die Sachebene abheben und denen es um die Vermittlung von Sachinformationen geht.”

Ausmaß der Glaubwürdigkeit von Blogs nach Nutzergruppen

Als Empiriker möchte ich natürlich Daten haben, die Licht ins unglaubwürdige Dunkel bringen. Auf die Originaldaten der ARD/ZDF-Studie habe ich leider keinen Zugriff, wohl aber auf die Daten der von Jan Schmidt durchgeführten “Wie-ich-blogge”-Studie (WIB). In dieser Untersuchung findet sich folgende Aussage: “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein.” Dieses Item lässt zwar keine Erkenntnisse über Glaubwürdigkeit an sich zu (was mag das auch sein?), sondern stellt diese in Relation zu “klassischen Massenmedien”. Die Antwortmöglichkeiten reichen von 1 („Stimme voll und ganz zu“) bis 5 („Stimme überhaupt nicht zu“). Hohe Werte bedeuten, dass die Befragten Blogs eine hohe Glaubwürdigkeit gegenüber den klassischen Massenmedien einräumen.

Schmidt/Wilbers (2006: 23) berichten einen Gesamtmitteltwert von 3,11, was der Antwortkategorie “teils-teils” entspricht. Darüber hinaus stellen sie auch nach Gruppen (Blogger, Ex-Blogger, nur Leser) getrennte Mittelwerte dar, die zwischen 2,88 und 3,13 liegen. Ex-Blogger (2,88) beurteilen die Glaubwürdigkeit von Blogs etwas geringer als noch aktive Blogger (3,13). Die Gruppe der Nur-Leser liegt mit einem Mittelwert von 3,02 dazwischen. Nachfolgende Abbildung unterscheidet noch zwischen Bloggern mit einem und mehreren Blogs.[1] Es wird deutlich, dass “Multi-Blogger” am “gläubigsten” sind. Die Unterschiede zwischen den Gruppen sind nicht dramatisch groß (die Standardabweichung liegt immerhin bei 1.23 Skalenpunkten), doch man kann sich natürlich fragen, weshalb gerade Ex-Blogger den niedrigsten Wert haben? Sind demgegenüber Befragte mit mehreren Blogs von diesen besonders überzeugt und billigen ihnen daher eine höhere Glaubwürdigkeit zu? (das sind rhetorische Fragen, natürlich kann ich mir ein paar Antworten vorstellen)

Haben auch Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem?

Nun ist aber immer noch unklar, in welchem Ausmaß das “Glaubwürdigkeitsproblem” auch die Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs betrifft (FWW-Blogs). Wie oben angedeutet, erscheint es doch plausibler, unterschiedlichen Blogformen jeweils ein unterschiedlichen Ausmaß an Glaubwürdigkeit zuzubilligen. Es ist hoffentlich nicht allzu despektierlich, wenn ich beispielsweise “MC Winkels weblog” hinsichtlich der Glaubwürdigkeit hinter den ScienceBlogs einordne.  Leider lassen sich mit den WIB-Daten keine Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs identifizieren. Es wurden aber einige Motive des Bloggens abgefragt, die ich mir an anderer Stelle schon einmal angeguckt habe[2]. Hier findet u.a. sich die Aussage, dass gebloggt wird,  “[u]m mein Wissen in einem Themengebiet anderen zugänglich zu machen”. Dieser Aussage würde doch fast jeder FWW-BloggerIn zustimmen, oder? Als “Kontrast” wähle ich diejenigen, die angaben, nur aus Spaß zu bloggen. Es war in der Befragung möglich, beiden Items (“Wissen vermitteln” und “Spaß”) zuzustimmen, doch das scheint eher die Ausnahme gewesen zu sein (Spearman-Korrelation: rho = 0,05). Dieses Vorgehen ist sicherlich nicht unkritisch zu sehen, doch leider gibt es keine besseren Daten.

Die nachfolgende Abbildung vermittelt wiederum einen Eindruck davon, wie die beiden Blogger-Gruppen (linke Abbildung “Spaß-Blogs”, rechte Abbildung “Wissen vermitteln”-Blogs) geantwortet haben. Der Mittelwert für die Angehörigken der “Spaß-Blogs” beträgt 2,96, für die “Wissen vermitteln”-Blogs liegt dieser bei 3,15. Nimmt man den gerundeten Wert, dann Antworten beide Gruppen mit “teils-teils” auf das Item “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein”, doch die “Wissen vermitteln”-Blogger tendieren etwas stärker in Richtig höherer Glaubwürdigkeit. Mit anderen Worten: Betreibe ich selbst ein solches Blog, dann bin ich eher bereit, anderen Blogs mein Vertrauen zu schenken. Welche (psychologischen) Mechanismen dahinter stehen, vermag ich nicht zu sagen. Es kann sein, dass Betreiber eines FWW-Blogs, die sich um eine seriöse Berichterstattung bemühen, ähnliches auch bei anderen Blogs unterstellen. Es kann aber auch auf spezifische Nutzungs-/Rezeptionsroutinen hinweisen, dass heißt, diese Personengruppe liest vorrangig FWW-Blogs.

Dieser Beitrag soll mit einem multiplen (logistischen) Regressionsmodell abgeschlossen werden (N = 3307). Zunächst wurde eine dichotome (0/1) Variable konstruiert, die immer dann den Wert 1 annimmt, wenn der Aussage zugestimmt wurde, dass Weblogs glaubwürdiger sind als die klassischen Massenmedien. Neben dem Alter, dem Geschlecht und dem Bildungsabschluss, wurden die neun abgefragten Blog-Motive erfasst (Multikollinearitätsprobleme lassen wir mal außen vor). Ist der Wert in der Spalte “Estimate” negativ, dann weist das auf eine geringere Glaubwürdigkeit hin. Es gibt einen positiven Alterseffekt (+0.01), dass heißt, je älter die Befragten, desto glaubwürdiger werden Blogs beurteilt. Hingegen sind Frauen eher skeptisch (-0,17). Interessanter ist nun die Tatsache, dass “Wissen zugänglich machen” nach wie vor einen positiven Effekt von +0.27 hat und “Spaß” immer noch einen negativen Wert von -0,18 aufweist.

Die beiden nachfolgenden Abbildungen veranschaulichen den Effekt des “Wissen vermitteln” (bzw. “zugänglich machen”) und des “Spaß-haben”. Es lässt sich gut erkennen, dass der Effekt der Zustimmung zu dem jeweiligen Motiv nur wenige Prozentpunkte ausmacht.

Zusammenfassung

Nach der ARD/ZDF-Online-Studie 2008 haben Blogs ein “Glaubwürdigkeitsproblem”. Glaubwürdigkeit wird in diesem kurzen Beitrag in Kontrast zu den “klassischen Massenmedien” gesehen. Es stellt sich die Frage, ob davon alle Blogs gleichermaßen betroffen sind. Insbesondere die Fach-/Wissenschafts-/WissenschaftlerInnen-Blog (FWW-Blogs) “werben” implizit/explizit mit ihrere Fachkompetenz und hier wäre ein Glaubwürdigkeitsproblem besonders unangenehm. Eine mögliche Erklärungsgröße für die unterschiedliche Bewertungen von Weblogs können unterschiedliche Nutzungspräferenzen sein, was sich im Rahmen dieser kleinen Untersuchung jedoch nicht untersuchen lässt. Bezogen auf die Gruppe der aktiven Blogger zeigt sich, dass die FWW-BloggerInnen eher bereit sind, Blogs im Allgemeinen als glaubwürdig(er) einzustufen.

Endnoten

[1] Die berichteten Mittelwerte unterscheiden sich leicht, weil Schmidt/Wilbers (2006: 23) entgegen ihrer Aussage, die “Weiß-Nicht”-Kategorie auszuschließen, diese doch in die Berechnungen aufgenommen haben.

[2] Irgendetwas in diesem Beitrag (“Überlegungen zur faktoriellen Struktur von Motiven des Bloggens in der WIB-Studie“) ist mit den Labels passiert, die stimmen vorne und hinten nicht. Verdammte Schlamperei! Wer glaubt mir denn jetzt noch?

Unterscheidet sich die Nutzungszahlen von Blogs zwischen 2007 und 2008?

Mit einem Fokus auf Weblogs ist eine der ersten interessanten Zahlen die “gelegentliche oder regelmäßige” Nutzung von Web2.0-Diensten (“Weblog”) in den Jahren 2007 und 2008 (Tabell 3, S. 358). Von einer “gelegentlichen” Nutzung berichten 2007 11%, 2008 nur noch 6% aller Befragten. Die Zahlen für die “regelmäßige” Nutzung liegen bei 3% (2007) beziehungsweise 2% (2008). Naheliegend ist die Frage, ob die Unterschiede der Prozentwerte zwischen den beiden Erhebungszeitpunkten statistisch bedeutsam sind. Tatsächlich zeigt sich, dass die “gelegentliche” Nutzung von Weblogs zwischen 2007 und 2008 überzufällig stark gesunken ist (p = 0.00). Das 95%-Konfidenzintervall[1] der Prozentwertdifferenz liegt zwischen 0.026 und 0.073. Das heißt, die in der Stichprobe beobachtete Differenz von 5 Prozentpunkten kann in der Grundgesamtheit aller Onlinenutzer in Deutschland ab 14 Jahren auch bei 2.6 oder 7.3 Prozentpunkten liegen. Für die regelmäßige Nutzung von Weblogs hingegen finden sich keine bedeutsamen Unterschiede (p = 0.11). Zusammenfassend: Die gelegentliche Nutzung von Weblogs hat deutlich abgenommen, die regelmäßige Nutzung weist keine bedeutsamen Veränderungen auf.[2]

Bedeutung und Glaubwürdigkeit von Weblogs

Tabelle 8 (S. 360) enthält vier Aussagen zu Weblogs, denen “voll und ganz”, “weitgehend”, “weniger” oder “gar nicht” zugestimmt werden konnte. In früheren Beiträgen zu der ARD/ZDF-Online-Studie 2008 gehen weder Jan Schmidt noch Michael Blume auf die Tatsache ein, dass dieser Tabelle lediglich Aussagen von 283 von ursprünglich 1186 Befragten zugrunde liegen — eben genau die Teilstichprobe, die zuvor in Tabelle 7 angegeben hat, Weblogs zu kennen oder zu nutzen. Aus dieser Tabelle repräsentative Aussagen abzuleiten, finde ich gewagt; zumal sich aus Tabelle 7 auch ableiten lässt, dass diese Teilstichprobe eine etwas andere sozialstrukturelle Zusammensetzung aufweist, was wiederum zu Verzerrungen führen kann.

Verwunderlich ist auch, dass gerade einmal 4% der Befragten der Aussage zustimmen, dass die auf Weblogs verbreiteten Informationen voll und ganz glaubwürdig sind. Immerhin 12% stimmen voll und ganz der Aussage zu, dass Weblogs eine Konkurrenz zu professionellen journalistischen Angeboten darstellen. Möglicherweise schätze ich aber auch einfach die Verbindung von “glaubwürdig” und “professionellen journalistischen Angeboten” falsch ein…

Es ist im Kontext einer vergleichsweise allgemein gehaltenen Studie natürlich auch müßig darüber zu klagen, dass sämtliche Blogs in einen Topf geworfen werden und Wissenschafts-/WissenschaftlerInnenblogs mit anderen Bloggattungen verglichen werden. Es wäre jedoch interessant zu erfahren, ob auch W-Blogs in gleichem Maße ein Glaubwürdigkeitsproblem haben (immerhin 71% halten die Informationen für wenig oder gar nicht glaubwürdig). Gibt es Spill-over-Effekte?

Es ist bedauerlich, dass die Originaldaten nicht zur Verfügung stehen, mit deren Hilfe die Korrelationsmatrix für die vier Items konstruiert werden könnte. Danach könnte man sich anschauen, ob es ein gemeinsames latentes Konstrukt gibt. Gibt es Gruppen (Nutzungstypen, Bildungsgruppen etc.), wo diese Korrelationsstruktur variiert?

Fußnoten und Anhang

[1] Die Konfidenzintervalle wurden alle sehr naiv ermittelt, siehe dazu prop.test().

[2] Man sollte an dieser Stelle anmerken, dass ich gegen das Proportionalitätsgesetz verstoße, hier etwas besser erklärt. Mich interessieren aber vor allem die Konfidenzintervalle und die Faustregel, dass sich nicht überlappende Intervalle einen signifikanten Unterschied anzeigen.

Update: Besagte Faustregel ist, wie sich den Kommentaren entnehmen lässt, eher fraglich. Sich nicht-überlappende Konfidenzintervalle weisen auf einen signifikanten Unterschied hin.


## R-Code für die Berechnung der CI und die Konstruktion der Grafik ##
## Test auf Gleichheit von Anteilswerten (H0: p1 == p2 == ... == pn)
## Tabelle 3, S. 358

prop.test(x = c(126,72), n=c(1142,1186))
prop.test(x = c(35,23), n=c(1142,1186))
prop.test(x = c(126+35,72+23), n=c(1142,1186))

##Konstruktion der Grafik
library(lattice)
library(Hmisc)
jahr <- c(2007,2008,2007,2008)
type <- c("gelegentlich","gelegentlich","regelmaessig","regelmaessig")
anteile <-c(11,6,3,2)
lower <- c(
prop.test(x = c(126), n=c(1142))$conf.int[1]*100,
prop.test(x = c(72), n=c(1186))$conf.int[1]*100,
prop.test(x = c(35), n=c(1142))$conf.int[1]*100,
prop.test(x = c(23), n=c(1186))$conf.int[1]*100
)
upper <- c(
prop.test(x = c(126), n=c(1142))$conf.int[2]*100,
prop.test(x = c(72), n=c(1186))$conf.int[2]*100,
prop.test(x = c(35), n=c(1142))$conf.int[2]*100,
prop.test(x = c(23), n=c(1186))$conf.int[2]*100
)
ard <- data.frame(jahr,anteile)
xYplot(Cbind(anteile,lower,upper) ~ jahr, group = type,
ylim = c(-0.5,14), xlim = c(2006.5,2008.5), data = ard, type = "b",
main = "Nutzung von Weblogs", ylab = "Anteil in Prozent", xlab = "Jahr",
scales = list(x = list(at = c(2007, 2008))))


“In diesem Beitrag werden Möglichkeiten und Probleme der Anwendung von Meta-Analysen in der Soziologie diskutiert. Während in anderen Fächern Meta-Analysen weit verbreitet sind, ist vor allem die deutschsprachige Soziologie noch weit davon entfernt, diese regelmäßig einzusetzen. Es wird eine einfache Systematik von Meta-Analysen eingeführt, mit der sich disziplinäre Unterschiede gut beschreiben lassen. Anschließend wird dargestellt, dass Meta-Analysen zur Lösung von vier prototypischen Forschungsproblemen beitragen: (1) Beschreibung und (2) Exploration eines Forschungsfeldes, (3) empirische Überprüfung von Hypothesen und (4) Evaluation von Maßnahmen. Der Beitrag endet mit einer Darstellung von typischen Problemen, wie sie sich bei der Anwendung von Meta-Analysen in der Soziologie ergeben” (250).

Vielleicht noch ein weiteres Zitat, das erläutert, welcher methodologischer Anspruch hinter unseren Ausführungen steht und was sich die Sozialwissenschaften noch stärker zu Eigen machen sollten (siehe Hervorhebung):

“Es kann kein Zweifel daran bestehen, dass die empirische Überprüfung von Theorien das zentrale Forschungsmotiv in den Sozialwissenschaften darstellt. Allerdings ist diese Überprüfung nicht mit einer empirischen Studie getan, vielmehr sind in der Regel viele empirische Untersuchungen in immer unterschiedlichen Testsituationen nötig (Opp 2005: 201). Sofern also Sozialwissenschaftler der Methodologie des kritischen Rationalismus folgen, die eben keine endgültig wahren Theorien vorsieht, wird ihnen eine ständige Überprüfung aktueller Theoriebildung abverlangt” (251).

Was den Sozialwissenschaften beziehungsweise der Soziologie vielfach noch fehlt, ist eine anerkannte Replikationskultur, die ihren Niederschlag auch in entsprechenden Fachpublikationen findet. Während etwa in der Physik kein Experiment anerkannt wird, wenn nicht mindestens eine weitere Arbeitsgruppe es replizieren kann, gefallen sich große Teile der empirischen Sozialwissenschaften darin, möglichst originell zu sein und jede Studie, jede Befragung als etwas “Neues” zu konzipieren. In dem Artikel gehen wir etwa auf das “Operationalisierungschaos” zum Schulschwänzen ein. Insgesamt habe ich für meine Diss 15 verschiedene Studien zum Schulabsentismus zusammengetragen, die — mehr oder minder — das Schulschwänzen auf 15 verschiedene Arten und Weisen messen. Unter diesen Voraussetzungen einen Befundvergleich vornehmen zu wollen, ist schwierig und die Frage, was die bisherigen Untersuchungen erbracht haben, lässt sich nur schwer beantworten.

(Inwieweit quantitative Forschungssynthesen / Meta-Analysen hier besonders hilfreich sein können, ist Gegenstand meiner Diss beziehungsweise zweier Artikel, die gerade in Arbeit sind.)

Zum anderen geht es um den Sammelband “Problemverhalten und Gewalt im Jugendalter. Erscheinungsformen, Entstehungsbedingungen, Prävention und Intervention“, der von Scheithauer et al. herausgegeben wurde (Kohlhammer). Dort sind wir (Wagner, Dunkake und Weiß) mit einem Beitrag zu “Schulschwänzen aus soziologischer Perspektive” vertreten. Der von mir verfasste Teil ist allerdings seit Erscheinen meiner Disserationsschrift überholt bzw. deutlich/dramatisch weiterentwickelt worden.

“Der wohl wichtigste Grund für die rasche Entwicklung dieses Forschungsfelds ist die in zahlreichen Disziplinen beobachtbare rasante Expansion der empirischen Forschung, was einige auch als „increasingly chaotic output of contemporary research“ (Hunt 1997: 1) bezeichnen. Selbst Experten eines Forschungsgebiets überblicken nicht mehr den Stand der Forschung. Diese Wissensexplosion ist in der Medizin besonders augenfällig: Heitmann (2001: 41) spricht von über 25000 biomedizinischen Zeitschriften, in denen weltweit jährlich über zwei Millionen Artikel erscheinen.”

Interessant in dieser Hinsicht ist auch der Beitrag “Literaturflut – Informationslawine – Wissensexplosion. Wächst der Wissenschaft das Wissen über den Kopf?” von Marx und Gramm (2002).

Für die (deutschsprachige) Soziologie liegen, soweit ich das einschätzen kann, keine vollständigen Statistiken vor, mit deren Hilfe sich das Ausmaß soziologischer Wissensproduktion quantifizieren lassen könnte — wobei ich auch nur vom empirischen Zweig der Soziologie sprechen möchte. Ein simple Messung liefern Statistiken über die eingereichten Manuskripte und die Annahmequote der Kölner Zeitschrift für Soziologie und Sozialpsychologie (KZfSS). Ein Streudiagramm der eingereichten und schließlich auch veröffentlichten Manuskripte über die Jahre 1977 bis 2006 macht in meinen Augen deutlich, dass man auch jeden Fall nicht von einem Wachstum sprechen kann. Dass die Zahl der veröffentlichte Manuskripte relativ konstant ist, verwundert wenig, denn eine Zeitschrift kann über die Jahre nicht immer mehr Beiträge publizieren; auch die Kumulation der Zahlen macht das noch einmal deutlich.

Spannender ist zweifellos die obere Hälfte der Abbildung, wo die Zahl der eingereichten Manuskripte abgetragen wurde. 1987 wurden 134 Manuskripte eingereicht, was dem Maximum der Verteilung entspricht und seitdem ist eine leichte Abnahme zu verzeichnen — so suggeriert es zumindest die Kurve. Da dies keine ordentliche bibliometrische Analyse ist, fällt mir zu den Gründen wenig ein. Eine Ursache könnte sein, dass die Notwendigkeit gestiegen ist, Artikel in englischsprachigen Zeitschriften zu publizieren, was mit einer Verringerung der eingereichten Manuskripte für deutschsprachige Zeitschriften (hier der KZfSS) einhergeht. Eine definitive Aussage darüber setzt aber eine Untersuchung sämtlicher deutschsprachiger Soziologiezeitschriften voraus.

Literatur

Heitmann, Kai U., 2001: Literaturrecherche im Internet. S. 41–47 in: Karl W. Lauterbach und Matthias Schrappe (Hg.): Gesundheitsökonomie, Qualitätsmanagement und Evidence-based Medicine. Eine systematische Einführung. Stuttgart: Schattauer.

Hunt, M. M., 1997: How Science Takes a Stock. New York: Russel Sage Foundation.

Marx, W., und G. Gramm, 2002: Literaturflut – Informationslawine – Wissensexplosion. Wächst der Wissenschaft das Wissen über den Kopf? (2. Mai 2008).

Wagner, Michael, und Bernd Weiß, 2006: Meta-Analyse als Methode der Sozialforschung. In: Diekmann, Andreas (Hg.): Methoden der Sozialforschung. Sonderheft 44 der Kölner Zeitschrift für Soziologie und Sozialpsychologie.

Zur eigenen Immunisierung: Ich halte mich nicht für einen großen Stata-Experten; also, wie immer im WWW gilt, dass die Nutzung auf eigene Gefahr geschieht. Feedback ist natürlich willkommen.

Meine Dissertationsschrift “Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus” befasst sich vor allem mit methodischen Fragen der Durchführen von Forschungssynthesen in der Soziologie. Diese werden in “Nachrichten von der eigenen Forschungsfront” skizziert.

Der Beitrag “Potentiale und Probleme von Meta-Analysen in der Soziologie” stellt kurz einen entsprechenden Zeitschriftenartikel vor, der in der Zeitschrift “Sozialer Fortschritt” erschienen ist. Es ist kein Einführungsartikel in das Thema Meta-Analyse.

Neben der Cochrane Collaboration hat sich auch die Campbell Collaboration die Institutionalisierung von Forschungssynthesen zur Aufgabe gemacht. Die Campbell Collaboration richtet jährlich das “Campbell Collaboration Colloquium” aus und der Konferenzbericht “Impressionen aus Vancouver vom 8. C2 Colloquium” stellt aus meiner Sicht einige der Höhepunkte vor.

Selektivitätsprobleme sind in den empirischen Sozialwissenschaften immer ein großes Problem. Die Validität von Meta-Analysen ist unter anderem durch den sogenannten publication bias gefährdet. Der Artikel “Publication bias in Forschungsreviews” befasst sich mit diesem Thema.

Technischer geht es in dem Posting “Meta-Analyse mit ML-Schätzer in R” zu. In aller Kürze stelle ich vor, wie man in R mit der Funktion MiMa (An S-Plus/R Function to fit Meta-Analytic Mixed-, Random-, and Fixed-Effects Models) von Wolfgang Viechtbauer eine bivariate Meta-Regression durchführt.

Der Artikel “Schulabsentismus — Soziologische Analysen zum Einfluss von Familie, …” stellt das gleichnamige und von Michael Wagner herausgegebene Buch vor.

Weitere Analysen zum Schulabsentismus wurden im Rahmen meiner Dissertationsschrift vorgenommen. Diese trägt den Titel “Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus”. Eine sehr knappe Vorstellung der Fragestellung erfolgt in den “Nachrichten von der eigenen Forschungsfront“.

Zentrale Befunde des Kölner Forschungsprojektes “Paarkonflikte, Kommunikation und die Stabilität von Partnerschaften” finden sich im Beitrag “Ergebnisse des Kölner Projektes ‘Paarkonflikte, …’ — Folien verfügbar“.

In “Worüber streiten sich Paare?” stelle ich vor, welche partnerschaftlichen Lebensbereiche wie stark von Konflikten betroffen sind.

Ob häufige Konflikte Folgen für die Partnerschaftsstabilität haben können, wird in “Was sich liebt das neckt sich? Konflikte und Paarstabilität” näher beleuchtet.

Teilsweise erfordert die Untersuchung von Paardaten spezielle Analysetechniken. Im Rahmen einer Fortbildung mit dem Titel “Die Analyse dyadischer Daten” habe ich einige davon thematisiert.

Unter dieser Rubrik werden zumeist Detailprobleme aus dem weiten Feld der empirischen Sozialforschung aufgegriffen. So mache ich mir beispielsweise “Spontane und eher kritische Gedanken zum Scholarz.survey” — doch es gilt auch die anschließenden Reaktionen der von mir kritisierten Befragung zu beachten.

Was ist ein ökologischer Fehlschluss? “Das ist ein ökologischer Fehlschluss“.  Was ist das Problem mit dem klassischen Signifikanztest? “The Earth Is round (p < .05)“.

Eines meiner Lieblingsthemen: Visualisierung. Wie das etwa mit GGobi aussehen kann, demonstriere ich in “Interaktive und explorative Datenanalyse mit GGobi“. Manchmal sind Grafiken mehr und Tabellen weniger: “Using Graphs Instead of Tables“.

1. Quantitative Forschungssynthesen / Meta-Analyse
2. Schulabsentismus / Schulschwänzen / Schulverweigerung
3. Partnerschaftskonflikte / Partnerschaftsstabilität / Partnerschaftsqualität
4. Tücken und Techniken der empirischen Sozialforschung

Im Rahmen des am Kölner Forschungsinstitut für Soziologie angesiedelten DFG-Projektes “Paarkonflikte, Kommunikation und die Stabilität von Partnerschaften” haben wir uns auch mit der Frage befasst, worüber sich Paare beziehungsweise die Partner “in die Haare kriegen”. Dabei werden insgesamt 12 Lebensbereiche unterschieden. Ich berichte nachfolgend nur die Befunde auf Personenebene.[1]

Für jeden Lebensbereich wurde erhoben, wie häufig es zu Meinungsverschiedenheiten[2] kommt. Es wurde folgende Frage gestellt: “In jeder Partnerschaft gibt es Themen, über die man unterschiedlicher Meinung ist. Wie häufig kam es in letzter Zeit in Ihrer Partnerschaft über folgende Dinge zu Meinungsverschiedenheiten?”. Mögliche Antwortkategorien waren: 1 nie; 2 sehr selten; 3 gelegentlich; 4 häufig; 5 sehr häufig. Paare mit Kindern wurden zusätzlich noch nach der Häufigkeit von Meinungsverschiedenheiten bei der Erziehung der Kinder gefragt. Die nachfolgende Tabelle zeigt, wie intensiv Auseinandersetzungen in verschiedenen Lebensbereichen von beiden Partnern wahrgenommen werden. Die Angaben für Frauen und Männer werden mit Hilfe eines t-Testes verglichen. Große t-Werte, die zusätzlich mit einem Sternchen gekennzeichnet sind, bedeuten, dass es statistisch bedeutsame Unterschiede zwischen den Angaben von Frauen und Männern gibt.

Es fällt auf, dass es keinen Lebensbereich gibt, in dem extrem viele Konflikte auftreten. Die Mittelwerte der Konflikthäufigkeit über alle Gruppen hinweg schwanken zwischen 1,5 und 2,5; aufgerundet entspricht das den Antwortvorgaben „sehr selten“ und „gelegentlich“. Zu den Bereichen mit einer geringen Konflikthäufigkeit gehören der Kinderwunsch und das Thema Freundeskreis. Häufiger werden Konflikte bei der Freizeitgestaltung, der Aufteilung der Arbeiten zwischen den Partnern (zum Beispiel Hausarbeit, Erwerbstätigkeit/Ausbildung oder Kinderbetreuung), der Kindererziehung oder der Frage, wie beide Partner miteinander umgehen, wahrgenommen.

*: p<0,10

(Empfehlungen für ein gutes Wordpress Tabellen-plugin nehme ich gerne entgegen.)

Die nachfolgende Abbildung gibt die oben aufgeführten Mittelwerte in grafischer Form wieder, wobei die einzelnen Themen nach Häufigkeit geordnet dargestellt werden. Die Ergebnissen der Playboy/TNS Emind-Umfrage ähneln unseren Befunden. Bei Spiegel Online heißt es dazu:

46 Prozent der Befragten gaben in einer vom Männermagazin “Playboy” initiierten Umfrage an, dass Sauberkeit und Ordnung in der Partnerschaft das größte Konfliktpotential bergen.

Auf Platz zwei folgen mit jeweils 35 Prozent die Themen “Verwandtschaft”, “Kinder” sowie “unterschiedliche Vorstellungen zur Freizeitgestaltung”.

Auch die Abbildung verdeutlich, dass die Freizeitgestaltung, die Arbeitsteilung im Haushalt sowie Fragen der Kindererziehung den häufigsten Anlass für Meinungsverschiedenheiten bieten.

Die vorliegenden Befunde sind zudem mit denen der Kölner Studie[3] vergleichbar. Es zeigt sich auch dort ein erhöhtes Auftreten von Konflikten bei den Themen Freizeitgestaltung und Kindererziehung. Bei dem Thema Kinderwunsch werden sowohl im Mini-Panel als auch bei den Kölner Paaren die wenigsten Konflikte berichtet. Vergleicht man beide Befragungen weiter, so lässt sich ein Unterschied in den Angaben zu einem Konfliktthema, dem Freundeskreis, erkennen: Im Mini-Panel rangiert dieses Thema im unteren Feld, bei den Kölner Paaren eher im mittleren Feld.

Insgesamt gibt es also gute Gründe anzunehmen, dass vor allem der Paaralltag (Freizeitgestaltung, Aufteilung der Hausarbeit, Fragen der Kindererziehung) Anlass zum offenen Streit gibt — zumindest geben das die Partner in der Befragung an. Fundamentalere Partnerschaftsbereiche (Umgang miteinander, Sexualität, Kinderwunsch) werden nicht so häufig genannt. Das muss aber nicht bedeuten, dass die Partner mit diesen Themen konfliktfrei umgehen — sie werden nur seltener an- und ausgesprochen und damit als ein manifester, offener Konflikt wahrgenommen und damit in einer Befragung genannt.

Fußnoten/Literatur

[1] Sämtliche hier dargestellten Ergebnisse entstammen einem von Bernd Weiß und Michael Wagner verfassten Sammelbandbeitrag mit dem Titel “Stehen Konflikte einer guten Partnerschaft entgegen? Eine empirische Analyse auf Grundlage dyadischer Daten”. Der Beitrag wird irgendwann in diesem Jahr in einem Band des Pairfam-Projektes erscheinen. Den Analysen liegen die Daten des Pairfam Mini-Panels zugrunde.

[2] Die beiden Begriffe „Meinungsverschiedenheit“ und „Konflikt“ werden hier synonym verwendet. Im Fragebogen wurde jedoch auf Meinungsverschiedenheiten Bezug genommen. Diese Frage ist nicht unwichtig, wird aber im vorliegenden Beitrag nicht näher diskutiert.

[3] Wagner, Michael, und Bernd Weiß, 2005: Konflikte in Partnerschaften. Erste Befunde der Kölner Paarbefragung. In: Zeitschrift für Familienforschung. Heft 3, 2005: 217-250

Für heitere Minuten sorgte die Antwortkategorie “weder noch”. So lautet etwa eine Frage: “Welche Tools, Anwendungen und Dienste nutzen Sie für Ihre wissenschaftliche Arbeit?” Ein mögliches Item ist “scholar.google.com” und folgende Antwortmöglichkeiten stehen zur Auswahl: “nutze ich nie”, “nutze ich selten”, “weder noch”, “nutze ich häufig”, “nutze ich sehr häufig”, “kenne ich nicht”. Was ist denn “weder noch” für eine Antwort?

Auch die Frage “Welche Themen interessieren Sie in Blogs?” Lässt sich mit “weder noch” beantworten. “weder noch” ist hier die Mittelkategorie zwischen “interessiert mich überhaupt nicht” und “interessiert mich sehr”.

Sicherlich lässt sich darüber streiten, ob eine differenzierte Antwort auf das Item “Ich war früher mal in der Wikipedia aktiv” notwendig ist. “Trifft es überhaupt nicht zu”, dass ich früher mal in der Wikipedia aktiv war oder “trifft eher nicht zu”, dass ich früher mal in der Wikipedia aktiv war. Vermutlich “trifft [es, B.W.] eher zu”, dass ich früher mal in der Wikipedia aktiv war. Ich nehme an, dass das (frühere) Aktivitätsausmaß erfasst werden soll, ob das gelingt, wage ich aber zu bezweifeln.

Items wie “Desktopbasierte Lösungen helfen mir nichts” (Frage: “Aus welchen Gründen präferieren Sie eine webbasierte Lösung?”) sind kein Stimulus, der Varianz generieren wird. Meine Vermutung — das Gegenteil lässt sich dann vielleicht bei der Auswertung belegen.

Gewöhnungsbedürftig ist auch die Tatsache, dass sich der Fragebogen komplett durchklicken lässt, ohne eine einzige Antwort gegeben zu haben — die typische Online-Befragung “erzwingt” normalerweise immer einer Antwort, ansonsten geht es nicht weiter. Ich kenne mich aber mit Online-Befragungen nicht wirklich aus und kenne nicht die sich u. U. ergebenden Konsequenzen.

Gibt es eigentlich irgendwelche Fragen zur Soziodemographie (Alter, Geschlecht, Berufserfahrung etc.)? Ich erinnere mich nicht mehr daran — und noch einen leeren Fragebogen möchte ich nicht mehr produzieren.

Da es eine zweite Befragungswelle geben soll, besteht die Möglichkeit, den Fragebogen noch einmal an der einen oder anderen Stelle zu überarbeiten. Um nicht nur zu kritisieren, erkläre ich hiermit meine Bereitschaft als “Beta-Tester”.

Nachtrag:

Anlässlich der oben erwähnten Befragung möchte ich auf ein sehr nützliches ZUMA How-to “Question Wording – Zur Formulierung von Fragebogen-Fragen” von Rolf Porst verweisen. Jede/r Sozialwissenschaftler/in sollte einmal im Leben den Kurs “Grundlagen der Fragebogenentwicklung” von Rolf Porst besucht haben. Auch für sein Buch “Fragebogen. Ein Arbeitsbuch” möchte ich an dieser Stelle eine Empfehlung aussprechen. Ich gebe zu, in unserer letzen Befragung (mindestens) das 7. Gebot “Du sollst Fragen mit eindeutigem zeitlichen Bezug verwenden!” verletzt zu haben.

The basic premise of this book is that scientists are required to perform many tasks with data other than statistical analyses. A lot of time and effort is usually invested in getting data ready for analysis: collecting the data, storing the data, transforming and subsetting the data, and transferring the data between different operating systems and applications.

Many scientists acquire data management skills in an ad hoc manner, as problems arise in practice. In most cases, skills are self-taught or passed down, guild-like, from master to apprentice. This book aims to provide a more structured and more complete introduction to the skills required for managing data.

The focus of this book is on computational tools that make the management of data faster, more accurate, and more efficient. The intention is to improve the awareness of what sorts of tasks can be achieved and to describe the correct approach to performing these tasks and there is an emphasis on working with data technologies via written computer languages.

Ich bin über das Blog von Andrew Gelman darauf gestoßen, der sich an dem Begriff “data technologies” stört und den Begriff “data management” bevorzugt. Wie auch immer, schaut man sich die zentralen Kapitel an, dann wird schnell klar, wohin die Reise geht: Writing computer code, HTML, CSS, Data Entry, HTML Forms, Data Storage, XML, Data Queries, SQL, Data Crunching, R, Regular Expressions.

Paul Murrell ist mir unter anderem als Autor des Buches “R Graphics” bekannt.

Meine persönliche Motivation nach Vancouver zu kommen, bestand zum einen in der Präsentation einiger Dissertationsbefunde. Mein methodisch orientierter Vortrag hat an einem Beispiel aus der Schulabsentismusforschung die (möglichen) Unterschiede zwischen Meta-Analysen auf Grundlage von Aggregatdaten (hier: odds ratios) sowie von Individualdaten thematisiert.

Meta-Analysen haben das Ziel, den empirischen Forschungsstand in einem bestimmten Bereich oder zu einer bestimmten Fragestellung zusammenzufassen. Zusammen mit Michael Wagner habe ich beispielsweise eine Forschungssynthese erstellt, die der Frage nach dem erreichten Forschungsstand in der “Scheidungsursachenforschung” nachging — oder kurz gefasst: den Risikofaktoren der Ehescheidung. Es gibt eine Menge empirischer Untersuchungen in diesem Forschungsfeld, auf europäischer Ebene haben wir etwa 120 Arbeiten sichten können (Wagner/Weiß 2006). In dieser Situation den Forschungsstand qualitativ-beschreibend erfassen zu wollen, ist (fast) ein Ding der Unmöglichkeit. Also bestand unsere Aufgabe darin, in einer Art von Inhaltsanalyse alle empirischen Befunde aus den einzelnen Artikeln herauszusuchen und sie zusammen mit anderen Informationen in eine Datenbank einzutragen. Die Einträge in der Datenbank wiederum konnten dann statistisch analysiert werden. Diese empirischen Befunde waren in unserem Fall Regressionskoeffizienten aus ereignisanalytischen Modellen. Weil diese Statistiken das Trennungsrisiko von bestimmten Personengruppen beschreiben (etwa von Frauen oder Personen, die zum Zeitpunkt der Eheschließung unter 21 Jahren alt waren), lassen sie sich auch als Aggregatdaten bezeichnen.[1] In den erwähnten Regressionsmodellen finden sich gewöhnlich mehrere dieser Regressionskoeffizienten und sie haben (teilweise) die unangenehme Angewohnheit, “miteinander zu reagieren” (eine verständlichere Formulierung fällt mir nicht ein). Im Modell von Forscherin A befinden sich Koeffizienten der Merkmale X1, X2 und X3, während Forscher B zwar auch die Koeffizienten für X1 und X3 ermittelt hat, doch er hat X2 weggelassen und dafür X4 in sein Modell aufgenommen. Beide haben also X1 und X2 untersucht, doch die Gelehrten (Brüderl 2004; Wagner/Weiß 2004) “streiten” sich noch darüber, ob sich die Befunde zu X1 und X2 einfach in einer Meta-Analyse zusammenfassen lassen, obgleich sie eigentlich nicht miteinander vergleichbar sind. Jetzt kommen die Individualdaten ins Spiel: Wenn ich die Originaldaten habe, nicht länger nur die publizierten Studienbefunde, dann kann ich (a) meine eigenen Aggregatdaten produzieren und (b) auf Grundlage der Individualdaten Modelle schätzen und dann die Ergebnisse von (a) und (b) miteinander vergleichen. Genau das habe ich mit Datensätzen zum Schulschwänzen gemacht. Um genau zu sein, habe ich mich der Frage gewidmet, ob Jugendliche mit Migrationshintergrund häufiger die Schule schwänzen als deutsche Jugendliche. Das methodische Ergebnis meiner Untersuchungen lautet, dass auf Grundlage von Aggregatdaten sämtliche Kennziffern zur Erfassung der statistischen Unsicherheit (Standardfehler, Zwischenstudienvarianz) unterschätzt und der eigentliche Zusammenhang von Schulschwänzen und Migrationshintergrund überschätzt wird — das gilt nur für meinen spezifischen Datensatz, ich habe also eine Fallstudie durchgeführt. Das war — sehr kurz gefasst — das Thema (beziehungsweise das Problem) meines Vortrags.

Meine persönliche Motivation bestand des Weiteren darin, mit Forschenden in Kontakt zu kommen, die sich mit ähnlichen Fragestellungen befassen. So gabe es etwa eine Veranstaltung “Complexities in Meta-analysis” in der uns zwar in 90 Minuten 5 Vorträge um die Ohren gehauen wurden, die aber mehr als spannend waren. Federführend war Betsy J. Becker, die drei Präsentationen gegeben hat, die beiden anderen wurden von Ihren Studentinnen (Soyeon Ahn und Ying Zhang) bestritten. Tatsächlich thematisierte einer ihrer Vorträge auch mein Problem mit der Meta-Analyse von Regressionskoeffizienten. Sie hat ihre Ausführungen auf das klassische lineare Modell bezogen und schlägt vor, die Koeffizienten in “semi-partial correlations” umzuwandeln und diese dann zu synthetisieren. Ich weiß noch nicht, ob mich das überzeugt; auf jeden Fall werde ich mir ihre Artikel zu diesem Thema genau angucken. Meine Idee, sich dem Problem mit einer Simulation zu nähern, konterte sich locker mit dem Hinweis, dass einer ihrer Studenten sich im Rahmen seiner “doctoral thesis” schon damit befassen würde.

Heute (Dienstag) habe ich mir unter anderem einen Vortrag von Ray Block angehört, der zusammen mit Betsy J. Becker ein Projekt zur Messung von politischem Interesse bearbeitet. Titel seines Vortrags war “Be Specific!” How Item Specifity can Influence Self-Reported Levels of Political Interest”. Seine Ausführungen haben sich unter anderem mit dem zeitlichen Wandel des politischen Interesses (in den USA) befasst und vor allem der Frage, inwieweit beobachtbare Veränderungen tatsächlich sozialen Phänomenen geschuldet sind oder nicht eher (unbeabsichtigte) Methodeneffekte (Platzierung der Items, Anzahl der Antwortkategorien) sind. Der Gehalt an Meta-Analyse war gering, doch der Vortrag war gut.

Erwähnenswert ist schließlich noch die Präsentation von Therese Pigott, Meng-Jia und Ryan Williams, die über “Methods of synthesizing regression results” gesprochen haben. Ja, das Thema kam nun schon mehrfach vor… Die Schwierigkeit mit der Meta-Analyse von Regressionskoeffizienten ist, wie oben erläutert, dass sie verschiedenen Modellen entstammen, in denen für unterschiedliche Variablensets kontrolliert wurde (X1,X2,X3 vs X1,X2,X4). Pigott et al. haben nun die Idee gehabt, das als ein “missing data”-Problem aufzufassen. Forscherin A hat nicht für X4 kontrolliert und Forscher B nicht für X3. Auf Grundlage einer Korrelationsmatrix (die man leider auch eher selten in den Publikationen antrifft) simulieren sie entsprechende Individualdatensätze und wenden dann typische Imputationsverfahren an. Anschließend lassen sich alle fehlenden Koeffizienten schätzen und können anschließend in die Meta-Analyse eingehen. Soweit die Theorie. Ryan war so nett, mir nur etwa 58 Minuten nach ihrem Vortrag ihr paper zuzuschicken. Doch das kann ich mir erst in Köln genauer angucken.

Außerdem könnte ich noch von einem sehr unterhaltsamen Vortrag von Ben Levin berichten, der über “Evidence for Decision-Making in Education” gesprochen hat. Es ging viel um “knowledge mobilization” und gegen Ende kam mehrfach der Hinweis auf die Nützlichkeit von Web2.0-Techniken für die Forschung, die Forschenden und die Vermittlung von Forschung. Mehr gibt es hier.

[1] Um genau zu sein, stammt der Begriff aus dem medizinischen Zweig der Meta-Analyse und dort ist von “aggregate patient data” die Rede. Ich verwende “aggregate person data”, kurz APD.

Literatur

Josef Brüderl, 2004: Meta-Analyse in der Soziologie: Bilanz der deutschen Scheidungsursachenforschung oder “statistischer Fruchtsalat”?, Zeitschrift für Soziologie 33: 84-86.

Wagner, Michael, und Bernd Weiß, 2004: Die Bilanz der Scheidungsforschung bleibt eine Bilanz. Eine Antwort auf Josef Brüderl. Zeitschrift für Soziologie 33: 87-89.

Wagner, Michael, und Bernd Weiß, 2006: On the Variation of divorce risks in Europe: Findings from a meta-analysis of European longitudinal studies. In: European Sociological Review 22: 483-500

(zum Vergrößern auf die Abbildung klicken)

Eine annehmbare Erklärung findet sich bei der englischen Wikipedia: Ecological Fallacy.

Wie immer: R-Code (ziemlicher Hack…)

Some of you know I have a new penchant for tool-building. Well, the latest creation of the QDAP lab is a blog scraping tool. The tool is designed to allow you to set up accounts to automatically capture blog posts on one or several blogs and to archive the data in a plain text format “ready-to-be-coded” inside QDAP’s Coding Analysis Toolkit.

For anyone who ever wanted to study blogs, this is a big step forward. The emphasis here is on a user-friendly interface and a seamless system for capturing and coding blog data. Now, this is a brand new tool and probably a bit buggy. However, it works well enough that we invite you to set up an account and start capturing blog data. No doubt there are some of you interested in the blogs and Election 08. To create a new blog scraping account, please visit:

https://surveyweb2.ucsur.pitt.edu/qblog/page_login.php

To learn more about the Coding Analysis Toolkit, please visit:

http://www.qdap.pitt.edu/cat.htm

To learn about my lab, please visit:

http://www.qdap.pitt.edu/

Seit Oktober 2007 ist David Spiegelhalter Winton Professor of the Public Understanding of Risk. Nicht nur der Titel dieses Lehrstuhls ist sehr ansprechend, sondern auch die im Aufbau befindliche Seite “Understanding Uncertainty“. Zwar gibt es dort noch nicht viel zu sehen, doch Force of Mortality, eine Flashanwendung, illustriert auf ansprechende Weise die Sterbewahrscheinlichkeit in Abhängigkeit von Alter und historischem Jahr (1986 bis 2006). Grundlage sind britische Sterbetafeln, wie sie auch schon bei den Zahlenbildern eingeführt wurden.

Ergänzt werden diese Befunde durch die gelungene Veranschaulichung von Ereignisdatenmodellen [1] (siehe den Reiter “behaviours”). Es wird deutlich wie mit dem “An- oder Ausschalten” bestimmter Risikofaktor (Ernährung, Rauchen, Sport, Alkohol) die Überlebenswahrscheinlichkeit (d.h. ein bestimmtes Lebensalter zu erreichen) zu – oder abnimmt. Für die oben gezeigte Grafik gilt, dass gerade einmal (oder immerhin) 5% aller 45-Jährigen (im Jahr 2006) 100 Jahre oder älter werden.

Wenngleich die Seite noch im frühen alpha-Stadium ist, so sind die ersten Eindrücke verheißungsvoll. Eindeutig ein Projekt, welches man im Auge behalten sollte.

[1] Wen es interessiert, sie haben ein Cox-Modell geschätzt.