Wenngleich bei der letzten Evaluation nur sieben Studierenden teilgenommen haben, so ließen sich doch einige Schwächen meiner Veranstaltung identifizieren. Interessant ist nun der Vergleich zur aktuellen Evaluation — wenngleich auch hier wegen der geringen Fallzahlen (N=13) den Unterschieden keine allzu große Bedeutung zukommt!

Zu “Inhalt und Präsentation” schrieb ich beim letzten Mal:

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Insgesamt habe ich mich (auf deskriptiver) Ebene leicht verbessern können. Erfreulich ist, dass das “Ziel der LV insgesamt deutlich” geworden ist (M=1,46). Auch die Punkte “Interesse geweckt” (M=2,31), “Stoffumfang” (2,08) und “Hohe Leistungsanforderungen” (2,08) wurden etwas besser beurteilt. Schön ist auch, dass “Interesse am Lernerfolg” (M=1,46) und “LP auch bei Fragen verfügbar” (M=1,38) gewürdigt wurden (als Frühaufsteher fällt es mir leicht, auch Sonntags um 5 Uhr Mails zu beantworten .

Was die Kategorie “Studierendenverhalten” betrifft, so schrieb ich damals:

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

In der aktuellen Evaluation zeigt sich, dass die Studierenden das “Lernklima” schätzen (M=1,69) und sich kontinuierlich auf die Sitzungen vorbereitet haben (M=1,85). Die tatsächlich aufgebrachte Wochenarbeitszeit für die Lehrveranstaltung ist von 104 Minuten auf 146 Minuten gestiegen; was ganz schön viel ist. Leider sind meine Sympathiewerte dramatisch gesunken; das heißt, haben zuvor 86% der Studierenden ihre Teilnahme auch durch die “sympathische LP” begründet, sind es aktuell nur noch 46%.

Insgesamt hat sich die Bewertung der Veranstaltung von 2,14 auf 1,96 verbessert; ist also immer noch eine glatte Zwei.

Weitere, etwas unsortierte Überlegungen:

• Begeistert haben mich die Forschritte einiger Studierender. Dachte ich zu Beginn des Semesters noch, dass der eine oder die andere eine gewisse Herausforderung sein würde, so muss ich im Rückblick sagen, dass es eine gute und produktive Mitarbeit gab — damit einhergehend auch entsprechend (sehr) gute Klausurleistungen.
• Wiederum haben ich darauf bestanden, dass sämtliche statistischen Analysen mit R durchgeführt werden… und auch hier muss ich sagen, dass es erstaunlich gut geklappt hat. Zumindest besser als in den vorangegangenen Veranstaltungen.
• In der Abschlussdiskussion wurde kritisch angemerkt, dass meine Unterlagen (im wesentlichen Folien) bereits zu Beginn des Semesters vorliegen sollten; es sei schwierig, die eigenen Notizen und nachträglich vorgenommene Änderungen meinerseits zu synchronisieren. Wenn ich Teilnehmer wäre, würde ich das auch so sehen. Auch wenn diese Veranstaltung bereits zum dritten Mal durchgeführt wurde, bin ich mit meinen Folien (immer noch) nicht zufrieden und versuche mich ständig daran, sie zu verbessern. Dass ich das nicht bereits in der vorlesungsfreien Zeit abschließen konnte, liegt schlicht an den sonstigen (dringenderen) Arbeiten; Lehre zählt nicht viel im Lebenslauf. Ein weiterer Grund ist immer noch das Fehlen eines einschlägigen Lehrbuchs, so dass ich gezwungen war, viele Beispiele und Rechenübungen selbst zu konzipieren.
• Anlässlich der Evaluation im Sommersemester 2009 schrieb ich auch, dass ich in der Ausschreibung stärker auf die für diese Veranstaltung notwenigen (statistischen und methodischen) Grundlagen eingehen muss, um eine stärkere Selektivität der Studierenden zu erreichen. Das ist mir leider (wieder) nicht gelungen. Das Selbstbild der Studierenden mit Blick auf die Kenntnis bestimmter statistischer Konzepte (Inferenzstatistik, Regression, …) und das tatsächliche Wissen sind nicht besonders stark korreliert. In Zukunft wird es vermutlich zielführender sein, den Studierenden (kleinere) Aufgaben vorzulegen und diese müssen selbsttätig abschätzen, ob sie in der Lage sind, diese Aufgaben zu lösen.
• Dass ich “Lernen-durch-Lehren” stärker eingesetzt hätte, kann ich leider auch nicht sagen. Gefallen habe ich daran gefunden, die Studierenden (kurze) Präsentation über ihre Probleme (z.B. beim Lesen von Texten) erstellen zu lassen.
• Weniger gut scheint meine Idee funktioniert zu haben, bestimmte statistische Konzepte (Standardfehler, Konfidenzintervall, Unterschied zwischen fixed und random effects model, Zwischenstudienvarianz) mit Hilfe von Simulationen zu illustrieren. Ein Grund ist wohl der Tatsache geschuldet, dass ich immer auch gleich den R-Code präsentiert habe. Es ist nicht einfach, sowohl die Idee der Simulation zu verstehen und dann noch durch den (nicht immer trivialen) R-Code durchzusteigen. Gleichwohl denke ich, dass Simulationen im Rahmen der Statistikausbildung hilfreich sein können.

Prekäre Beschäftigungsverhältnisse, Partnerschaftsqualität und der aktuelle Kinderwunsch

Mitte März (18./19.3.) wird ein Beitrag von uns (zusammen mit Ina Berninger und Michael Wagner) auf dem Bib-Workshop “Lebensformen in Krisenzeiten” präsentiert, der sich mit “Prekäre Beschäftigungsverhältnisse, Partnerschaftsqualität und der aktuelle Kinderwunsch” befasst.

Nachfolgend ein Auszug aus dem Vortragsabstract:

Im Beitrag wird untersucht, ob prekäre Beschäftigungsverhältnisse in Form von niedrigem Einkommen oder subjektiver Unzufriedenheit mit der Arbeitsplatzsicherheit, den aktuellen Kinderwunsch beeinflussen. Während das Einkommen von Männern als Haupternährer der Familie einen positiven Effekt auf die Fertilitätsentscheidung haben sollte, führt ein hohes Einkommen bei Frauen zu Opportunitätskosten, welche den aktuellen Kinderwunsch negativ beeinflussen sollten. Die Unzufriedenheit mit der Arbeitsplatzsicherheit resultiert möglicherweise nur bei schlecht ausgebildeten Frauen in einen verstärkten Kinderwunsch. Diese Frauen streben die Mutterschaft an, da sie nicht die Mittel haben, ihre unsichere Beschäftigungssituation zu verbessern.

Des Weiteren wird im Beitrag nicht nur der direkte Effekt der beruflichen Situation auf eine Fertilitätsentscheidung betrachtet, sondern ferner die indirekte, vermittelnde Auswirkung der Partnerschaftsqualität bestimmt. Hierbei wird angenommen, dass ein prekäres Beschäftigungsverhältnis als externer Stressfaktor die Konflikthäufigkeit in Partnerschaften erhöht und das Konfliktverhalten der Partner verschlechtert. Dies führt im Weiteren zu einer niedrigeren Partnerschaftsqualität, was wiederum den aktuellen Kinderwunsch negativ beeinflussen sollte.

Die Analysen basieren auf einer Teilstichprobe des  deutschen  Generations and Gender Surveys. Es werden kinderlose Paare betrachtet, bei denen  der weibliche Partner zwischen 18 und 45 Jahren alt ist.

Erste Analyseergebnisse zeigen, dass der aktuelle Kinderwunsch nur schwach mit der Einkommenssituation und der Zufriedenheit mit der Arbeitsplatzsicherheit assoziiert ist. Sehr deutlich zeigt sich hingegen, dass ein Kinderwunsch umso wahrscheinlicher wird, je besser die Qualität der Partnerschaft ist. Die Konflikthäufigkeit und das Konfliktverhalten vermitteln den Zusammenhang zwischen der Beschäftigungssituation und der Qualität der Partnerschaft. Bei Frauen ist in dieser Hinsicht die Einkommenssituation bedeutsam, für Männer die Zufriedenheit mit der Arbeits-
platzsicherheit. Diese Ergebnisse lassen vermuten, dass ein weiterer Anstieg prekärer Beschäftigungsverhältnisse den Kinderwunsch negativ beeinflusst und damit die Fertilität reduziert.

Wir werden unsere Befunde auch noch auf der Frühjahrstagung der Sektionen “Soziale Ungleichheit und Sozialstrukturanalyse” und “Familiensoziologie” in der Deutschen Gesellschaft für Soziologie mit dem Titel “(Re-)Produktion von Ungleichheit durch Arbeit und Familie. Veränderungen in den 20 Jahren seit der Wende” vom 15.-16. April 2010 vorstellen.

Using a Combination of Individual and Aggregate Participant Data in Meta-Analysis: A Case Study on the Determinants of Unexcused School Absenteeism

Ende März geht es dann nach Dortmund auf die DAGStat 2010. Dort werde ich folgendes Paper vorstellen: “Using a Combination of Individual and Aggregate Participant Data in Meta-Analysis: A Case Study on the Determinants of Unexcused School Absenteeism“.

Nachfolgend die Zusammenfassung des Vortrags:

Meta-analysis of individual participant data (IPD) are known to be considerably less biased than those based on aggregate participant data (APD). In contrast to many other disciplines, German social scientists are in the comfortable situation of having direct access to most individual participant datasets via the GESIS Data Archive for the Social Sciences. However, some social scientists do not share their datasets but publish their findings in journals or books. So, being interested in conducting a meta-analysis using \emph{all} available evidence, we have to deal with a mixture of APD and IPD. \citet{sutton:2008} introduced a new approach which allows synthesizing both individual level and aggregate level binary outcome data while exploring the effects of binary covariates. These are also available through a combination of individual participant and aggregate level data. This approach is based on a Bayesian framework and BUGS language is used to implement the models.

Based on 11 individual participant datasets, \citet{weiss:2008} conducted a meta-analysis on the determinants of unexcused school absenteeism. In particular, the analysis focused on the interaction between attending the Hauptschule and having a migrational background for the risk of playing truant.This recently developed meta-analytical approach was tested in this case-study. 5 out of 11 datasets (approx. $48.000$ pupils) were artificially aggregated while the other 6 datasets (approx. $9.000$ pupils) remained unchanged. Having a mixture of APD and IPD one could compare the findings of a completely IPD based meta-analysis (11 studies), a reduced IPD meta-analysis (6 studies) as well as a fully APD based meta-analysis with this new approach. Given that a completely IPD based meta-analysis represents the best estimator, this newly developed method rendered the second best. Furthermore the analysis of the reduced IPD dataset resulted in the third-best estimator and completely biased results were obtained by an only APD based meta-analysis.

Finding Thetas in Europe – Applied Bayesian Statistics and MCMC Methods in the Social Sciences

Anfang April (8./9. April 2010) findet die initiale Konferenz “Finding Thetas in Europe – Applied Bayesian Statistics and MCMC Methods in the Social Science” in Mannheim statt, die ich zusammen mit Kölner und Mannheimer Kollegen organisiere — die meiste Arbeit dürften aber die Mannheimer Kollegen haben. Meines Wissens nach ist dies die erste (auf deutschem Boden) organisierte Zusammenkunft von Sozialwissenschaftler/innen, die Interesse an Bayesianischen & MCMC Methoden haben. Ich bin bereits sehr gespannt…

Blogs von Wissenschaftlern können unter anderem den Zweck verfolgen, etwas mehr Transparenz in das Wissenschaftsgeschäft im Allgemeinen und das universitäre Leben im Besonderen zu bringen. Dazu gehört auch die Lehre und eine sehr kurze Recherche zeigt, dass sich noch nicht besonders viele Lehrende in den Wissenschaften kritisch mit ihrer eigenen Lehre auseinander gesetzt haben — sollte ich falsch liegen, so wäre ich natürlich über entsprechende Hinweise mehr als erfreut. Beginnen möchte ich an dieser Stelle mit dem öffentlichen Wissenschaftler per se, nämlich Christian Spannagel. Als öffentlicher Wissenschaftler reflektiert er (natürlich…) über das Aktive[..] Plenum: Feedback der Studierenden (hier Teil II). Vor kurzem (vorgestern) bin ich dann wieder auf orderfromnoise Aufmerksam geworden, wo sich Jan-Hendrik Passoth fragt, “Was tun mit Evaluationen?“. Dass Lehrevaluationen allein noch nicht für bessere Studienbedingungen sorgen, wird auf dem Academics.Blog unter der Überschrift “Macht der Blick in den Spiegel wirklich schöner?” thematisiert. Kritische Gedanken zu “Die Schwierigkeit der Lehrevaluation” finden sich auch bei Gabi Reinmann. Mir geht es in diesem Beitrag aber gar nicht darum, Lehrevaluationen zu hinterfragen. Ich setzte (zumindest teilweise) ihre Sinnhaftigkeit voraus und möchte im Folgenden über die Evaluation meiner eigenen Veranstaltungen reflektieren und, in gewisser Weise, Studierenden eine Entscheidungsgrundlage bieten, sich möglicherweise für eine meiner Veranstaltungen zu entscheiden.

Im Wintersemester 2008/2009 sowie im Sommersemester 2009 wurden (erstmalig) zwei Lehrveranstaltungen von mir evaluiert. Die Entscheidung für (oder gegen) eine Lehrveranstaltung, basiert im wesentlichen auf zwei Momenten: das Veranstaltungsthema und den Dozenten. Ob einem das Veranstaltungsthema liegt, sagt meist bereits ein Blick in die Studienordnung (“Du musst, weil…”) oder den Ausschreibungstext im kommentierten Vorlesungsverzeichnis (“Klingt interessant…”). Bleibt der Dozent: Wie viel Zeit investiert er in die Lehre? Wie geht er mit Fragen der Studierenden um? Wie hoch ist der Zeitaufwand zur Vor- oder Nachbereitung der Sitzungen? etc. Da auch Studierende nicht dazu neigen, die Katze im Sack zu kaufen, versuchen Sie ggf. Informationen über den Dozenten und seine Lehrveranstaltungen einzuholen (ich habe das zumindest so gemacht). Eine Möglichkeit wäre, die Kommilitoninnen und Kommilitonen zu befragen. Das kann mühsam werden, einfacher wäre es doch, wenn man Zugriff auf die Ergebnisse von Lehrevaluationen hat. Wenn dann noch der Dozent gewillt ist, über diese Befunde zu reflektieren und ggf. Besserung zu gelobt, dann sollte einer (hoffentlich) gelungen Dozentenwahl eigentlich nichts mehr im Wege stehen, oder?

Was enthält der Evaluationsbericht und wie liest man ihn?

Die im Folgenden vorzustellenden Evaluationsergebnisse enthalten drei Bereiche, nämlich “Inhalt und Präsentation”, “Studierverhalten” und die “Dialogorientierung der Lehrperson”. Die zweite Kategorie “Studierverhalten” ist eine Selbstauskunft der Studierenden über ihren eigenen Arbeitsaufwand. Neben der eigentlichen Bewertung in Form einer Schulnote enthält der Bericht immer auch eine relative Positionierung im Vergleich mit “einer Referenzgruppe, die aus sämtlichen Veranstaltungen [...] in den letzten drei Semestern besteht”  (die mit “Gesamtvergleich” überschriebenen bunten Balken). Unglücklicherweise neigen Befragte bei Bewertungen dazu, häufig alles sehr positiv zu sehen. Dieses Verhalten führt dazu, dass der absolute Notenwert nur noch wenig aussagt (alle werden positiv bewertet) und die relative Position häufig aussagekräftiger ist. Im vorliegenden Fall beschreibt für jede Kategorie ein “x”, wo meine Veranstaltung im Gesamtvergleich anzusiedeln ist. Vom WiSo-Evaluationszentrum haben wir eine kleine Interpretationshilfe erhalten, dort heißt es:

Daneben finden Sie in der Rubrik Gesamtvergleich zu jeder Aussage einen Balken. Dieser bezieht sich auf die Häufigkeitsverteilung der durchschnittlichen Studierendenurteile in einer Referenzgruppe, die aus sämtlichen Veranstaltungen Ihres Veranstaltungstyps in den letzten drei Semestern besteht. Diese Balken sind in drei Teilbereiche unterteilt, die eine Flächentransformation der Veranstaltungsbewertungen darstellen: die besten 25%, die mittleren 50% und die 25% kritisch bewerteten Lehrveranstaltungen (s. Legende am oberen Rand).

Man könnte nun eine noch technischere Erklärung hinzufügen, die bspw. die Begriffe Quartile enthält, das lasse ich aber lieber. Die Farbwahl erleichtert die Interpretation hinreichend: grün = gut (“Schulterklopfen”), gelb = Mittelfeld (“soweit ok”), rot = schlecht (“das muss sich ändern”).

Wintersemester 2008/2009: “Interaktion in der Familie”

Im Wintersemester 2008/2009 wurde mein (Grundstudiums-/Bachelor-)Seminar “Interaktion in der Familie” begutachtet und im Gesamtergebnis als gut (1,73) befunden (Evaluationsergebnis als PDF). Grundlage waren 15 Fragebögen (insgesamt haben ca 20 Studierende teilgenommen). Im Gesamtranking der WISO-Fakultät (leider nur im Intranet verfügbar) liegt die Veranstaltung damit auf dem 28. Platz (von insgesamt 225), von den Soziologieveranstaltungen auf dem 4. Platz. Die Kategorie “Inhalt und Präsentation” enthält 17 Items (also Aussagen oder Fragen). Relativ schlecht (roter Bereich) bewertet wurden die Items “Ziel der LV insgesamt deutlich” und “Verständliche Vermittlung”. Ansonsten finden sich die meisten Bewertungen im mittleren Bereich (gelb). (Ganz) Gut bewertet wurden “Stoffumfang zu bewältigen”, “Präsentierte Medien” und “Verwendete Unterlagen”, “Abwechslung” und “Tempo ist angemessen” sowie “Literatur-Empfehlungen hilfreich”.

Das “Studierverhalten” gibt (zumindest teilweise) indirekt Auskunft über den Dozenten: Je besser die Studierenden Ihr eigenes Arbeits- und Lernverhalten einschätzen, desto besser die Motivation etc. Hier muss man sagen, dass die Items “Sitzung nachbereitet” und “Zeitaufwand” in Grenzbereich (am Ende des gelben Balkens) oder gar schon im nicht mehr zu akzeptierenden Bereich (rot) liegen. Recht “erfolgreich” waren meine Bemühungen, die Studierenden zu einer regelmäßigen Teilnahme zu bewegen. Interessant sind auch auch die Teilnahmegründe (“TN, …”; Mehrfachnennungen möglich). 93% der befragten Studierenden fanden das Thema interessant — was bei “Interaktion in der Familie” wenig verwunderlich ist. Nur 27% denken, dass die Teilnahme für ihre berufliche Qualifizierung relevant ist. 33% halten die Lehrperson für sympathisch — hier schwanke ich zwischen “immerhin” oder “na ja” . 40% nahmen aus “Pflicht” teil (Studienordnung etc.).

Der letzte Bereich bezieht sich auf die “Dialogorientierung der Lehrperson” und hier, das freut mich ehrlich gesagt, habe ich gut abgeschnitten. Es ist mir scheinbar gelungen, die Studierenden zu Fragen zu ermutigen, ihre Fragen kompetent zu beantworten und sie in den Lernprozess einzubinden. Das Lernklima untereinander wurde immerhin noch mit der Note 2 bewertet.

Sommersemester 2009: Meta-Analyse

Im Sommersemester habe ich unter anderem die Vorlesung “Meta-Analyse” angeboten, die durch die (Pflicht-)Übung “Meta-Analyse” ergänzt wurde. Insgesamt handelte es sich also um eine Veranstaltung im Umfang von vier Semesterwochenstunden. Von den insgesamt 12 Teilnehmerinnen und Teilnehmern haben 7 den Fragebogen ausgefüllt. Insgesamt wurde diese Veranstaltung mit 2,14 bewertet (Evaluationsergebnis als PDF). Im Gesamtvergleich ist das im Mittelfeld. Ein Gesamtranking liegt zur Zeit noch nicht vor.

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

Ich habe für diese Veranstaltung auch noch einen offenen Fragebogen genutzt, in den die Studierenden detaillierter auf ihre Kritik eingehen konnten. Ein ganz zentraler Kritikpunkt war mein Beharren auf der Statistiksoftware GNU R, um die Analysen durchzuführen. Zwei bis drei der Teilnehmer waren daran interessiert, sich mit GNU R auseinanderzusetzen, für den Rest der Teilnehmerinnen und Teilnehmer war es eher belastend, langweilig oder nervig (in wechselnder Reihenfolge).

Was muss sich ändern?

Da ich in beiden Evaluationen in der Frage der Veranstaltungsziele relativ schlecht abgeschnitten habe, muss ich in Zukunft also die  Relevanz des Themas oder das Anliegen der Veranstaltung in der 1. Sitzung stärker herausstellen. Im Veranstaltungsverlauf sollte dann immer mal wieder der aktuelle Zwischenstand reflektiert werden und ggf. eine Änderung des restlichen Seminarverlaufs erwogen werden. Die Mehrzahl der Studierenden mag scheinbar Strukturen. Also gilt es, noch stärker als bisher (und mir vielleicht lieb ist) Strukturen zu schaffen!

Dazu gehört auch, bereits in künftigen Ausschreibungen im kommentierten Vorlesungsverzeichnis sehr deutlich zu machen, was die Voraussetzungen für eine Teilnahme in meinen Veranstaltungen sind. Ich hoffe, dass mir das für das kommende Wintersemester 2009/2010 gelungen ist (wiederum eine Vorlesung + Übung zur Meta-Analyse). Leider hat dieses Vorgehen auch dazu geführt, dass sich bislang erst 5 Studierende eingeschrieben haben.

Defizite in der “verständlichen Vermittlung” lassen sich nur durch eine noch verständliche Vermittlung ausgleichen . An dieser Stelle könnte man Sachen wie “Lernen-durch-Lehren” stärker einbinden. Methoden des kooperativen Lernens (bspw. Gruppenpuzzle) ermöglichen zudem, in der Gruppe auf Probleme zu stoßen und diese zu diskutieren. Mir als Dozent geben sie eine gute und vor allem unmittelbare Rückmeldung, wo es tatsächlich ‘hakt’.

Sowohl der durch mich vermittelte Zeitaufwand (Soll) als auch die tatsächlich aufgebrachte Zeit werden im Seminar “Interaktion in der Familie” als zu hoch bewertet. Mmmh, das kann eigentlich gar nicht sein Zwar findet sich diese Bewertung in dem Meta-Analyse-Seminar nicht in der gleichen Deutlichkeit wieder, doch durch eine zusätzliche qualitative Befragung weiß ich, dass auch dort der Umfang der Hausaufgaben als zu hoch angesehen wurde.

Aus meiner eigenen Wahrnehmung heraus muss sich noch die rhetorische Gestaltung verbessern. Auch der Einsatz (für mich) “neuerer” Lehrmethoden, lässt noch stark zu wünschen übrig. Didaktisch haben ich (und einige meiner Kolleginnen und Kollegen) noch Nachholbedarf.

“In diesem Beitrag werden Möglichkeiten und Probleme der Anwendung von Meta-Analysen in der Soziologie diskutiert. Während in anderen Fächern Meta-Analysen weit verbreitet sind, ist vor allem die deutschsprachige Soziologie noch weit davon entfernt, diese regelmäßig einzusetzen. Es wird eine einfache Systematik von Meta-Analysen eingeführt, mit der sich disziplinäre Unterschiede gut beschreiben lassen. Anschließend wird dargestellt, dass Meta-Analysen zur Lösung von vier prototypischen Forschungsproblemen beitragen: (1) Beschreibung und (2) Exploration eines Forschungsfeldes, (3) empirische Überprüfung von Hypothesen und (4) Evaluation von Maßnahmen. Der Beitrag endet mit einer Darstellung von typischen Problemen, wie sie sich bei der Anwendung von Meta-Analysen in der Soziologie ergeben” (250).

Vielleicht noch ein weiteres Zitat, das erläutert, welcher methodologischer Anspruch hinter unseren Ausführungen steht und was sich die Sozialwissenschaften noch stärker zu Eigen machen sollten (siehe Hervorhebung):

“Es kann kein Zweifel daran bestehen, dass die empirische Überprüfung von Theorien das zentrale Forschungsmotiv in den Sozialwissenschaften darstellt. Allerdings ist diese Überprüfung nicht mit einer empirischen Studie getan, vielmehr sind in der Regel viele empirische Untersuchungen in immer unterschiedlichen Testsituationen nötig (Opp 2005: 201). Sofern also Sozialwissenschaftler der Methodologie des kritischen Rationalismus folgen, die eben keine endgültig wahren Theorien vorsieht, wird ihnen eine ständige Überprüfung aktueller Theoriebildung abverlangt” (251).

Was den Sozialwissenschaften beziehungsweise der Soziologie vielfach noch fehlt, ist eine anerkannte Replikationskultur, die ihren Niederschlag auch in entsprechenden Fachpublikationen findet. Während etwa in der Physik kein Experiment anerkannt wird, wenn nicht mindestens eine weitere Arbeitsgruppe es replizieren kann, gefallen sich große Teile der empirischen Sozialwissenschaften darin, möglichst originell zu sein und jede Studie, jede Befragung als etwas “Neues” zu konzipieren. In dem Artikel gehen wir etwa auf das “Operationalisierungschaos” zum Schulschwänzen ein. Insgesamt habe ich für meine Diss 15 verschiedene Studien zum Schulabsentismus zusammengetragen, die — mehr oder minder — das Schulschwänzen auf 15 verschiedene Arten und Weisen messen. Unter diesen Voraussetzungen einen Befundvergleich vornehmen zu wollen, ist schwierig und die Frage, was die bisherigen Untersuchungen erbracht haben, lässt sich nur schwer beantworten.

(Inwieweit quantitative Forschungssynthesen / Meta-Analysen hier besonders hilfreich sein können, ist Gegenstand meiner Diss beziehungsweise zweier Artikel, die gerade in Arbeit sind.)

Meine persönliche Motivation nach Vancouver zu kommen, bestand zum einen in der Präsentation einiger Dissertationsbefunde. Mein methodisch orientierter Vortrag hat an einem Beispiel aus der Schulabsentismusforschung die (möglichen) Unterschiede zwischen Meta-Analysen auf Grundlage von Aggregatdaten (hier: odds ratios) sowie von Individualdaten thematisiert.

Meta-Analysen haben das Ziel, den empirischen Forschungsstand in einem bestimmten Bereich oder zu einer bestimmten Fragestellung zusammenzufassen. Zusammen mit Michael Wagner habe ich beispielsweise eine Forschungssynthese erstellt, die der Frage nach dem erreichten Forschungsstand in der “Scheidungsursachenforschung” nachging — oder kurz gefasst: den Risikofaktoren der Ehescheidung. Es gibt eine Menge empirischer Untersuchungen in diesem Forschungsfeld, auf europäischer Ebene haben wir etwa 120 Arbeiten sichten können (Wagner/Weiß 2006). In dieser Situation den Forschungsstand qualitativ-beschreibend erfassen zu wollen, ist (fast) ein Ding der Unmöglichkeit. Also bestand unsere Aufgabe darin, in einer Art von Inhaltsanalyse alle empirischen Befunde aus den einzelnen Artikeln herauszusuchen und sie zusammen mit anderen Informationen in eine Datenbank einzutragen. Die Einträge in der Datenbank wiederum konnten dann statistisch analysiert werden. Diese empirischen Befunde waren in unserem Fall Regressionskoeffizienten aus ereignisanalytischen Modellen. Weil diese Statistiken das Trennungsrisiko von bestimmten Personengruppen beschreiben (etwa von Frauen oder Personen, die zum Zeitpunkt der Eheschließung unter 21 Jahren alt waren), lassen sie sich auch als Aggregatdaten bezeichnen.[1] In den erwähnten Regressionsmodellen finden sich gewöhnlich mehrere dieser Regressionskoeffizienten und sie haben (teilweise) die unangenehme Angewohnheit, “miteinander zu reagieren” (eine verständlichere Formulierung fällt mir nicht ein). Im Modell von Forscherin A befinden sich Koeffizienten der Merkmale X1, X2 und X3, während Forscher B zwar auch die Koeffizienten für X1 und X3 ermittelt hat, doch er hat X2 weggelassen und dafür X4 in sein Modell aufgenommen. Beide haben also X1 und X2 untersucht, doch die Gelehrten (Brüderl 2004; Wagner/Weiß 2004) “streiten” sich noch darüber, ob sich die Befunde zu X1 und X2 einfach in einer Meta-Analyse zusammenfassen lassen, obgleich sie eigentlich nicht miteinander vergleichbar sind. Jetzt kommen die Individualdaten ins Spiel: Wenn ich die Originaldaten habe, nicht länger nur die publizierten Studienbefunde, dann kann ich (a) meine eigenen Aggregatdaten produzieren und (b) auf Grundlage der Individualdaten Modelle schätzen und dann die Ergebnisse von (a) und (b) miteinander vergleichen. Genau das habe ich mit Datensätzen zum Schulschwänzen gemacht. Um genau zu sein, habe ich mich der Frage gewidmet, ob Jugendliche mit Migrationshintergrund häufiger die Schule schwänzen als deutsche Jugendliche. Das methodische Ergebnis meiner Untersuchungen lautet, dass auf Grundlage von Aggregatdaten sämtliche Kennziffern zur Erfassung der statistischen Unsicherheit (Standardfehler, Zwischenstudienvarianz) unterschätzt und der eigentliche Zusammenhang von Schulschwänzen und Migrationshintergrund überschätzt wird — das gilt nur für meinen spezifischen Datensatz, ich habe also eine Fallstudie durchgeführt. Das war — sehr kurz gefasst — das Thema (beziehungsweise das Problem) meines Vortrags.

Meine persönliche Motivation bestand des Weiteren darin, mit Forschenden in Kontakt zu kommen, die sich mit ähnlichen Fragestellungen befassen. So gabe es etwa eine Veranstaltung “Complexities in Meta-analysis” in der uns zwar in 90 Minuten 5 Vorträge um die Ohren gehauen wurden, die aber mehr als spannend waren. Federführend war Betsy J. Becker, die drei Präsentationen gegeben hat, die beiden anderen wurden von Ihren Studentinnen (Soyeon Ahn und Ying Zhang) bestritten. Tatsächlich thematisierte einer ihrer Vorträge auch mein Problem mit der Meta-Analyse von Regressionskoeffizienten. Sie hat ihre Ausführungen auf das klassische lineare Modell bezogen und schlägt vor, die Koeffizienten in “semi-partial correlations” umzuwandeln und diese dann zu synthetisieren. Ich weiß noch nicht, ob mich das überzeugt; auf jeden Fall werde ich mir ihre Artikel zu diesem Thema genau angucken. Meine Idee, sich dem Problem mit einer Simulation zu nähern, konterte sich locker mit dem Hinweis, dass einer ihrer Studenten sich im Rahmen seiner “doctoral thesis” schon damit befassen würde.

Heute (Dienstag) habe ich mir unter anderem einen Vortrag von Ray Block angehört, der zusammen mit Betsy J. Becker ein Projekt zur Messung von politischem Interesse bearbeitet. Titel seines Vortrags war “Be Specific!” How Item Specifity can Influence Self-Reported Levels of Political Interest”. Seine Ausführungen haben sich unter anderem mit dem zeitlichen Wandel des politischen Interesses (in den USA) befasst und vor allem der Frage, inwieweit beobachtbare Veränderungen tatsächlich sozialen Phänomenen geschuldet sind oder nicht eher (unbeabsichtigte) Methodeneffekte (Platzierung der Items, Anzahl der Antwortkategorien) sind. Der Gehalt an Meta-Analyse war gering, doch der Vortrag war gut.

Erwähnenswert ist schließlich noch die Präsentation von Therese Pigott, Meng-Jia und Ryan Williams, die über “Methods of synthesizing regression results” gesprochen haben. Ja, das Thema kam nun schon mehrfach vor… Die Schwierigkeit mit der Meta-Analyse von Regressionskoeffizienten ist, wie oben erläutert, dass sie verschiedenen Modellen entstammen, in denen für unterschiedliche Variablensets kontrolliert wurde (X1,X2,X3 vs X1,X2,X4). Pigott et al. haben nun die Idee gehabt, das als ein “missing data”-Problem aufzufassen. Forscherin A hat nicht für X4 kontrolliert und Forscher B nicht für X3. Auf Grundlage einer Korrelationsmatrix (die man leider auch eher selten in den Publikationen antrifft) simulieren sie entsprechende Individualdatensätze und wenden dann typische Imputationsverfahren an. Anschließend lassen sich alle fehlenden Koeffizienten schätzen und können anschließend in die Meta-Analyse eingehen. Soweit die Theorie. Ryan war so nett, mir nur etwa 58 Minuten nach ihrem Vortrag ihr paper zuzuschicken. Doch das kann ich mir erst in Köln genauer angucken.

Außerdem könnte ich noch von einem sehr unterhaltsamen Vortrag von Ben Levin berichten, der über “Evidence for Decision-Making in Education” gesprochen hat. Es ging viel um “knowledge mobilization” und gegen Ende kam mehrfach der Hinweis auf die Nützlichkeit von Web2.0-Techniken für die Forschung, die Forschenden und die Vermittlung von Forschung. Mehr gibt es hier.

[1] Um genau zu sein, stammt der Begriff aus dem medizinischen Zweig der Meta-Analyse und dort ist von “aggregate patient data” die Rede. Ich verwende “aggregate person data”, kurz APD.

Literatur

Josef Brüderl, 2004: Meta-Analyse in der Soziologie: Bilanz der deutschen Scheidungsursachenforschung oder “statistischer Fruchtsalat”?, Zeitschrift für Soziologie 33: 84-86.

Wagner, Michael, und Bernd Weiß, 2004: Die Bilanz der Scheidungsforschung bleibt eine Bilanz. Eine Antwort auf Josef Brüderl. Zeitschrift für Soziologie 33: 87-89.

Wagner, Michael, und Bernd Weiß, 2006: On the Variation of divorce risks in Europe: Findings from a meta-analysis of European longitudinal studies. In: European Sociological Review 22: 483-500

Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus

Die Fertigstellung meiner Promotionsschrift “Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus” habe ich bereits Anfang Dezember 2007 verkündet. Mittlerweile habe ich auch die Disputation erfolgreich abgeschlossen und muss nun meine Arbeit (in welcher Weise auch immer) veröffentlichen. Die Arbeit versucht vor allem methodische Fragestellungen zu beantworten. In diesem Zusammenhang lassen sich vor allem drei Aufgaben nennen: (1) Durchführung einer Meta-Analyse auf Grundlage von Individualdatensätzen. (2) Der Frage nachgehen, wie stark sich die Ergebnisse einer auf Individualdaten sowie einer auf Aggregatdaten basierenden Meta-Analyse unterscheiden. (3) Die beispielhafte Anwendung einer vor allem von Sutton et al. (2007) vorgeschlagenen Technik, welche die simultane Verarbeitung von Befundinformationen auf Individual- und Aggregatdatenebene ermöglicht.

“Nebenbei” befasst sich die Arbeit mit der Forschung zum (unentschuldigten) Schulabsentismus. Hier interessieren vor allem zwei Aspekte: (1) Sowohl von Seiten der Wissenschaft als auch von Seiten der Medien besteht ein großes Interesse am Schulschwänzen. Im Rahmen dieser Meta-Analyse wird der Frage nachgegangen, ob die sehr heterogene Datenbasis Hochrechnungen zur Prävalenz des Schulschwänzens in Deutschland zulässt. (2) Eine zweite Meta-Analyse widmet sich dem Zusammenhang zwischen dem Migrationshintergrund von Jugendlichen und ihrer Schwänzhäufigkeit.

Auf dem 21. Kongress der Deutschen Gesellschaft für Erziehungswissenschaften in Dresden werde ich einige Befunde zur Prävalenz des Schulschwänzens vorstellen (siehe Forschungsforen, FF 23).

Geplante Aktivitäten im Quanti|Soz|Blog

In den letzten Wochen habe ich zwei Artikel begonnen, sie aber noch nicht vollendet, weil schlicht die Zeit fehlte. Zum einen sollen es einen Beitrag zum “Dataverse Network Project” geben, beziehungsweise etwas allgemeiner zur Transparenz und Reproduzierbarkeit empirischer Sozialforschung.

Nach wie vor habe ich Lust, ein paar Worte zum Stichwort statistische Signifikanz niederzuschreiben. Anlass war die Debatte in der Wissenswerkstatt um erhöhte Leukämieraten in der Nähe von Kernkraftwerken. Weit bin ich bislang allerdings noch nicht gekommen. Ein paar Folien (ordentliche Quellenangaben fehlen leider) aus unserem Forschungspraktikum “Vorhersagemodelle der Stabilität von Partnerschaften” könnte ich aber anbieten.

Lesenswertes aus den unendlichen Weiten des WWW

• FlowingData hat sich erneuert; sehr sehenswert und gute Artikel.
• Im Charts-Blog wurde eine Serie von Beiträgen gestartet, die sich dem Thema “10 x 10 Tips to improve your (Excel) charts” widmen. MS-Excel ist zwar kein Programm, mit dem sich ernsthaft arbeiten lässt. Wenn es sich aber nicht umgehen lässt, dann bitte die Hinweise von Jorge Camoes beachten.
• Das Sozwiki von Tina Günther.
• Zahlen & Bilder zu den Vorwahlen in den USA bei Political Arithmetik.
• Kürzlich entdeckte blogs, allerdings ohne gleich eine unbedingte Empfehlung auszusprechen: criminologia, EagerEyes.org, chris uggen’s weblog, Rense Nieuwenhuis (“strong focus on techniques used in quantitative sociology”).

In der Wissenswerkstatt bin ich zufällig auf einen etwas älteren Artikel (“Insuffizienzen der Wissenschaft: Wenn medizinische Metastudien unscharfes Wissen produzieren – Agnotologie II“) vom August diesen Jahres gestoßen, dem ich zu großen Teilen zustimmen kann, der jedoch gerade in den Schlusspassagen aus meiner Sicht einige Schwächen aufweist. Ich spare mir an dieser Stelle, den Inhalt des Textes wiederzugeben, sondern möchte nachfolgend auf zwei Absätze des Schlussteils (“Die Verführung durch Erfolg und Meßbarkeit: Publikations-Bias”) eingehen.

Marc schreibt, dass systematische Reviews (was ein treffender Begriff als “Metastudien” ist) häufig einem publication bias ausgesetzt sind. Auch wenn einleitend steht, dass dies häufig Meta-Analysen betrifft (= der statistische Teil eines systematischen Reviews), so steht doch jede Art von qualitativem wie quantitativem Forschungsreview vor diesem Problem. Ob dies auch für die in den “Insuffizienzen der Wissenschaft” kritisierte medizinische Studie gilt, weiß ich nicht. Für meine Argumentation ist das auch nicht wichtig, denn nach meinem Verständnis wird in dem nachfolgenden Zitat eine allgemeine Kritik an “Metastudien” formuliert, der ich in ihrem Anspruch auf Allgemeingültigkeit widersprechen[1] möchte:

“Man sollte also auch bei angeblich durch Metastudien gewonnenen Erkenntnissen vorsichtig sein. Denn ganz offenbar sind es die Selektionskriterien, die bestimmen, welche Studie unter welcher Gewichtung berücksichtigt wird, die zu den skizzierten Effekten führen. Und im Ergebnis haben wir keine Zunahme von Wissen, sondern von Nichtwissen. Metastudien können, oh Wunder, auch ein Instrument der Agnotologie sein – der Kunst, Nichtwissen herbeizuführen. Das jedenfalls ist das Ergebnis, wenn ‘medizinische Studien kollidieren’”.

Eine Konsequenz von Publikationsverzerrungen soll die “Zunahme von Nichtwissen” sein. Zunächst einmal ist mir nicht klar, was “Nichtwissen”ist. Der Wikipedia-Artikel über “Agnotologie” lehrt mich, dass es um “Unwissen” geht; im englischsprachigen Teil der Wikipedia wird auf “culturally-induced ignorance or doubt” verwiesen. Mir persönlich würde “Un-Wissen” oder “Gegen-Wissen” wohl am besten gefallen, denn solch ein “Wissen” steht im Gegensatz zur “Tradition der Aufklärung” und verwirrt die Wissenden. Und ob Nichtwissen/Un-Wissen/Gegen-Wissen “das Ergebnis [ist, B.W.], wenn ‘medizinische Studien kollidieren’, also eine heterogene Bundlage besteht, sei auch dahingestellt. Denn immerhin wissen wir, dass es unterschiedliche/widersprüchliche Ergebnisse zu ähnlichen Fragestellungen gibt und die weitere Forschung kann sich damit befassen, diese aufzuklären.

Was nun den publication bias betrifft, so ist (“oh Wunder” ) das Problem nicht ganz unbekannt. Es gibt eine Reihe von Verfahren, mit denen sich das Ausmaß des publication bias bestimmen lässt (nur eine Auswahl und stichwortartig: funnel plot, trim and fill, verschiedene Regressionsansätze); inzwischen wurden auch erste Ansätze veröffentlicht, die dafür “korrigieren” können (mehrere Artikel von John Copas). Rothstein et al. (2005) haben mit “Publication Bias in Meta-Analysis: Prevention, Assessment and Adjustments” eine Monographie zu dem Thema herausgebracht. (Und nur nebenbei bemerkt: Es gibt natürlich noch mehr als nur publication bias, sonder etwa auch einen language bias.)

Weiter unten im Text finden sich die folgenden beiden Sätze:

“Denn, wie Dr. Barrett feststellt, allzu oft werden Äpfel mit Birnen verglichen. Und der Fokus auf veröffentlichte Studien dürfte meist zu einer dezenten Verzerrung hin zu positiven Schlußfolgerungen führen.”

Wenn ich das richtig verstehe, dann werden hier zwei Gegenargumente vermischt, nämlich das in der einschlägigen Forschung bekannte Äpfel-und-Birnen-Problem (apples and oranges) sowie der publication bias. Glass geht in seiner Rückschau auf 25 Jahre Meta-Analyse (“Meta-Analysis at 25“) auch auf den Vergleich von Äpfeln und Birnen ein. Ich möchte an dieser Stelle nur anmerken, dass niemals zwei empirische Studien komplett identisch sein werden (“no two ‘studies’ are the same”) und das zumindest ein gewisses Ausmaß (über das “wie viel” lässt sich sicher diskutieren) an Heterogenität die Generalisierbarkeit von Studienergebnissen ungemein fördert.

[1] Natürlich stimme ich der grundsätzlichen Warnung zu, dass man jeder empirische Studie mit einer gewissen Skepsis begegnen sollte.

Nachtrag: Mir fällt gerade noch ein, dass sich das Phänomen publication bias natürlich in die allgemeinere Problematik von missing data stellen lässt. Publikationsverzerrungen sind nichts anderes als fehlende Daten und systematisch fehlende Daten führen zu verzerrten Ergebnissen und beinträchtigen damit die Repräsentativität der Studien.

Nachtrag 2: Teilweise basieren meine Ausführungen auf: Wagner, Michael, und Bernd Weiß, 2006: Meta-Analyse als Methode der Sozialforschung. . S. 479–504 in: Andreas Diekmann (Hg.): Methoden der Sozialforschung. Sonderheft 44 der Kölner Zeitschrift für Soziologie und Sozialpsychologie. Wiesbaden: VS-Verlag.

Nachtrag 3: In der Wissenswerkstatt findet inzwischen ein kleiner Gedankenaustausch statt.

Ein Beispiel wie MiMa funktioniert habe ich vor kurzem auf der r-help-list gegeben:

1. source(file = "http://www.wvbauer.com/downloads/mima.ssc")
2. studynum <-c(1, 2, 3, 4, 5)
3. y <-c(0.284, 0.224, 0.360, 0.785, 0.492)
4. w <-c(14.63, 17.02, 9.08, 33.03, 5.63)
5. genData2 <-data.frame(studynum, y, w)
6. mima(genData2$y, 1/genData2$w, mods = c(), method = "ML")