Wenngleich bei der letzten Evaluation nur sieben Studierenden teilgenommen haben, so ließen sich doch einige Schwächen meiner Veranstaltung identifizieren. Interessant ist nun der Vergleich zur aktuellen Evaluation — wenngleich auch hier wegen der geringen Fallzahlen (N=13) den Unterschieden keine allzu große Bedeutung zukommt!

Zu “Inhalt und Präsentation” schrieb ich beim letzten Mal:

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Insgesamt habe ich mich (auf deskriptiver) Ebene leicht verbessern können. Erfreulich ist, dass das “Ziel der LV insgesamt deutlich” geworden ist (M=1,46). Auch die Punkte “Interesse geweckt” (M=2,31), “Stoffumfang” (2,08) und “Hohe Leistungsanforderungen” (2,08) wurden etwas besser beurteilt. Schön ist auch, dass “Interesse am Lernerfolg” (M=1,46) und “LP auch bei Fragen verfügbar” (M=1,38) gewürdigt wurden (als Frühaufsteher fällt es mir leicht, auch Sonntags um 5 Uhr Mails zu beantworten .

Was die Kategorie “Studierendenverhalten” betrifft, so schrieb ich damals:

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

In der aktuellen Evaluation zeigt sich, dass die Studierenden das “Lernklima” schätzen (M=1,69) und sich kontinuierlich auf die Sitzungen vorbereitet haben (M=1,85). Die tatsächlich aufgebrachte Wochenarbeitszeit für die Lehrveranstaltung ist von 104 Minuten auf 146 Minuten gestiegen; was ganz schön viel ist. Leider sind meine Sympathiewerte dramatisch gesunken; das heißt, haben zuvor 86% der Studierenden ihre Teilnahme auch durch die “sympathische LP” begründet, sind es aktuell nur noch 46%.

Insgesamt hat sich die Bewertung der Veranstaltung von 2,14 auf 1,96 verbessert; ist also immer noch eine glatte Zwei.

Weitere, etwas unsortierte Überlegungen:

• Begeistert haben mich die Forschritte einiger Studierender. Dachte ich zu Beginn des Semesters noch, dass der eine oder die andere eine gewisse Herausforderung sein würde, so muss ich im Rückblick sagen, dass es eine gute und produktive Mitarbeit gab — damit einhergehend auch entsprechend (sehr) gute Klausurleistungen.
• Wiederum haben ich darauf bestanden, dass sämtliche statistischen Analysen mit R durchgeführt werden… und auch hier muss ich sagen, dass es erstaunlich gut geklappt hat. Zumindest besser als in den vorangegangenen Veranstaltungen.
• In der Abschlussdiskussion wurde kritisch angemerkt, dass meine Unterlagen (im wesentlichen Folien) bereits zu Beginn des Semesters vorliegen sollten; es sei schwierig, die eigenen Notizen und nachträglich vorgenommene Änderungen meinerseits zu synchronisieren. Wenn ich Teilnehmer wäre, würde ich das auch so sehen. Auch wenn diese Veranstaltung bereits zum dritten Mal durchgeführt wurde, bin ich mit meinen Folien (immer noch) nicht zufrieden und versuche mich ständig daran, sie zu verbessern. Dass ich das nicht bereits in der vorlesungsfreien Zeit abschließen konnte, liegt schlicht an den sonstigen (dringenderen) Arbeiten; Lehre zählt nicht viel im Lebenslauf. Ein weiterer Grund ist immer noch das Fehlen eines einschlägigen Lehrbuchs, so dass ich gezwungen war, viele Beispiele und Rechenübungen selbst zu konzipieren.
• Anlässlich der Evaluation im Sommersemester 2009 schrieb ich auch, dass ich in der Ausschreibung stärker auf die für diese Veranstaltung notwenigen (statistischen und methodischen) Grundlagen eingehen muss, um eine stärkere Selektivität der Studierenden zu erreichen. Das ist mir leider (wieder) nicht gelungen. Das Selbstbild der Studierenden mit Blick auf die Kenntnis bestimmter statistischer Konzepte (Inferenzstatistik, Regression, …) und das tatsächliche Wissen sind nicht besonders stark korreliert. In Zukunft wird es vermutlich zielführender sein, den Studierenden (kleinere) Aufgaben vorzulegen und diese müssen selbsttätig abschätzen, ob sie in der Lage sind, diese Aufgaben zu lösen.
• Dass ich “Lernen-durch-Lehren” stärker eingesetzt hätte, kann ich leider auch nicht sagen. Gefallen habe ich daran gefunden, die Studierenden (kurze) Präsentation über ihre Probleme (z.B. beim Lesen von Texten) erstellen zu lassen.
• Weniger gut scheint meine Idee funktioniert zu haben, bestimmte statistische Konzepte (Standardfehler, Konfidenzintervall, Unterschied zwischen fixed und random effects model, Zwischenstudienvarianz) mit Hilfe von Simulationen zu illustrieren. Ein Grund ist wohl der Tatsache geschuldet, dass ich immer auch gleich den R-Code präsentiert habe. Es ist nicht einfach, sowohl die Idee der Simulation zu verstehen und dann noch durch den (nicht immer trivialen) R-Code durchzusteigen. Gleichwohl denke ich, dass Simulationen im Rahmen der Statistikausbildung hilfreich sein können.

SOWIPORT versteht sich als ein sozialwissenschaftliches “Fachportal”, das wissenschaftliche Informationen aus verschiedenen Quellen zusammenfasst. Es informiert u.a. über aktuelle Literatur, neueste Forschungsprojekte, wichtige Veranstaltungen oder Institutionen. Nachfolgend eine Zusammenfassung der Ankündigung mit den für mich interessantesten Punkten:

• “Die Datenbank SOLIS enthält über 400.000 Literaturnachweise zu Soziologie, Politikwissenschaft, den Methoden der Sozialwissenschaften, angrenzenden sowie interdisziplinären Gebieten der Sozialwissenschaften. Jährlich kommen zwischen 16.000 und 18.000 neue Nachweise hinzu. Die Veröffentlichungen sind mit dem Thesaurus Sozialwissenschaften erschlossen und mit Abstracts versehen. [...]
• Mit der Freischaltung von SOLIS bringt GESIS Open Access in den Sozialwissenschaften einen weiteren Schritt voran. Die Datenbank SOFIS mit Nachweisen zu aktuellen Forschungsprojekten ist traditionell frei zugänglich, und mit dem kontinuierlich wachsenden Social Science Open Access Repository (SSOAR, www.ssoar.info) hat GESIS ein attraktives Volltextangebot auf den Weg gebracht.
• SOLIS, SOFIS und SSOAR sind in sowiport komfortabel recherchierbar. Über sowiport bietet GESIS damit in Kooperation mit seinen Partnern – dem Deutschen Zentrum für Altersfragen, dem Deutschen Zentralinstitut für soziale Fragen, der Friedrich-Ebert-Stiftung, der Universitäts- und Stadtbibliothek Köln sowie dem Wissenschaftszentrum Berlin für Sozialforschung – ein breites Spektrum an hochwertigen, gut erschlossenen und frei verfügbaren Informationen zu den Sozialwissenschaften.”

Besonders erwähnenswert ist das Social Science Open Access Repository.

Der folgende kritische Einwand aus der Rezension findet aber meine volle Zustimmung:

“Ein kritischer Leser, der Nutzer von TeX-Software zum Textsatz ist und professionelle Grafikprogramme zur Diagrammdarstellung verwendet, wird vermutlich den gesamten praktischen Ansatz des Buches samt der erkennbar der Microsoftfamilie entstammenden Schriften und Grafiken ablehnen. Und in der Tat kann man über die Qualität der Abbildungen bisweilen geteilter Meinung sein. So stört, dass der Autor alle Abbildungen generell einrahmt, da er dies für Geschmacksache hält. In der Praxis wissenschaftlicher Publikationen sollten die meisten Abbildungstypen aber in aller Regel freistehen. Auch fehlen Hinweise auf die durchgehende Einheitlichkeit von Abbildungen in einem Textdokument bzw. einer Publikation. Die Wahl der Parameter der Abbildung (wie Schriftgröße, Farb- oder Graustufenspektrum sowie Anordnung) sollte nicht für eine Abbildung alleine gelten, sondern sich wenn möglich im Sinne eines einheitlichen Designs durch eine Publikation ziehen” (280).

Das thematische Spektrum umfasste (in der Reihe der Vorträge)

• eine Untersuchung zum Kölner Klüngel (Politikwissenschaft),
• die sportwissenschaftliche Frage, ob Crunches oder Lachen die Bauchmuskeln effektiver trainiert,
• einen von Physikern entwickelten Bluttest (u.a. zum Nachweis von Muskelschwund),
• die Erhebung von Karpfen im Aralsee sowie
• eine geschichtswissenschaftliche Analyse zum Gründungsmythos/zur Identitätsfindung der Niederlande (oder so ähnlich…).

Der Gewinner des Abends war der Physiker André Lampe, dem es mit Verweis auf die Lebensgewohnheiten des “Hodenknackerfisches” gelang, das Prinzip des von ihm entwickelten Bluttests zu illustrieren. Die Welt Online hat sich etwas ausführlicher dazu ausgelassen: Hodenknackerfische mögen Lollis.

Neben den unterhaltsamen Darbietungen der Wissenschaftler/innen hat mir auch die Einbindung des Publikums zugesagt. Da jedem Juror/in wiederum zehn Zuhörer/innen zugeordnet waren, hat sich nach jedem Vortrag eine (zumeist) lebhafte Diskussion über die Qualität des Vortrags und die endgültige Bewertung entwickelt. Insgesamt diskutierten nach jedem Vortrag also  ca. 100 Personen (10 + 90).

Auffällig war, dass die 10 Gruppen (zumindest nach den ersten beiden Vorträgen) zu recht ähnlichen Bewertungen kamen — zumindest nach meiner Einschätzung. Ab dem dritten Vortrag (von André Lampe) habe ich dann die einzelnen Bewertungen protokolliert. Von den ersten beiden Vorträgen habe ich leider nur die Gesamtsumme der vergebenen Punkte sowie den Range. Ich habe damit versucht, eine mögliche Punkteverteilung nachzubilden.

Die erste Abbildung beschreibt die Verteilung der vergebenen Punkte nach Teilnehmer/in getrennt. Ganz rechts finden sich die Punkte des Siegers (“andre”). Die Verteilungen für frank, uli und andre sind recht schmal und belegen, dass die Bewertungen über alle zehn Juroren/innen ähnlich ausgefallen sind. Breiter hingegen fallen die Graphen für romina und mathias aus, d.h. hier gab es weniger Übereinstimmungen.

Noch deutlicher zeigt sich dieses Muster in einem sogenannten Box-and-Whisker-Plot. Die weißen Kästchen repräsentieren 50% der vergebenen Punkte und je breiter (höher) das jeweilige Kästchen, desto uneiniger die Juroren/innen.

Daten und R-Code finden sich in dieser Datei…

Auf den Scienceblogs berichtet Emanuel Heitlinger auf seinem Blog “Alles was lebt” über seinen 3-wöchigen R-Kurs (anders formuliert: URlaub ). Der Kurs wird von Mick Crawley geleitet, der u.a. “The R Book” geschrieben hat. Mit bewundernswerter Disziplin macht Emanuel sich seine Notizen und veröffentlich diese als PDF sowie als R+Sweave-Quelldatei (um den R-Code nachvollziehen zu können). Bislang wurden u.a. die folgenden Themen behandelt: Ancova und ANOVA sowie das (lineare) Regressionsmodelle, m.a.W.: das allgemeine lineare Modell.

Prekäre Beschäftigungsverhältnisse, Partnerschaftsqualität und der aktuelle Kinderwunsch

Mitte März (18./19.3.) wird ein Beitrag von uns (zusammen mit Ina Berninger und Michael Wagner) auf dem Bib-Workshop “Lebensformen in Krisenzeiten” präsentiert, der sich mit “Prekäre Beschäftigungsverhältnisse, Partnerschaftsqualität und der aktuelle Kinderwunsch” befasst.

Nachfolgend ein Auszug aus dem Vortragsabstract:

Im Beitrag wird untersucht, ob prekäre Beschäftigungsverhältnisse in Form von niedrigem Einkommen oder subjektiver Unzufriedenheit mit der Arbeitsplatzsicherheit, den aktuellen Kinderwunsch beeinflussen. Während das Einkommen von Männern als Haupternährer der Familie einen positiven Effekt auf die Fertilitätsentscheidung haben sollte, führt ein hohes Einkommen bei Frauen zu Opportunitätskosten, welche den aktuellen Kinderwunsch negativ beeinflussen sollten. Die Unzufriedenheit mit der Arbeitsplatzsicherheit resultiert möglicherweise nur bei schlecht ausgebildeten Frauen in einen verstärkten Kinderwunsch. Diese Frauen streben die Mutterschaft an, da sie nicht die Mittel haben, ihre unsichere Beschäftigungssituation zu verbessern.

Des Weiteren wird im Beitrag nicht nur der direkte Effekt der beruflichen Situation auf eine Fertilitätsentscheidung betrachtet, sondern ferner die indirekte, vermittelnde Auswirkung der Partnerschaftsqualität bestimmt. Hierbei wird angenommen, dass ein prekäres Beschäftigungsverhältnis als externer Stressfaktor die Konflikthäufigkeit in Partnerschaften erhöht und das Konfliktverhalten der Partner verschlechtert. Dies führt im Weiteren zu einer niedrigeren Partnerschaftsqualität, was wiederum den aktuellen Kinderwunsch negativ beeinflussen sollte.

Die Analysen basieren auf einer Teilstichprobe des  deutschen  Generations and Gender Surveys. Es werden kinderlose Paare betrachtet, bei denen  der weibliche Partner zwischen 18 und 45 Jahren alt ist.

Erste Analyseergebnisse zeigen, dass der aktuelle Kinderwunsch nur schwach mit der Einkommenssituation und der Zufriedenheit mit der Arbeitsplatzsicherheit assoziiert ist. Sehr deutlich zeigt sich hingegen, dass ein Kinderwunsch umso wahrscheinlicher wird, je besser die Qualität der Partnerschaft ist. Die Konflikthäufigkeit und das Konfliktverhalten vermitteln den Zusammenhang zwischen der Beschäftigungssituation und der Qualität der Partnerschaft. Bei Frauen ist in dieser Hinsicht die Einkommenssituation bedeutsam, für Männer die Zufriedenheit mit der Arbeits-
platzsicherheit. Diese Ergebnisse lassen vermuten, dass ein weiterer Anstieg prekärer Beschäftigungsverhältnisse den Kinderwunsch negativ beeinflusst und damit die Fertilität reduziert.

Wir werden unsere Befunde auch noch auf der Frühjahrstagung der Sektionen “Soziale Ungleichheit und Sozialstrukturanalyse” und “Familiensoziologie” in der Deutschen Gesellschaft für Soziologie mit dem Titel “(Re-)Produktion von Ungleichheit durch Arbeit und Familie. Veränderungen in den 20 Jahren seit der Wende” vom 15.-16. April 2010 vorstellen.

Using a Combination of Individual and Aggregate Participant Data in Meta-Analysis: A Case Study on the Determinants of Unexcused School Absenteeism

Ende März geht es dann nach Dortmund auf die DAGStat 2010. Dort werde ich folgendes Paper vorstellen: “Using a Combination of Individual and Aggregate Participant Data in Meta-Analysis: A Case Study on the Determinants of Unexcused School Absenteeism“.

Nachfolgend die Zusammenfassung des Vortrags:

Meta-analysis of individual participant data (IPD) are known to be considerably less biased than those based on aggregate participant data (APD). In contrast to many other disciplines, German social scientists are in the comfortable situation of having direct access to most individual participant datasets via the GESIS Data Archive for the Social Sciences. However, some social scientists do not share their datasets but publish their findings in journals or books. So, being interested in conducting a meta-analysis using \emph{all} available evidence, we have to deal with a mixture of APD and IPD. \citet{sutton:2008} introduced a new approach which allows synthesizing both individual level and aggregate level binary outcome data while exploring the effects of binary covariates. These are also available through a combination of individual participant and aggregate level data. This approach is based on a Bayesian framework and BUGS language is used to implement the models.

Based on 11 individual participant datasets, \citet{weiss:2008} conducted a meta-analysis on the determinants of unexcused school absenteeism. In particular, the analysis focused on the interaction between attending the Hauptschule and having a migrational background for the risk of playing truant.This recently developed meta-analytical approach was tested in this case-study. 5 out of 11 datasets (approx. $48.000$ pupils) were artificially aggregated while the other 6 datasets (approx. $9.000$ pupils) remained unchanged. Having a mixture of APD and IPD one could compare the findings of a completely IPD based meta-analysis (11 studies), a reduced IPD meta-analysis (6 studies) as well as a fully APD based meta-analysis with this new approach. Given that a completely IPD based meta-analysis represents the best estimator, this newly developed method rendered the second best. Furthermore the analysis of the reduced IPD dataset resulted in the third-best estimator and completely biased results were obtained by an only APD based meta-analysis.

Finding Thetas in Europe – Applied Bayesian Statistics and MCMC Methods in the Social Sciences

Anfang April (8./9. April 2010) findet die initiale Konferenz “Finding Thetas in Europe – Applied Bayesian Statistics and MCMC Methods in the Social Science” in Mannheim statt, die ich zusammen mit Kölner und Mannheimer Kollegen organisiere — die meiste Arbeit dürften aber die Mannheimer Kollegen haben. Meines Wissens nach ist dies die erste (auf deutschem Boden) organisierte Zusammenkunft von Sozialwissenschaftler/innen, die Interesse an Bayesianischen & MCMC Methoden haben. Ich bin bereits sehr gespannt…

Folgender tweet von sewenz erregte jüngst meine Aufmerksamkeit:

Es ist wirklich Zeit, kluge Soziologen zu Wort kommen zu lassen; das folgende Radiokolleg hilft da wohl nicht: http://tinyurl.com/yd5k6ok.

Stellt sich (mir) die Frage:

Was genau sind nochmal “kluge Soziologen”?

Antwort swenz:

@berndweiss Nach der sog. “Mannheimer Ungleichung” gilt: Kluge Soziologen != Feuilletonsoziologen

Zustimmung meinerseits:

Zu wahr! RT @sewenz: Nach der sog. “Mannheimer Ungleichung” gilt: Kluge Soziologen != Feuilletonsoziologen.

Soziologie als gebrochene Wissenschaft

Das Interesse der Soziologie gilt menschlichem (sozialem) Handeln. Max Weber hat Soziologie und soziales Handeln wie folgt aufeinander bezogen:

“Soziologie soll heißen: eine Wissenschaft, welche soziales Handeln deutend verstehen und dadurch in seinem Ablauf und seinen Wirkungen ursächlich erklären will. ‚Handeln‘ soll dabei ein menschliches Verhalten […] heißen, wenn und insofern als der oder die Handelnden mit ihm einen subjektiven Sinn verbinden. ‚Soziales‘ Handeln aber soll ein solches Handeln heißen, welches seinem von dem oder den Handelnden gemeinten Sinn nach auf das Verhalten anderer bezogen wird und daran in seinem Ablauf orientiert ist “.

Grob gesagt: Soziologen/innen interessieren sich für gesellschaftliche Prozesse. Wenngleich der übergreifende Forschungsgegenstand von Soziologie (relativ) klar ist (“Gesellschaft”, “soziales Handeln”), ist Soziologie gleichwohl weit davon entfernt, eine Wissenschaft zu sein, die sich durch eine wie auch immer geartete Einigkeit auszeichnet — weder in theoretischer noch methodologischer Hinsicht. Diese “Brüche” lassen sich auf verschiedenen Dimensionen verorten. Ein oben angesprochener Bruch ist also “Feuilletonsoziologie” vs. “…”. Tja, was denn eigentlich? Ich bitte um Geduld, die Antwort verzögert sich noch etwas.

Feuilletonsoziologie als Bruchstück

Erst einmal gilt es zu klären, was “Feuilletonsoziologie” (für mich) ist. Einen ersten Eindruck, was das sein könnte, liefert Jürgen Kaube mit “Der Soziologe im Feuilleton” im Deutschlandradio:

“Zur Erbschaft der Frankfurter Schule, der die Bundesrepublik so viel verdankt, gehört eine Soziologie, die der Universität entwachsen ist und sich frei in den Medien, vor allem im Feuilleton äußert. Adorno machte es vor; Zeitungsartikel und Radiovorträge bilden einen selbstverständlichen Teil seines Oeuvres. Der Soziologe engagierte sich wie selbstverständlich bei der Journaille, wie seine orthodox akademischen Kollegen verächtlich sagten.

Dem Feuilleton bringt der Soziologe erhebliche Vorteile ein. Vor allem vermehren sich die Themen ins Unermessliche. Statt den engen Vorgaben des Bildungskanons zu folgen und nur über das Theater und die Musik, über die Ölmalerei, die Vers- und Erzählkunst zu sinnieren, darf der Soziologe im Feuilleton Fußball und Computerspiele und Popmusik bearbeiten und dazu noch ihre Anschlussfähigkeit zu Hölderlin und dem späten Beethoven und der neuesten französischen Theorie prüfen.”

Rudolf Walther schreibt in der taz über “Die Bindestrichgesellschafter” [1]:

In der Feuilletonsoziologie verhält es sich genau umgekehrt: Man verleimt hier Wörter, um im Handstreich Plausibilität zu erobern. “Autogesellschaft”, das versteht sogar der, der keines hat, aber schöne Bilder vom Stau gesehen hat am Fernsehgerät.

Offensichtlich ist der Begriff “Feuilletonsoziologie” kein nett gemeinter Begriff, sondern es geht (häufig) um die Deutungshoheit sozialer Phänomene unbelastet von empirischer (qualitativer oder quantitativer) Evidenz. Da sich die “Feuilletonsoziologie” häufig über konkrete soziale Sachverhalte auslässt, ist sie eine Variante der “angewandten Soziologie” (besser: möchte es sein). Was setzten “kluge Soziologen/innen”, die “kluge [angewandte] Soziologie” betreiben, dagegen? Daten. Empirische Belege jenseits des Fabulierens. In der Einleitung zu “Angewandte Soziologie” (Festschrift anlässlich der Emeritierung von Jürgen Friedrichs) wird (in meinem Sinne kluge) “angewandte Soziologie” folgendermaßen gedeutet:

“Angewandte Soziologie ist der Versuch, allgemeine Theorien systematisch auf konkrete soziale Sachverhalte zu übertragen und diese zu erklären. Damit erfordert sie die Auseinandersetzung mit Themen der allgemeinen Soziologie, die theoretisch angeleitete empirische Analyse sozialer Sachverhalte und die Entwicklung eines sicheren methodologischen Standpunkts” (Kecskes et al. 2004: 9).

Zurückrudern und Schluss

Ausgangspunkt dieses kurzen Postings ist das Zitat von sewenz und ein (meinerseits noch weitgehend unreflektiertes) Unwohlsein über bestimmte Auswüchse von Soziologie. Mein Verständnis von Soziologie wurde von der sogenannten “Kölner Schule” geprägt und das obige Zitat von Kecskes et al. (2004: 9) beschreibt zentrale Linien meines soziologischen Forschens. Es gibt, wie oben angedeutet, andere Sichtweisen auf Soziologie und andere Ansätze, Soziologie zu betreiben. Natürlich habe ich auch keine Einwände, wenn soziologische Erkenntnisse jenseits akademischer Debatten in das Feuilleton gelangen und soziologische Erkennntnisse einem breiteren Öffentlichkeit zugänglich gemacht werden (, die sie in den meisten Fällen auch bezahlt und damit ein Recht auf Aufklärung hat). Und natürlich ist es überspitzt, eine Dichotomie von “Feuilletonsoziologie” und “kluge Soziologie” zu beschwören. Doch die theorie-[2] und empirielose Deutung gesellschaftlicher Prozesse in der Form eines (manchmal ideologisch verbrämten) “Ad-hoc-Vermutens” ist lästig und schadet der Disziplin.

Was diesem Beitrag leider fehlt, sind gute Beispiele von “Feuilletonsoziologie”. Ich nehme gerne Vorschläge entgegen.

[1] Eine etwas ältere Liste von Bindestrichsoziologien: Soziologie des Taxis, Soziologie des Twitterns, Soziologie des Shoppings, Soziologie des Ingenieurberufs, Soziologie des Busens, Soziologie des Usenet, Soziologie des Abenteuer- und Risikosports, Soziologie des Fahrstuhlfahrens, Soziologie des Vampirismus, Soziologie des schlechten Geschmacks, Soziologie des Weintrinkens, Soziologie des Lassens, Soziologie des maximal Fremden, Soziologie des Schenkens und der Gabe, Soziologie des Irrenwitzes, …

[2] Ohne soziologische Theorie geht es auch nicht, denn dann wären wir bei einer “Variablensoziologie”.

We aim to provide a platform for exchanging expertise on Bayesian methods and to build up a network for European scholars who share common methodological interests.

The conference is based on a workshop-format. Each participant has a 30 minute slot available at his/her disposal to present and discuss his/her research paper. This provides the framework for constructive feedback in a friendly and inspiring atmosphere. Please note that we do not expect you to submit polished papers, but we really welcome work in
progress!

Please register by 28th February 2010 at bayes(at)uni-mannheim.de. The participation fee is 15 Euros for workshop materials and snacks. Funding for accommodation can be provided upon approval of a pending grant application.

More information can be found here: http://www.fis.uni-koeln.de/findingthetas.html

We hope to welcome you all in Mannheim in spring 2010!

Best, the Bayes Conference Team

Blogs von Wissenschaftlern können unter anderem den Zweck verfolgen, etwas mehr Transparenz in das Wissenschaftsgeschäft im Allgemeinen und das universitäre Leben im Besonderen zu bringen. Dazu gehört auch die Lehre und eine sehr kurze Recherche zeigt, dass sich noch nicht besonders viele Lehrende in den Wissenschaften kritisch mit ihrer eigenen Lehre auseinander gesetzt haben — sollte ich falsch liegen, so wäre ich natürlich über entsprechende Hinweise mehr als erfreut. Beginnen möchte ich an dieser Stelle mit dem öffentlichen Wissenschaftler per se, nämlich Christian Spannagel. Als öffentlicher Wissenschaftler reflektiert er (natürlich…) über das Aktive[..] Plenum: Feedback der Studierenden (hier Teil II). Vor kurzem (vorgestern) bin ich dann wieder auf orderfromnoise Aufmerksam geworden, wo sich Jan-Hendrik Passoth fragt, “Was tun mit Evaluationen?“. Dass Lehrevaluationen allein noch nicht für bessere Studienbedingungen sorgen, wird auf dem Academics.Blog unter der Überschrift “Macht der Blick in den Spiegel wirklich schöner?” thematisiert. Kritische Gedanken zu “Die Schwierigkeit der Lehrevaluation” finden sich auch bei Gabi Reinmann. Mir geht es in diesem Beitrag aber gar nicht darum, Lehrevaluationen zu hinterfragen. Ich setzte (zumindest teilweise) ihre Sinnhaftigkeit voraus und möchte im Folgenden über die Evaluation meiner eigenen Veranstaltungen reflektieren und, in gewisser Weise, Studierenden eine Entscheidungsgrundlage bieten, sich möglicherweise für eine meiner Veranstaltungen zu entscheiden.

Im Wintersemester 2008/2009 sowie im Sommersemester 2009 wurden (erstmalig) zwei Lehrveranstaltungen von mir evaluiert. Die Entscheidung für (oder gegen) eine Lehrveranstaltung, basiert im wesentlichen auf zwei Momenten: das Veranstaltungsthema und den Dozenten. Ob einem das Veranstaltungsthema liegt, sagt meist bereits ein Blick in die Studienordnung (“Du musst, weil…”) oder den Ausschreibungstext im kommentierten Vorlesungsverzeichnis (“Klingt interessant…”). Bleibt der Dozent: Wie viel Zeit investiert er in die Lehre? Wie geht er mit Fragen der Studierenden um? Wie hoch ist der Zeitaufwand zur Vor- oder Nachbereitung der Sitzungen? etc. Da auch Studierende nicht dazu neigen, die Katze im Sack zu kaufen, versuchen Sie ggf. Informationen über den Dozenten und seine Lehrveranstaltungen einzuholen (ich habe das zumindest so gemacht). Eine Möglichkeit wäre, die Kommilitoninnen und Kommilitonen zu befragen. Das kann mühsam werden, einfacher wäre es doch, wenn man Zugriff auf die Ergebnisse von Lehrevaluationen hat. Wenn dann noch der Dozent gewillt ist, über diese Befunde zu reflektieren und ggf. Besserung zu gelobt, dann sollte einer (hoffentlich) gelungen Dozentenwahl eigentlich nichts mehr im Wege stehen, oder?

Was enthält der Evaluationsbericht und wie liest man ihn?

Die im Folgenden vorzustellenden Evaluationsergebnisse enthalten drei Bereiche, nämlich “Inhalt und Präsentation”, “Studierverhalten” und die “Dialogorientierung der Lehrperson”. Die zweite Kategorie “Studierverhalten” ist eine Selbstauskunft der Studierenden über ihren eigenen Arbeitsaufwand. Neben der eigentlichen Bewertung in Form einer Schulnote enthält der Bericht immer auch eine relative Positionierung im Vergleich mit “einer Referenzgruppe, die aus sämtlichen Veranstaltungen [...] in den letzten drei Semestern besteht”  (die mit “Gesamtvergleich” überschriebenen bunten Balken). Unglücklicherweise neigen Befragte bei Bewertungen dazu, häufig alles sehr positiv zu sehen. Dieses Verhalten führt dazu, dass der absolute Notenwert nur noch wenig aussagt (alle werden positiv bewertet) und die relative Position häufig aussagekräftiger ist. Im vorliegenden Fall beschreibt für jede Kategorie ein “x”, wo meine Veranstaltung im Gesamtvergleich anzusiedeln ist. Vom WiSo-Evaluationszentrum haben wir eine kleine Interpretationshilfe erhalten, dort heißt es:

Daneben finden Sie in der Rubrik Gesamtvergleich zu jeder Aussage einen Balken. Dieser bezieht sich auf die Häufigkeitsverteilung der durchschnittlichen Studierendenurteile in einer Referenzgruppe, die aus sämtlichen Veranstaltungen Ihres Veranstaltungstyps in den letzten drei Semestern besteht. Diese Balken sind in drei Teilbereiche unterteilt, die eine Flächentransformation der Veranstaltungsbewertungen darstellen: die besten 25%, die mittleren 50% und die 25% kritisch bewerteten Lehrveranstaltungen (s. Legende am oberen Rand).

Man könnte nun eine noch technischere Erklärung hinzufügen, die bspw. die Begriffe Quartile enthält, das lasse ich aber lieber. Die Farbwahl erleichtert die Interpretation hinreichend: grün = gut (“Schulterklopfen”), gelb = Mittelfeld (“soweit ok”), rot = schlecht (“das muss sich ändern”).

Wintersemester 2008/2009: “Interaktion in der Familie”

Im Wintersemester 2008/2009 wurde mein (Grundstudiums-/Bachelor-)Seminar “Interaktion in der Familie” begutachtet und im Gesamtergebnis als gut (1,73) befunden (Evaluationsergebnis als PDF). Grundlage waren 15 Fragebögen (insgesamt haben ca 20 Studierende teilgenommen). Im Gesamtranking der WISO-Fakultät (leider nur im Intranet verfügbar) liegt die Veranstaltung damit auf dem 28. Platz (von insgesamt 225), von den Soziologieveranstaltungen auf dem 4. Platz. Die Kategorie “Inhalt und Präsentation” enthält 17 Items (also Aussagen oder Fragen). Relativ schlecht (roter Bereich) bewertet wurden die Items “Ziel der LV insgesamt deutlich” und “Verständliche Vermittlung”. Ansonsten finden sich die meisten Bewertungen im mittleren Bereich (gelb). (Ganz) Gut bewertet wurden “Stoffumfang zu bewältigen”, “Präsentierte Medien” und “Verwendete Unterlagen”, “Abwechslung” und “Tempo ist angemessen” sowie “Literatur-Empfehlungen hilfreich”.

Das “Studierverhalten” gibt (zumindest teilweise) indirekt Auskunft über den Dozenten: Je besser die Studierenden Ihr eigenes Arbeits- und Lernverhalten einschätzen, desto besser die Motivation etc. Hier muss man sagen, dass die Items “Sitzung nachbereitet” und “Zeitaufwand” in Grenzbereich (am Ende des gelben Balkens) oder gar schon im nicht mehr zu akzeptierenden Bereich (rot) liegen. Recht “erfolgreich” waren meine Bemühungen, die Studierenden zu einer regelmäßigen Teilnahme zu bewegen. Interessant sind auch auch die Teilnahmegründe (“TN, …”; Mehrfachnennungen möglich). 93% der befragten Studierenden fanden das Thema interessant — was bei “Interaktion in der Familie” wenig verwunderlich ist. Nur 27% denken, dass die Teilnahme für ihre berufliche Qualifizierung relevant ist. 33% halten die Lehrperson für sympathisch — hier schwanke ich zwischen “immerhin” oder “na ja” . 40% nahmen aus “Pflicht” teil (Studienordnung etc.).

Der letzte Bereich bezieht sich auf die “Dialogorientierung der Lehrperson” und hier, das freut mich ehrlich gesagt, habe ich gut abgeschnitten. Es ist mir scheinbar gelungen, die Studierenden zu Fragen zu ermutigen, ihre Fragen kompetent zu beantworten und sie in den Lernprozess einzubinden. Das Lernklima untereinander wurde immerhin noch mit der Note 2 bewertet.

Sommersemester 2009: Meta-Analyse

Im Sommersemester habe ich unter anderem die Vorlesung “Meta-Analyse” angeboten, die durch die (Pflicht-)Übung “Meta-Analyse” ergänzt wurde. Insgesamt handelte es sich also um eine Veranstaltung im Umfang von vier Semesterwochenstunden. Von den insgesamt 12 Teilnehmerinnen und Teilnehmern haben 7 den Fragebogen ausgefüllt. Insgesamt wurde diese Veranstaltung mit 2,14 bewertet (Evaluationsergebnis als PDF). Im Gesamtvergleich ist das im Mittelfeld. Ein Gesamtranking liegt zur Zeit noch nicht vor.

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

Ich habe für diese Veranstaltung auch noch einen offenen Fragebogen genutzt, in den die Studierenden detaillierter auf ihre Kritik eingehen konnten. Ein ganz zentraler Kritikpunkt war mein Beharren auf der Statistiksoftware GNU R, um die Analysen durchzuführen. Zwei bis drei der Teilnehmer waren daran interessiert, sich mit GNU R auseinanderzusetzen, für den Rest der Teilnehmerinnen und Teilnehmer war es eher belastend, langweilig oder nervig (in wechselnder Reihenfolge).

Was muss sich ändern?

Da ich in beiden Evaluationen in der Frage der Veranstaltungsziele relativ schlecht abgeschnitten habe, muss ich in Zukunft also die  Relevanz des Themas oder das Anliegen der Veranstaltung in der 1. Sitzung stärker herausstellen. Im Veranstaltungsverlauf sollte dann immer mal wieder der aktuelle Zwischenstand reflektiert werden und ggf. eine Änderung des restlichen Seminarverlaufs erwogen werden. Die Mehrzahl der Studierenden mag scheinbar Strukturen. Also gilt es, noch stärker als bisher (und mir vielleicht lieb ist) Strukturen zu schaffen!

Dazu gehört auch, bereits in künftigen Ausschreibungen im kommentierten Vorlesungsverzeichnis sehr deutlich zu machen, was die Voraussetzungen für eine Teilnahme in meinen Veranstaltungen sind. Ich hoffe, dass mir das für das kommende Wintersemester 2009/2010 gelungen ist (wiederum eine Vorlesung + Übung zur Meta-Analyse). Leider hat dieses Vorgehen auch dazu geführt, dass sich bislang erst 5 Studierende eingeschrieben haben.

Defizite in der “verständlichen Vermittlung” lassen sich nur durch eine noch verständliche Vermittlung ausgleichen . An dieser Stelle könnte man Sachen wie “Lernen-durch-Lehren” stärker einbinden. Methoden des kooperativen Lernens (bspw. Gruppenpuzzle) ermöglichen zudem, in der Gruppe auf Probleme zu stoßen und diese zu diskutieren. Mir als Dozent geben sie eine gute und vor allem unmittelbare Rückmeldung, wo es tatsächlich ‘hakt’.

Sowohl der durch mich vermittelte Zeitaufwand (Soll) als auch die tatsächlich aufgebrachte Zeit werden im Seminar “Interaktion in der Familie” als zu hoch bewertet. Mmmh, das kann eigentlich gar nicht sein Zwar findet sich diese Bewertung in dem Meta-Analyse-Seminar nicht in der gleichen Deutlichkeit wieder, doch durch eine zusätzliche qualitative Befragung weiß ich, dass auch dort der Umfang der Hausaufgaben als zu hoch angesehen wurde.

Aus meiner eigenen Wahrnehmung heraus muss sich noch die rhetorische Gestaltung verbessern. Auch der Einsatz (für mich) “neuerer” Lehrmethoden, lässt noch stark zu wünschen übrig. Didaktisch haben ich (und einige meiner Kolleginnen und Kollegen) noch Nachholbedarf.

Die insgesamt 15 Workshops wurden von zwei ‘Hauptvorträgen’ gerahmt. Der erste Vortrag wurde von Joachim Grzega gehalten und befasste sich mit “Das Leben für Lerner und Lehrer spannender machen – Eine Einführung in LdL”. Für jemanden wie mich war der Vortrag genau richtig, nämlich eine knappe Einführung in LdL. Etwas enttäuschend war die anschließende kurze Diskussion, denn die dort vorgetragenenen Erwiderungen der LdL-Seite auf einige Einwände (“Kennen wir doch schon; Projektunterricht; …”) kamen mir etwas schwach vor. Das mag aber auch an meinem Verständnis gelegen haben…

Anschließend gab es drei Workshopphasen mit je 5 parallel angebotenen Workshops. Die von mir besuchten Workshops haben allerdings auch gezeigt, dass der LdL-Gedanke von den Lehrenden bislang unterschiedlich erfolgreich umgesetzt werden konnte. Mir ist dadurch klar geworden, dass u.U. weniger ein Methoden- als möglicherweise eher ein Haltungswechsel im Vordergrund steht.

Die Tagung fand ihr Ende mit einem insgesamt sehenswerten Vortrag (‘Lange Inkubation, plötzliche Emergenz’) des ‘godfather of LdL’ Jean-Pol Martin. Große Teile des Vortrags fand ich spannend. Für mich etwas ungewohnt waren die anschließenden Ausführungen zu “Was ich an Jean Pol besonders schätze!“.

LdL selbst mag ein überzeugendes Lehr/Lern-Konzept sein und die nächsten Jahre werden zeigen wie gut sich der Ansatz durchsetzten kann. Unabhängig von LdL konnte ich für meine eigene Lehrtätigkeit an der Uni einige gute Gedanken mitnehmen. Die (kostenlose) Tagung  war exzellent und mit großem Engagement organisiert. Die Verbreitung von LdL selbst ist ein gutes Beispiel für die Möglichkeiten des ‘Web2.0′. Denn LdL wird seit Anfang der 1980er Jahre entwickelt und in den letzten (beiden?) Jahren hat die Methodik ungeahnte Verbreitung gefunden. Summa summarum würde ich sagen, dass sich die insgesamt 7 Stunden Fahrt nach Ludwigsburg gelohnt haben (sieht man mal von den durch Wolkenbrüchen überfluteten Straßen, den Hagelschauern und Gewittern ab). Auch wenn ich oben einige kritische Punkte angesprochen habe, so war es doch eine anregende Veranstaltung.

P.S.: Die Haltung zur Evaluation von LdL und der Vergleich mit anderen Methoden ist mir noch nicht ganz klar geworden. Nach meiner Vorstellung sollte eine Lehrmethode, welche die Lernenden motiviert, zu besseren Ergebnissen bei entsprechenden Leistungstests führen.

• (Sozial-)Wissenschaftliches Publizieren mit LaTeX (farbig)
• (Sozial-)Wissenschaftliches Publizieren mit LaTeX (einfarbig, Druckfassung)

Im nachfolgenden Text versuche ich relativ einfach und nicht auf Fachartikel-Niveau die für mich relevanten Punkte der statistischen Datenanalyse darzulegen. Die Idee zu einem solchen Blogbeitrag besteht schon länger und es gab auch schon Textfragmente. Die Motivation, den Artikel fertig zu stellen, habe ich durch den Beitrag “Ich plotte – also bin ich” auf dem Blog “Hinterm Mond gleich links” erhalten. Die dort sowohl im Artikel als auch in den Kommentaren vorgebrachten Einstellungen provozieren den Puristen in mir. Konkret ging es um das Nachbearbeiten einer Grafik, das heißt der Visualisierung von Daten. Dort ist dann von “nachträglich im Bild [d.h. der Grafik, BW] rumzupfuschen” oder “Diagramme meistens in Corel Draw” nachbauen die Rede. Der Pragmatiker (das ist der Gegenspieler des Puristen, s.o) in mir weiß natürlich auch, dass es Situationen geben kann, wo es zu einem solchen Vorgehen keine Alternative gibt (1 Stunde vor einer deadline o.ä.). Insofern wird nachfolgend ein idealisiertes Vorgehen beschrieben, dem auch ich nicht immer vollständig entsprechen kann und das natürlich über meine Kritik an “Ich plotte – also bin ich” weit hinausgeht.

(Übrigens: Weitere Überlegungen zu meinen Arbeitsabläufen finden sich in einem Artikel mit dem Titel “Denkwerk braucht Werkzeug“.)

Eine (zu) knappe Antwort auf die Frage “Woher kommen die Daten?”

(Angewandte) Soziologie befasst sich unter anderem mit der empirischen Prüfung von Theorien. Empirisch bedeutet hier, dass theoretische Überlegungen mit Daten kontrastiert werden. Sofern Theorien passende Annahmen über menschliches Handeln bereit halten, sollten sich diese Annahmen anhand des Datenmaterials belegen lassen. Grob lassen sich zwei Arten von Daten unterscheiden, qualitative und quantitative/statistische Daten. Quantitative Daten sind etwa das Ergebnis von standardisierten (Personen-)Befragungen. Zentrales Merkmal dieses Befragungstyps ist, dass den Befragten nur die Möglichkeit gegeben wird, zwischen bestimmten Antwortmöglichkeiten zu entscheiden. In einer solchen Befragungssituation darf die Frage “Wie häufig kommt es in Ihrer Partnerschaft bei dem Thema „Aufteilung der Hausarbeit“ zu Konflikten? ” etwa nur mit “nie”, “sehr selten”, “gelegentlich”, “häufig”, “sehr häufig” beantwortet werden. Antworten wie “Lassen Sie mich mal überlegen… Also letzte Woche hatten wir einen recht heftigen Streit. Es ging um meine Schwiegermutter. Weiß nicht, insgesamt ein paar Mal” lassen sich (a) nur schwer mit den Antworten anderer Befragten vergleichen und (b) nur schwer in eindeutige Zahlencodes überführen. Gerade aber das ist Gegenstand der quantitativen Soziologie, menschliches Handeln und menschliche Einstellungen zu messen, indem standardisierte Befragungen durchgeführt werden und die erfassten Antworten der Befragten in Zahlenkolonnen überführt werden, die dann wiederum mathematischen/statistischen Verfahren zugänglich sind.

Statistische Datenanalyse ist ein Handwerk

Wenn man die Daten einmal gesammelt hat (diesen Schritt nennt man Datenerhebung) und sicher ist, dass keine Fehler mehr in den Befragungsdaten enthalten sind (Datenbereinigung), dann kann man sich an die statistische Auswertung der Daten machen. Statistische Datenanalyse ist manchmal eine Kunst, in den meisten Fällen jedoch ein erlernbares Handwerk, das bestimmten Regeln (oder Prinzipien) folgt. Im Laufe der letzten Jahre habe ich für mich deren drei erschlossen: Transparenz und Nachvollziehbarkeit, Modularität und Lesbarkeit. Grundlage dieser drei Prinzipien ist eine ‘Philosophie’, die von den Autoren des “Emacs Speaks Statistics”-Mode als “The source code is real” umschrieben wird.

Es gibt keine Geheimnisse (Transparenz)

In Köln werden Studierende der Soziologie früher oder später mit einem der gängigen Statistikprogramme konfrontiert, früher war das SPSS, inzwischen verstärkt Stata (und wenn sie es mir zu tun bekommen, dann auch noch R). Solche Programme (zumindest SPSS und größtenteils auch Stata) lassen sich auf zweierlei Weisen bedienen: (1) Über eine graphische Benutzeroberfläche (Graphical User Interface = GUI) klickt man sich die Befehle zusammen, sinngemäß etwa “Berechne den Mittelwert”, “Erstelle eine Kreuztabelle”, “Zeichne ein Säulendiagramm”. (2) SPSS, Stata wie auch R lassen sich aber auch durch eigene, selbstgeschriebene Programme steuern. Ja, das heißt, dass man etwas Programmieren muss, wobei man sich (meistens) auf wenige Programmbefehle beschränken kann.

Es ist verständlich, dass man sich im Angesicht des Neuen (neue, häufig wenig intuitive Statistiksoftware) und Ungeliebten (Statistik) die eigene Arbeit so einfach wie möglich machen möchte. Im Fall der statistischen Datenanalyse bedeutet das, der graphischen Benutzeroberfläche den Vorzug zu geben und sich die Analyse ‘zusammenzuklicken’. Ein solches Vorgehen hat mehrere Nachteile. Zentrale Schwäche ist jedoch, dass sich damit die Datenanalyse der Überprüfbarkeit durch Dritte entzieht — oder anders formuliert: sie ist nicht transparent. Sofern der Programmcode vorliegt, lässt sich detailliert nachvollziehen, wie die Analyse durchgeführt wurde. Welche Variablen wurden verändert? Bezogen sich die Analysen vielleicht nur auf einen Teildatensatz? Wurden während der Analysen Gewichtungsfaktoren berücksichtigt? Man sollte immer damit rechnen, dass Fragen zu den eigenen Analysen kommen — und zumindest im wissenschaftlichen Kontext wäre es eine grobe Verletzung von Wissenschaftlichkeit, wenn nicht mehr belegt werden kann, wie bestimmte Ergebnisse erstellt wurden. Beispielhaft ist diesbezüglich das Vorgehen von Ulrich Kohler, der für sämtliche seiner Publikationen den entsprechenden Stataprogrammcode öffentlich verfügbar hält, so das es interessierten Wissenschaftlern jederzeit möglich ist, seine Analysen zu replizieren.

Teile und herrsche (Modularität)

Statistische Analysen können sehr schnell sehr komplex werden. Dieser Umstand bezieht sich gar nicht einmal (nur) auf die eingesetzten Verfahren, sondern allein auf die Menge an Programmcode. Für die Analysen im Rahmen meiner Dissertation wurden sicherlich mehr als 5000 Zeilen Programmcode erstellt. Dieser lässt sich (am einfachsten) danach unterscheiden, ob er der Datenaufbereitung (Daten einlesen, neue Variablen erstellen, vorhandene Variablen ändern etc.) oder der Datenanalyse dient. Dementsprechend verwende ich immer mindestens zwei verschiedene Dateien, nämlich initXXX.X (etwa initMeta.R, initGGS.do, initPairfam.sps etc.) und anaXXX.X. Die initXXX.X-Dateien enthalten sämtlichen Code, um Daten für die späteren Analysen aufzubereiten. Folglich enthalten anaXXX.X-Dateien den eigentlichen Analysecode. Ab und an gibt es auch noch funcXXX.X-Dateien, in denen eigene Funktionen definiert werden. Am Anfang der anaXXX.X-Datei wird die initXXX.X-Datei aufgerufen, wenn vorhanden, auch die funcXXX.X-Date. Mit anderen Worten: Vor jedem Analyselauf werden die Daten erneut aufbereitet und so etwas wie ein Analysedatensatz in Form einer einzigen Datei existiert bei mir nicht. So ein Vorgehen ist natürlich nur möglich, wenn der Durchlauf der initXXX.X-Datei nicht mehr als 10 Minuten dauert. Hat aber den Vorteil, dass man ganz sicher immer mit der aktuellen (laut initXXX.X) Datei arbeitet.

Lesbarkeit durch Kommentare

Sofern man nicht mit einem photographischen Gedächtnis gesegnet ist, hat man spätestens in einem halben Jahr vergessen, was etwa die folgende Befehlssequenz bewirken sollte (ich habe das auch schon früher vergessen):

replace f030100m = 0 if (missing(f030100m))
generate zuziehdat = ((f030100j - 1900)*12) + f030100m
generate zuswohn = intdatum - zuziehdat
replace zuswohn = 2 if (zuswohn == 0 | zuswohn == 1)

Deshalb sollte dort ein (oder mehrere Kommentare) Kommentar eingefügt werden, der mindestens erläutert, was die Variablen f030100m und f030100j inhaltlich bedeuten und welche Transformationen zu welchem Zweck vorgenommen werden. Dass diese Kommentare (die sind echt, nicht didaktisch aufbereitet) nicht immer den grammatikalischen Gepflogenheiten der deutschen Sprache genügen, ist eine andere Sache (in Stata können Kommentare u.a. durch “//” eingeleitet werden).

// Dauer des Zusammenlebens = Erhebungszeitpunkt - Zeitpunkt des Zusammenzugs
replace f030100m = 0 if (missing(f030100m))
generate zuziehdat = ((f030100j - 1900)*12) + f030100m
generate zuswohn = intdatum - zuziehdat
// Problem: wenn Interview später intdatum durchgeführt wurde,
//kann zuswohn < 0 sein, deshalb min auf 2 Monate festlegen:
replace zuswohn = 2 if (zuswohn == 0 | zuswohn == 1)

Kommentare können auch dazu dienen, umfassenderen Analysecode zu strukturieren, ihn in einzelne Kapitel zu unterteilen (etwa: deskriptive, psychometrische und multivariate Analysen).

The source code is real

Hinter dem zuvor geschriebenen verbirgt sich ein “The source code is real”-Ansatz. Ausgehend von den ursprünglichen Daten sollte für sämtliche Analyseschritte der entsprechende Programmcode vorhanden sein. Ein kurzer Hinweis auf diese Prinzip findet sich in Folien von Sven Hartenstein; ich bin im Rahmen des ESS-Projektes (Emacs Speaks Statistics) darauf gestoßen. In Abschnitt “6.4 Philosophies for using ESS[S]” heißt es

“The source code is real. The objects are realizations of the source code. Source for EVERY user modified object is placed in a particular directory or directories, for later editing and retrieval.”

• Name der Untersuchung
• Beginn und Ende
• Fallzahl
• URL
• Verantwortlicher/Institution
• Untersuchungsgegenstand
• Methodologie

Diese Liste ist unvollständig und sprachlich gewöhnungsbedürftig… aber eben auch der Anfang einer systematischen Dokumentation von empirischen “Blog-Studien”. Ich komme im Moment nicht dazu, mich damit näher zu befassen. Es wäre aber schade, diese Zusammenstellung ungenutzt zu lassen. Deshalb veröffentliche ich sie hiermit, möge sie anderen von Nutzen sein. Die Lizenzbestimmungen finden sich unterhalb dieses Post (Creative Commons Attribution-Noncommercial 2.0 Germany License).

Download als csv-File (Spaltentrenner ist “;”): studien-weblogs

Eigentlich war es meine Absicht, die nachfolgende Kritik eines Aufsatzes von Kolo und Meyer-Lucht bei der M&K als ‘ordentliche’ Replik einzureichen.[1] Ich habe mit einigen Kolleginnen und Kollegen darüber gesprochen, mir auswärtigen Rat eingeholt und dann den Beitrag etwa 6 Monate liegen lassen. In den letzten Tagen habe ich meine Kritik nochmals ‘hervorgekramt’, habe mich vor allem etwas mit Zeitreihenanalyse beschäftigt und gemerkt, dass Teile meiner Kritik eine durchaus gängige Praxis kritisieren, was diese Kritik wiederum etwas (nicht völlig; etwa die Regression von Anteilswerten) ins Leere laufen lässt. Hinzu kommt, dass es keine fundamentale Kritik ist und die Kernaussage des Artikels, nach der es zu einer „Erosion der Intensivleserschaft“ kommt und „Nachrichtensites“ den Printmedien Nutzer streitig machen, nicht in Frage gestellt wird. Unter diesen Voraussetzungen kommt mir eine Replik bei der M&K etwas übertrieben vor, und daher habe ich mich dazu entschlossen, meine Überlegungen hier auf der Zahlen|Gesellschaft zu veröffentlichen. Zwei weitere Einschränkungen: (1) Es ist kein fertiger Fachartikel, siehe dazu auch die “Zahlen|Gesellschaft als Experimentierfeld“. (2) (Fast) Unnötig zu erwähnen, dass ich hier ausschließlich meine persönliche Meinung vertrete.

Einleitung

In Ausgabe 4/2007 der Medien & Kommunikationswissenschaft findet sich ein Beitrag von Kolo und Meyer-Lucht (2007; nachfolgend KML abgekürzt) mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites“. In diesem Artikel befassen sich die beiden Autoren mit der Frage, ob beide Mediengattungen in einem komplementären oder substitutiven Verhältnis zu einander stehen. Die späteren empirischen Analysen konzentrieren sich auf die Beantwortung von drei Fragen: „1. Wie verändert sich die Nutzungsintensität von Tageszeitungen und von Nachrichtensites im Zeitverlauf? 2. Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen? 3. Was lässt sich daraus für die Komplementarität oder Substitutivität der Nutzung dieser beiden Mediengattungen folgern?“ (KML: 514). Datengrundlage der Untersuchung ist einerseits die Allensbacher Computer- und Technik-Analyse (ACTA), andererseits die Allensbacher Markt- und Werbeträger-Analyse (AWA).

Die von den Autoren durchgeführten statistischen Analysen sind nach meinem Dafürhalten in vielen Fällen für die Beantwortung der drei Forschungsfragen nicht von Belang, sondern wirken durch den Einsatz von unangemessenen Verfahren sowie der fehlerhaften Befundinterpretationen eher verwirrend. Anliegen dieses Beitrags ist eine kritische Diskussion ausgewählter empirischer Befunde von KML, die vor allem darin besteht, dass ihre Ausführungen eine statistische Genauigkeit suggerieren, die sie gar nicht einhalten können. Im Einzelnen umfasst die Methodenkritik drei Punkte: (1) Die unangemessene Verwendung von linearen Regressionsmodellen sowie (2) die falsche Interpretation von statistischer Signifikanz. (3) Hinzu kommt ein fehlendes Problembewusstsein für ökologische Fehlschlüsse, das heißt den unzulässigen Schluss von Zusammenhängen auf der Aggregatebene auf individuelles Handeln.

Die unangemessenene Verwendung und Interpretation von Regressionsmodellen

(Die in der Vorbemerkung angesprochene Praxis der Zeitreihenanalyse betrifft den nachfolgenden Absatz.  Ich belasse meine Kritik an dieser Stelle und würde mich freuen, wenn mich eine/r eines Besseren belehrt.)

An mehreren Stellen im Aufsatz wird ein zeitlicher Trend, etwa die „Anteile Intensivnutzer überregionaler Nachrichtensites“ (KML: 518, Abbildung 1) mit einem linearen Regressionsmodell „abgesichert“. Um den Trend zu illustrieren, hätte das Einzeichnen der jeweiligen Kurven beziehungsweise Geraden völlig genügt. Doch die Autoren „untermauern“ ihre grafischen Befunde mit den Ergebnissen einer linearen Regression, was zumindest den Eindruck erwecken kann, ein Verständnis des Prozesses erlangt zu haben. Für die überregionalen Abotageszeitungen weisen sie etwa einen „Trend“ (= Regressionskoeffizient) von -0.6 Prozentpunkten pro Jahr (auf zwei Nachkommastellen genau beträgt der Wert -0.58)  aus. Die vollständige Gleichung lautet:

y = 1175.15 + (-0.58)*Jahr,

wobei y den Anteil der Intensivleser (überregional) in Prozent bezeichnet. Im Jahr 0 lag dementsprechend der Anteil der Intensivnutzer bei 1175,15% und im Jahre 2027 wird der Anteil etwa -0.51% betragen. Beide Aussagen sind natürlich sinnlos, lassen sich aber aus dem geschätzten Regressionsmodell ableiten und demonstrieren die Gefahren, die mit dem Einsatz solcher Verfahren verbunden sind. Üblicherweise wird bei Prozent- beziehungsweise Anteilswerten statt des linearen Modells eine sogenannte Beta-Regression vorgenommen, die auf den eingeschränkten Wertebereich (zwischen 0% und 100%) der abhängigen Variablen Rücksicht nimmt (Smithson/Verkuilen 2006). Überhaupt ist fraglich, welchen Sinn es hat, bei sechs Analyseeinheiten eine lineare Regression zu schätzen.

(Ende der Einschränkung …)

Weitere Regressionsanalysen wurden vermutlich auch anlässlich der Frage nach dem Zusammenhang von Alter und der Nachfrage nach aktuellen Informationen durchgeführt. Die auf Seite 523 formulierte Hypothese lautet: „Die Nachfrage nach aktuellen Informationen über […] Print bzw. […] Online ist jeweils eine Funktion des Alters“. Zumindest lässt der Hinweis auf „eine  Funktion des Alters“ darauf schließen, dass auch hier Regressionsmodelle geschätzt wurden. Doch die Ausführungen dazu  und vor allem Abbildung 3 auf Seite 524 lassen sich nicht nachvollziehen. Dort findet sich der Hinweis auf eine „angepasste Normalverteilung“ beziehungsweise ist einige Zeilen später davon die Rede, „dass man an die Verteilung der Intensivnutzer von Nachrichtensites sehr gut eine Normalverteilung mit einem Mittelwert von 38 Jahren anpassen kann [...]“. Während also die Verteilung der Intensivnutzer einer „Normalverteilung folgen soll“, scheint für die „Intensivleser von Abotageszeitungen ein linearer Anstieg mit dem Alter“ vorzuliegen. Eine Normalverteilung beschreibt die (Häufigkeits-)Verteilung eines Merkmals (Sachs/Hedderich 2006: 191ff). „Angepasste Geraden“ beschreiben dagegen den Zusammenhang zwischen zwei Merkmalen. Es ist unklar, was an dieser Stelle überhaupt untersucht wird. Wird die Altersverteilung der jeweiligen Teilstrichproben von Intensivnutzern und Intensivlesern beschrieben? Interessieren sich die Autoren für den funktionalen Zusammenhang zwischen Nutzungsgrad und Alter?

Fehlerhafte Interpretation des Begriffs der statistischen Signifikanz

Als weitere Absicherung und, so ist zu vermuten, um die „Güte“ des Modells zu belegen, weisen die Autoren „p(lineare Regression)“ aus (im vorliegenden Beispiel auf Seite 518 beträgt dieser Wert 0,009). Zur Interpretation dieser Irrtumswahrscheinlichkeit p schreiben sie: „Die Wahrscheinlichkeit, dass nur zufällig eine Regression mit von 0 verschiedener Steigung vorliegt, beträgt auch hier 0,9 Prozent“ (KML: 518). Diese Auffassung von statistischer Signifikanz ist verbreitet, aber falsch (Haller/Krauss 2002). Die Irrtumswahrscheinlichkeit ist immer eine bedingte Wahrscheinlichkeit, nämlich unter der Bedingung, dass in der Population (der Grundgesamtheit) die H0 korrekt ist. Richtigerweise müsste die Formulierung also lauten: Unter der Bedingung, dass in der Population der Steigungskoeffizient („Trend“) gleich 0 ist, beträgt die Wahrscheinlichkeit mit den verwendeten Daten den ermittelten oder einen extremeren F-Wert (Teststatistik des entsprechenden Omnibustestes des linearen Regressionsmodells) zu erhalten 0,009. Formuliert wird also p(Daten|H0) und nicht p(H0) (Fahrmeir et al. 2001: 409).

Auf Seite 525 wollen die Autoren den „Zusammenhang des Anteils an Intensivlesern mit dem Nachrichtenkonsum im Internet“ näher untersuchen und verwenden dazu Chi-Quadrat, einen verbreiteten Test auf Unterschiedlichkeit. Sie schreiben dazu: „Der Effekt ist zwar bis auf das Alterssegment der 14- bis 17-Jährigen schwach, aber durch das durchgängige Auftreten in fast allen Altersgruppen bei hohen Fallzahlen signifikant. Damit ist Hypothese (4a) bestätigt.“ Meine Interpretation würde wie folgt lauten: Es lässt sich nur ein (sehr) schwacher Effekt beobachten, der aber auf Grund der Fallzahlen signifikant ist. Ein substantieller Befund, der klare Unterschiede zwischen Gruppen beschreibt, ist das eben nicht. Dazu schreiben Sachs/Hedderich (2006: 307; Herv. durch die Autoren): „Betont sei auch, dass formale statistische Signifikanz (nur diese kann ein statistischer Test nachweisen!) und wirkliche (praktische) Bedeutung – Relevanz – nicht miteinander verwechselt werden dürfen“.

Das Problem eines ökologischen Fehlschlusses

Eine der einleitend genannten Forschungsfragen thematisiert Bedingungen, unter denen Nutzer von der einen zu der anderen Mediengattung wechseln (KML: 514): „Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen“? Zu den Voraussetzungen, eine solche Frage angemessen beantworten zu können, schreiben die Autoren weiter unten (KML: 514):

„Veränderungen der Mediennutzung lassen sich am verlässlichsten durch eine wiederholte Befragung identischer Personen ermitteln. Nur so kann man direkt die Selektionshandlung – ob singulär oder eher schleichend über sich verändernde Nutzungsintensitäten – dokumentieren.“

Ich interpretiere diese Aussage dahingehend, dass man individuelles Verhalten am besten mit Individualdaten erklären kann – dem stimme ich vorbehaltlos zu. Doch die Analysen der Untersuchung basieren (zumindest teilweise und soweit ich das dem Text entnehmen konnte) auf Aggregatdaten und von Zusammenhängen auf Aggregatebene auf individuelles Verhalten schließen zu wollen, wird in den Sozialwissenschaften als „ökologischer Fehlschluss“ bezeichnet (Diekmann 2004: 116ff).[2]

Es wäre falsch, Kolo und Meyer-Lucht an dieser Stelle den Vorwurf des ökologischen Fehlschlusses zu machen. Tatsächlich sind die empirischen Befunde plausibel, so dass es schwer fällt, einen solchen Fehlschluss zu vermuten. Doch es lässt sich ein fehlendes Problembewusstsein erkennen. Gleich die erste Hypothese lautet etwa: „Die Nachfrage nach aktuellen Informationen ist – unabhängig vom Medium – altersabhängig“ (KML: 523). Meiner Meinung nach wird hier ein Zusammenhang auf Individualebene formuliert, doch die Analysen werden, wie oben erwähnt, auf Aggregatdatenebene ausgeführt. Da hilft auch der am Ende der Hypothesen aufgeführte Hinweis nicht viel, dass die „Hypothesen […] so gewählt [wurden], dass auf Basis der vorliegenden Daten […] ein Überprüfung möglich ist“ (KML 523).

Anhand eines einfachen grafisches Beispiels mit simulierten Daten soll das Problem illustriert werden: In Abbildung 1 wird der Zusammenhang zwischen dem Merkmal Alter (hier: 3 Altersgruppen) und der Nachfrage nach aktuellen Informationen untersucht. In der linken Abbildung (1a) finden sich die Befunde der auf der Aggregatebene durchgeführten Analysen. Die rechte Abbildung (1b) enthält die Befunde der Individualdatenanalysen. In der ersten Abbildung zeigt sich ein klar positiver Zusammenhang und unzweifelhaft lautet die (falsche) Interpretation: Mit dem Alter steigt die Nachfrage nach aktuellen Informationen. In der rechten Abbildung (1b) hingegen wurde der Zusammenhang pro Altersgruppe auf Grundlage der Individualdaten errechnet und nun zeigt sich, dass ein negativer Zusammenhang vorliegt. Wie sich gut erkennen lässt, ergibt sich lediglich durch die unterschiedlichen Nachfrageniveaus ein scheinbar positiver Zusammenhang. Bereits dieses einfache Beispiel belegt eindringlich, welche Folgen ein ökologischer Fehlschluss haben kann.

Abbildung 1: Grafische Illustration eines ökologischen Fehlschluss

Zusammenfassung

Die vorangegangenen Ausführungen haben sich mit einigen methodische Unzulänglichkeiten eines von Kolo und Meyer-Lucht verfassten Beitrags mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites” befasst. Die Hauptthese des Beitrags wird nicht in Frage gestellt, doch es wird behauptet, dass ein Teil der Analysen im Hinblick auf die Fragestellungen des Artikels überflüssig ist oder falsch durchgeführt wurde. Das betrifft etwa die unangemessene Verwendung von linearen Regressionsmodellen (bei Zeitreihendaten; siehe meine einschränkenden Anmerkungen in den Vorbemerkungen) sowie die Interpretation der Ergebnisse. Ein weiteres Problem betrifft die Verwendung von Aggregatdaten, während die Hypothesen teilweise auf der Individualebene formuliert werden. An keiner Stelle im Artikel findet sich der Hinweis auf einen drohenden ökologischen Fehlschluss.

Endnoten

[1] Erste kritische Anmerkungen von mir zu dem Beitrag von KML finden sich auch auf dem KoopTech-Blog.

[2] Die Frage, auf welcher Analyseebene (Individual- oder Aggregatebene) Teile der Untersuchungen letztlich durchgeführt wurden, kann ich nicht beantworten. Eine Nachfrage beim Institut für Demoskopie Allensbach für die ACTA-Daten ergab, dass diese in Verbindung mit einer Software namens mediMACH als Individualdaten bezogen werden können. Inwieweit dann die Analysen, etwa zu den Faktoren der Nutzungsintensität von Tageszeitungen und von Nachrichtensites, diese Individualdaten nutzen, ist mir nicht klar geworden.

Literatur

Diekmann, Andreas, 2004: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Hamburg: Rowohlt.

Fahrmeir, Ludwig, 2001: Statistik. Der Weg zur Datenanalyse. Berlin [u.a.]: Springer.

Fahrmeir, Ludwig, Thomas Kneib, und Stefan Lang, 2007: Regression: Modelle, Methoden und Anwendungen. Berlin, Heidelberg: Springer.

Haller, Heiko, und Stefan Kraus, 2002: Misinterpretations of significance: A problem students share with their teachers?, Methods of Psychological Research Online 7: 1-20.

Kolo, Castulus, und Robin Meyer-Lucht, 2007: Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites, Rundfunk und Fernsehen 55: 513-533.

R Development Core Team, 2008: R: A language and environment for statistical computing <http://www.R-project.org>. Wien: R Foundation for Statistical Computing.

Sachs, Lothar, und Jürgen Hedderich, 2006: Angewandte Statistik: Methodensammlung mit R ; mit 180 Tabellen. Berlin u.a.: Springer.

Smithson, Michael, und Jay Verkuilen, 2006: A better lemon squeezer? Maximum-likelihood regression with beta-distributed dependent variables, Psychological Methods 11: 54-71.

Anhang

Der nachfolgende R-Code (R Development Core Team 2008) repliziert einen Teil der Analysen der in Abbildung 1 (oberste Regressionslinie) auf Seite 518 vorgestellten Befunde.
## Anteil Intensivleser (ueberregional) in Prozent
y <- c(15.0, 13.4, 13.6, 12.9, 11.7, 12.1)
## Historisches Jahr
jahr <- c(2001:2006)
## Schaetzen des Regressionsmodells
summary(fit  <- lm(y ~ jahr))
## Neue Daten fuer Vorhersage erzeugen, Jahr 0 sowie den Zeitraum
## von 2006 bis 2030
vorhersage <- data.frame(jahr = c(0,2006:2030))
## Vorhersage ermitteln
predict(fit, vorhersage)

Wer sonst als ein Religionswissenschaftler — nämlich Michael Blume –, hätte die Debatte um die Glaubwürdigkeit von Blogs anstoßen können. In der ARD/ZDF-Online-Studie 2008 wurden Leser wie auch Blogger befragt und diese kommen mehrheitlich zu dem Schluss, dass die auf Weblogs verbreiteten Informationen nicht glaubwürdig sind. In dem Beitrag “ARD/ZDF-Online-Studie 2008 kurz angewärmt” habe ich die Frage aufgeworfen, ob auch Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem haben. Kurz: Wie sinnvoll ist die Annahme, Blogs aller Colour hätten in gleichem Ausmaß Schwierigkeiten damit, ihre Inhalte glaubwürdig an die Frau oder den Mann zu bringen?

Robert Basic hält bereits die Frage für falsch und schreibt – mit Blick auf Strickblogs – dazu: “Die Beurteilung aber von privaten Gesprächen auf Bogs hinsichtlich Qualität und Glaubwürdigkeit ist schlichtweg Bullshit und im höchsten Maße derespektiertlich gegenüber einer Person.” Kann man so sehen, insbesondere für Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs sollten jedoch strengere Kriterien gelten. Was Basic ähnlich sieht: “Davon zu trennen sind die Minderheit der Blogs, die sich thematisch und idealtypisch mit einem einzigen Thema auf ihrem Blog auseinandersetzen. Fachblogs eben, die sehr viel stärker auf die Sachebene abheben und denen es um die Vermittlung von Sachinformationen geht.”

Ausmaß der Glaubwürdigkeit von Blogs nach Nutzergruppen

Als Empiriker möchte ich natürlich Daten haben, die Licht ins unglaubwürdige Dunkel bringen. Auf die Originaldaten der ARD/ZDF-Studie habe ich leider keinen Zugriff, wohl aber auf die Daten der von Jan Schmidt durchgeführten “Wie-ich-blogge”-Studie (WIB). In dieser Untersuchung findet sich folgende Aussage: “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein.” Dieses Item lässt zwar keine Erkenntnisse über Glaubwürdigkeit an sich zu (was mag das auch sein?), sondern stellt diese in Relation zu “klassischen Massenmedien”. Die Antwortmöglichkeiten reichen von 1 („Stimme voll und ganz zu“) bis 5 („Stimme überhaupt nicht zu“). Hohe Werte bedeuten, dass die Befragten Blogs eine hohe Glaubwürdigkeit gegenüber den klassischen Massenmedien einräumen.

Schmidt/Wilbers (2006: 23) berichten einen Gesamtmitteltwert von 3,11, was der Antwortkategorie “teils-teils” entspricht. Darüber hinaus stellen sie auch nach Gruppen (Blogger, Ex-Blogger, nur Leser) getrennte Mittelwerte dar, die zwischen 2,88 und 3,13 liegen. Ex-Blogger (2,88) beurteilen die Glaubwürdigkeit von Blogs etwas geringer als noch aktive Blogger (3,13). Die Gruppe der Nur-Leser liegt mit einem Mittelwert von 3,02 dazwischen. Nachfolgende Abbildung unterscheidet noch zwischen Bloggern mit einem und mehreren Blogs.[1] Es wird deutlich, dass “Multi-Blogger” am “gläubigsten” sind. Die Unterschiede zwischen den Gruppen sind nicht dramatisch groß (die Standardabweichung liegt immerhin bei 1.23 Skalenpunkten), doch man kann sich natürlich fragen, weshalb gerade Ex-Blogger den niedrigsten Wert haben? Sind demgegenüber Befragte mit mehreren Blogs von diesen besonders überzeugt und billigen ihnen daher eine höhere Glaubwürdigkeit zu? (das sind rhetorische Fragen, natürlich kann ich mir ein paar Antworten vorstellen)

Haben auch Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem?

Nun ist aber immer noch unklar, in welchem Ausmaß das “Glaubwürdigkeitsproblem” auch die Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs betrifft (FWW-Blogs). Wie oben angedeutet, erscheint es doch plausibler, unterschiedlichen Blogformen jeweils ein unterschiedlichen Ausmaß an Glaubwürdigkeit zuzubilligen. Es ist hoffentlich nicht allzu despektierlich, wenn ich beispielsweise “MC Winkels weblog” hinsichtlich der Glaubwürdigkeit hinter den ScienceBlogs einordne.  Leider lassen sich mit den WIB-Daten keine Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs identifizieren. Es wurden aber einige Motive des Bloggens abgefragt, die ich mir an anderer Stelle schon einmal angeguckt habe[2]. Hier findet u.a. sich die Aussage, dass gebloggt wird,  “[u]m mein Wissen in einem Themengebiet anderen zugänglich zu machen”. Dieser Aussage würde doch fast jeder FWW-BloggerIn zustimmen, oder? Als “Kontrast” wähle ich diejenigen, die angaben, nur aus Spaß zu bloggen. Es war in der Befragung möglich, beiden Items (“Wissen vermitteln” und “Spaß”) zuzustimmen, doch das scheint eher die Ausnahme gewesen zu sein (Spearman-Korrelation: rho = 0,05). Dieses Vorgehen ist sicherlich nicht unkritisch zu sehen, doch leider gibt es keine besseren Daten.

Die nachfolgende Abbildung vermittelt wiederum einen Eindruck davon, wie die beiden Blogger-Gruppen (linke Abbildung “Spaß-Blogs”, rechte Abbildung “Wissen vermitteln”-Blogs) geantwortet haben. Der Mittelwert für die Angehörigken der “Spaß-Blogs” beträgt 2,96, für die “Wissen vermitteln”-Blogs liegt dieser bei 3,15. Nimmt man den gerundeten Wert, dann Antworten beide Gruppen mit “teils-teils” auf das Item “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein”, doch die “Wissen vermitteln”-Blogger tendieren etwas stärker in Richtig höherer Glaubwürdigkeit. Mit anderen Worten: Betreibe ich selbst ein solches Blog, dann bin ich eher bereit, anderen Blogs mein Vertrauen zu schenken. Welche (psychologischen) Mechanismen dahinter stehen, vermag ich nicht zu sagen. Es kann sein, dass Betreiber eines FWW-Blogs, die sich um eine seriöse Berichterstattung bemühen, ähnliches auch bei anderen Blogs unterstellen. Es kann aber auch auf spezifische Nutzungs-/Rezeptionsroutinen hinweisen, dass heißt, diese Personengruppe liest vorrangig FWW-Blogs.

Dieser Beitrag soll mit einem multiplen (logistischen) Regressionsmodell abgeschlossen werden (N = 3307). Zunächst wurde eine dichotome (0/1) Variable konstruiert, die immer dann den Wert 1 annimmt, wenn der Aussage zugestimmt wurde, dass Weblogs glaubwürdiger sind als die klassischen Massenmedien. Neben dem Alter, dem Geschlecht und dem Bildungsabschluss, wurden die neun abgefragten Blog-Motive erfasst (Multikollinearitätsprobleme lassen wir mal außen vor). Ist der Wert in der Spalte “Estimate” negativ, dann weist das auf eine geringere Glaubwürdigkeit hin. Es gibt einen positiven Alterseffekt (+0.01), dass heißt, je älter die Befragten, desto glaubwürdiger werden Blogs beurteilt. Hingegen sind Frauen eher skeptisch (-0,17). Interessanter ist nun die Tatsache, dass “Wissen zugänglich machen” nach wie vor einen positiven Effekt von +0.27 hat und “Spaß” immer noch einen negativen Wert von -0,18 aufweist.

Die beiden nachfolgenden Abbildungen veranschaulichen den Effekt des “Wissen vermitteln” (bzw. “zugänglich machen”) und des “Spaß-haben”. Es lässt sich gut erkennen, dass der Effekt der Zustimmung zu dem jeweiligen Motiv nur wenige Prozentpunkte ausmacht.

Zusammenfassung

Nach der ARD/ZDF-Online-Studie 2008 haben Blogs ein “Glaubwürdigkeitsproblem”. Glaubwürdigkeit wird in diesem kurzen Beitrag in Kontrast zu den “klassischen Massenmedien” gesehen. Es stellt sich die Frage, ob davon alle Blogs gleichermaßen betroffen sind. Insbesondere die Fach-/Wissenschafts-/WissenschaftlerInnen-Blog (FWW-Blogs) “werben” implizit/explizit mit ihrere Fachkompetenz und hier wäre ein Glaubwürdigkeitsproblem besonders unangenehm. Eine mögliche Erklärungsgröße für die unterschiedliche Bewertungen von Weblogs können unterschiedliche Nutzungspräferenzen sein, was sich im Rahmen dieser kleinen Untersuchung jedoch nicht untersuchen lässt. Bezogen auf die Gruppe der aktiven Blogger zeigt sich, dass die FWW-BloggerInnen eher bereit sind, Blogs im Allgemeinen als glaubwürdig(er) einzustufen.

Endnoten

[1] Die berichteten Mittelwerte unterscheiden sich leicht, weil Schmidt/Wilbers (2006: 23) entgegen ihrer Aussage, die “Weiß-Nicht”-Kategorie auszuschließen, diese doch in die Berechnungen aufgenommen haben.

[2] Irgendetwas in diesem Beitrag (“Überlegungen zur faktoriellen Struktur von Motiven des Bloggens in der WIB-Studie“) ist mit den Labels passiert, die stimmen vorne und hinten nicht. Verdammte Schlamperei! Wer glaubt mir denn jetzt noch?

Unterscheidet sich die Nutzungszahlen von Blogs zwischen 2007 und 2008?

Mit einem Fokus auf Weblogs ist eine der ersten interessanten Zahlen die “gelegentliche oder regelmäßige” Nutzung von Web2.0-Diensten (“Weblog”) in den Jahren 2007 und 2008 (Tabell 3, S. 358). Von einer “gelegentlichen” Nutzung berichten 2007 11%, 2008 nur noch 6% aller Befragten. Die Zahlen für die “regelmäßige” Nutzung liegen bei 3% (2007) beziehungsweise 2% (2008). Naheliegend ist die Frage, ob die Unterschiede der Prozentwerte zwischen den beiden Erhebungszeitpunkten statistisch bedeutsam sind. Tatsächlich zeigt sich, dass die “gelegentliche” Nutzung von Weblogs zwischen 2007 und 2008 überzufällig stark gesunken ist (p = 0.00). Das 95%-Konfidenzintervall[1] der Prozentwertdifferenz liegt zwischen 0.026 und 0.073. Das heißt, die in der Stichprobe beobachtete Differenz von 5 Prozentpunkten kann in der Grundgesamtheit aller Onlinenutzer in Deutschland ab 14 Jahren auch bei 2.6 oder 7.3 Prozentpunkten liegen. Für die regelmäßige Nutzung von Weblogs hingegen finden sich keine bedeutsamen Unterschiede (p = 0.11). Zusammenfassend: Die gelegentliche Nutzung von Weblogs hat deutlich abgenommen, die regelmäßige Nutzung weist keine bedeutsamen Veränderungen auf.[2]

Bedeutung und Glaubwürdigkeit von Weblogs

Tabelle 8 (S. 360) enthält vier Aussagen zu Weblogs, denen “voll und ganz”, “weitgehend”, “weniger” oder “gar nicht” zugestimmt werden konnte. In früheren Beiträgen zu der ARD/ZDF-Online-Studie 2008 gehen weder Jan Schmidt noch Michael Blume auf die Tatsache ein, dass dieser Tabelle lediglich Aussagen von 283 von ursprünglich 1186 Befragten zugrunde liegen — eben genau die Teilstichprobe, die zuvor in Tabelle 7 angegeben hat, Weblogs zu kennen oder zu nutzen. Aus dieser Tabelle repräsentative Aussagen abzuleiten, finde ich gewagt; zumal sich aus Tabelle 7 auch ableiten lässt, dass diese Teilstichprobe eine etwas andere sozialstrukturelle Zusammensetzung aufweist, was wiederum zu Verzerrungen führen kann.

Verwunderlich ist auch, dass gerade einmal 4% der Befragten der Aussage zustimmen, dass die auf Weblogs verbreiteten Informationen voll und ganz glaubwürdig sind. Immerhin 12% stimmen voll und ganz der Aussage zu, dass Weblogs eine Konkurrenz zu professionellen journalistischen Angeboten darstellen. Möglicherweise schätze ich aber auch einfach die Verbindung von “glaubwürdig” und “professionellen journalistischen Angeboten” falsch ein…

Es ist im Kontext einer vergleichsweise allgemein gehaltenen Studie natürlich auch müßig darüber zu klagen, dass sämtliche Blogs in einen Topf geworfen werden und Wissenschafts-/WissenschaftlerInnenblogs mit anderen Bloggattungen verglichen werden. Es wäre jedoch interessant zu erfahren, ob auch W-Blogs in gleichem Maße ein Glaubwürdigkeitsproblem haben (immerhin 71% halten die Informationen für wenig oder gar nicht glaubwürdig). Gibt es Spill-over-Effekte?

Es ist bedauerlich, dass die Originaldaten nicht zur Verfügung stehen, mit deren Hilfe die Korrelationsmatrix für die vier Items konstruiert werden könnte. Danach könnte man sich anschauen, ob es ein gemeinsames latentes Konstrukt gibt. Gibt es Gruppen (Nutzungstypen, Bildungsgruppen etc.), wo diese Korrelationsstruktur variiert?

Fußnoten und Anhang

[1] Die Konfidenzintervalle wurden alle sehr naiv ermittelt, siehe dazu prop.test().

[2] Man sollte an dieser Stelle anmerken, dass ich gegen das Proportionalitätsgesetz verstoße, hier etwas besser erklärt. Mich interessieren aber vor allem die Konfidenzintervalle und die Faustregel, dass sich nicht überlappende Intervalle einen signifikanten Unterschied anzeigen.

Update: Besagte Faustregel ist, wie sich den Kommentaren entnehmen lässt, eher fraglich. Sich nicht-überlappende Konfidenzintervalle weisen auf einen signifikanten Unterschied hin.


## R-Code für die Berechnung der CI und die Konstruktion der Grafik ##
## Test auf Gleichheit von Anteilswerten (H0: p1 == p2 == ... == pn)
## Tabelle 3, S. 358

prop.test(x = c(126,72), n=c(1142,1186))
prop.test(x = c(35,23), n=c(1142,1186))
prop.test(x = c(126+35,72+23), n=c(1142,1186))

##Konstruktion der Grafik
library(lattice)
library(Hmisc)
jahr <- c(2007,2008,2007,2008)
type <- c("gelegentlich","gelegentlich","regelmaessig","regelmaessig")
anteile <-c(11,6,3,2)
lower <- c(
prop.test(x = c(126), n=c(1142))$conf.int[1]*100,
prop.test(x = c(72), n=c(1186))$conf.int[1]*100,
prop.test(x = c(35), n=c(1142))$conf.int[1]*100,
prop.test(x = c(23), n=c(1186))$conf.int[1]*100
)
upper <- c(
prop.test(x = c(126), n=c(1142))$conf.int[2]*100,
prop.test(x = c(72), n=c(1186))$conf.int[2]*100,
prop.test(x = c(35), n=c(1142))$conf.int[2]*100,
prop.test(x = c(23), n=c(1186))$conf.int[2]*100
)
ard <- data.frame(jahr,anteile)
xYplot(Cbind(anteile,lower,upper) ~ jahr, group = type,
ylim = c(-0.5,14), xlim = c(2006.5,2008.5), data = ard, type = "b",
main = "Nutzung von Weblogs", ylab = "Anteil in Prozent", xlab = "Jahr",
scales = list(x = list(at = c(2007, 2008))))


“In diesem Beitrag werden Möglichkeiten und Probleme der Anwendung von Meta-Analysen in der Soziologie diskutiert. Während in anderen Fächern Meta-Analysen weit verbreitet sind, ist vor allem die deutschsprachige Soziologie noch weit davon entfernt, diese regelmäßig einzusetzen. Es wird eine einfache Systematik von Meta-Analysen eingeführt, mit der sich disziplinäre Unterschiede gut beschreiben lassen. Anschließend wird dargestellt, dass Meta-Analysen zur Lösung von vier prototypischen Forschungsproblemen beitragen: (1) Beschreibung und (2) Exploration eines Forschungsfeldes, (3) empirische Überprüfung von Hypothesen und (4) Evaluation von Maßnahmen. Der Beitrag endet mit einer Darstellung von typischen Problemen, wie sie sich bei der Anwendung von Meta-Analysen in der Soziologie ergeben” (250).

Vielleicht noch ein weiteres Zitat, das erläutert, welcher methodologischer Anspruch hinter unseren Ausführungen steht und was sich die Sozialwissenschaften noch stärker zu Eigen machen sollten (siehe Hervorhebung):

“Es kann kein Zweifel daran bestehen, dass die empirische Überprüfung von Theorien das zentrale Forschungsmotiv in den Sozialwissenschaften darstellt. Allerdings ist diese Überprüfung nicht mit einer empirischen Studie getan, vielmehr sind in der Regel viele empirische Untersuchungen in immer unterschiedlichen Testsituationen nötig (Opp 2005: 201). Sofern also Sozialwissenschaftler der Methodologie des kritischen Rationalismus folgen, die eben keine endgültig wahren Theorien vorsieht, wird ihnen eine ständige Überprüfung aktueller Theoriebildung abverlangt” (251).

Was den Sozialwissenschaften beziehungsweise der Soziologie vielfach noch fehlt, ist eine anerkannte Replikationskultur, die ihren Niederschlag auch in entsprechenden Fachpublikationen findet. Während etwa in der Physik kein Experiment anerkannt wird, wenn nicht mindestens eine weitere Arbeitsgruppe es replizieren kann, gefallen sich große Teile der empirischen Sozialwissenschaften darin, möglichst originell zu sein und jede Studie, jede Befragung als etwas “Neues” zu konzipieren. In dem Artikel gehen wir etwa auf das “Operationalisierungschaos” zum Schulschwänzen ein. Insgesamt habe ich für meine Diss 15 verschiedene Studien zum Schulabsentismus zusammengetragen, die — mehr oder minder — das Schulschwänzen auf 15 verschiedene Arten und Weisen messen. Unter diesen Voraussetzungen einen Befundvergleich vornehmen zu wollen, ist schwierig und die Frage, was die bisherigen Untersuchungen erbracht haben, lässt sich nur schwer beantworten.

(Inwieweit quantitative Forschungssynthesen / Meta-Analysen hier besonders hilfreich sein können, ist Gegenstand meiner Diss beziehungsweise zweier Artikel, die gerade in Arbeit sind.)

Zum anderen geht es um den Sammelband “Problemverhalten und Gewalt im Jugendalter. Erscheinungsformen, Entstehungsbedingungen, Prävention und Intervention“, der von Scheithauer et al. herausgegeben wurde (Kohlhammer). Dort sind wir (Wagner, Dunkake und Weiß) mit einem Beitrag zu “Schulschwänzen aus soziologischer Perspektive” vertreten. Der von mir verfasste Teil ist allerdings seit Erscheinen meiner Disserationsschrift überholt bzw. deutlich/dramatisch weiterentwickelt worden.

“Der wohl wichtigste Grund für die rasche Entwicklung dieses Forschungsfelds ist die in zahlreichen Disziplinen beobachtbare rasante Expansion der empirischen Forschung, was einige auch als „increasingly chaotic output of contemporary research“ (Hunt 1997: 1) bezeichnen. Selbst Experten eines Forschungsgebiets überblicken nicht mehr den Stand der Forschung. Diese Wissensexplosion ist in der Medizin besonders augenfällig: Heitmann (2001: 41) spricht von über 25000 biomedizinischen Zeitschriften, in denen weltweit jährlich über zwei Millionen Artikel erscheinen.”

Interessant in dieser Hinsicht ist auch der Beitrag “Literaturflut – Informationslawine – Wissensexplosion. Wächst der Wissenschaft das Wissen über den Kopf?” von Marx und Gramm (2002).

Für die (deutschsprachige) Soziologie liegen, soweit ich das einschätzen kann, keine vollständigen Statistiken vor, mit deren Hilfe sich das Ausmaß soziologischer Wissensproduktion quantifizieren lassen könnte — wobei ich auch nur vom empirischen Zweig der Soziologie sprechen möchte. Ein simple Messung liefern Statistiken über die eingereichten Manuskripte und die Annahmequote der Kölner Zeitschrift für Soziologie und Sozialpsychologie (KZfSS). Ein Streudiagramm der eingereichten und schließlich auch veröffentlichten Manuskripte über die Jahre 1977 bis 2006 macht in meinen Augen deutlich, dass man auch jeden Fall nicht von einem Wachstum sprechen kann. Dass die Zahl der veröffentlichte Manuskripte relativ konstant ist, verwundert wenig, denn eine Zeitschrift kann über die Jahre nicht immer mehr Beiträge publizieren; auch die Kumulation der Zahlen macht das noch einmal deutlich.

Spannender ist zweifellos die obere Hälfte der Abbildung, wo die Zahl der eingereichten Manuskripte abgetragen wurde. 1987 wurden 134 Manuskripte eingereicht, was dem Maximum der Verteilung entspricht und seitdem ist eine leichte Abnahme zu verzeichnen — so suggeriert es zumindest die Kurve. Da dies keine ordentliche bibliometrische Analyse ist, fällt mir zu den Gründen wenig ein. Eine Ursache könnte sein, dass die Notwendigkeit gestiegen ist, Artikel in englischsprachigen Zeitschriften zu publizieren, was mit einer Verringerung der eingereichten Manuskripte für deutschsprachige Zeitschriften (hier der KZfSS) einhergeht. Eine definitive Aussage darüber setzt aber eine Untersuchung sämtlicher deutschsprachiger Soziologiezeitschriften voraus.

Literatur

Heitmann, Kai U., 2001: Literaturrecherche im Internet. S. 41–47 in: Karl W. Lauterbach und Matthias Schrappe (Hg.): Gesundheitsökonomie, Qualitätsmanagement und Evidence-based Medicine. Eine systematische Einführung. Stuttgart: Schattauer.

Hunt, M. M., 1997: How Science Takes a Stock. New York: Russel Sage Foundation.

Marx, W., und G. Gramm, 2002: Literaturflut – Informationslawine – Wissensexplosion. Wächst der Wissenschaft das Wissen über den Kopf? (2. Mai 2008).

Wagner, Michael, und Bernd Weiß, 2006: Meta-Analyse als Methode der Sozialforschung. In: Diekmann, Andreas (Hg.): Methoden der Sozialforschung. Sonderheft 44 der Kölner Zeitschrift für Soziologie und Sozialpsychologie.

Zur eigenen Immunisierung: Ich halte mich nicht für einen großen Stata-Experten; also, wie immer im WWW gilt, dass die Nutzung auf eigene Gefahr geschieht. Feedback ist natürlich willkommen.

Meine Dissertationsschrift “Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus” befasst sich vor allem mit methodischen Fragen der Durchführen von Forschungssynthesen in der Soziologie. Diese werden in “Nachrichten von der eigenen Forschungsfront” skizziert.

Der Beitrag “Potentiale und Probleme von Meta-Analysen in der Soziologie” stellt kurz einen entsprechenden Zeitschriftenartikel vor, der in der Zeitschrift “Sozialer Fortschritt” erschienen ist. Es ist kein Einführungsartikel in das Thema Meta-Analyse.

Neben der Cochrane Collaboration hat sich auch die Campbell Collaboration die Institutionalisierung von Forschungssynthesen zur Aufgabe gemacht. Die Campbell Collaboration richtet jährlich das “Campbell Collaboration Colloquium” aus und der Konferenzbericht “Impressionen aus Vancouver vom 8. C2 Colloquium” stellt aus meiner Sicht einige der Höhepunkte vor.

Selektivitätsprobleme sind in den empirischen Sozialwissenschaften immer ein großes Problem. Die Validität von Meta-Analysen ist unter anderem durch den sogenannten publication bias gefährdet. Der Artikel “Publication bias in Forschungsreviews” befasst sich mit diesem Thema.

Technischer geht es in dem Posting “Meta-Analyse mit ML-Schätzer in R” zu. In aller Kürze stelle ich vor, wie man in R mit der Funktion MiMa (An S-Plus/R Function to fit Meta-Analytic Mixed-, Random-, and Fixed-Effects Models) von Wolfgang Viechtbauer eine bivariate Meta-Regression durchführt.

Der Artikel “Schulabsentismus — Soziologische Analysen zum Einfluss von Familie, …” stellt das gleichnamige und von Michael Wagner herausgegebene Buch vor.

Weitere Analysen zum Schulabsentismus wurden im Rahmen meiner Dissertationsschrift vorgenommen. Diese trägt den Titel “Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus”. Eine sehr knappe Vorstellung der Fragestellung erfolgt in den “Nachrichten von der eigenen Forschungsfront“.

Zentrale Befunde des Kölner Forschungsprojektes “Paarkonflikte, Kommunikation und die Stabilität von Partnerschaften” finden sich im Beitrag “Ergebnisse des Kölner Projektes ‘Paarkonflikte, …’ — Folien verfügbar“.

In “Worüber streiten sich Paare?” stelle ich vor, welche partnerschaftlichen Lebensbereiche wie stark von Konflikten betroffen sind.

Ob häufige Konflikte Folgen für die Partnerschaftsstabilität haben können, wird in “Was sich liebt das neckt sich? Konflikte und Paarstabilität” näher beleuchtet.

Teilsweise erfordert die Untersuchung von Paardaten spezielle Analysetechniken. Im Rahmen einer Fortbildung mit dem Titel “Die Analyse dyadischer Daten” habe ich einige davon thematisiert.

Unter dieser Rubrik werden zumeist Detailprobleme aus dem weiten Feld der empirischen Sozialforschung aufgegriffen. So mache ich mir beispielsweise “Spontane und eher kritische Gedanken zum Scholarz.survey” — doch es gilt auch die anschließenden Reaktionen der von mir kritisierten Befragung zu beachten.

Was ist ein ökologischer Fehlschluss? “Das ist ein ökologischer Fehlschluss“.  Was ist das Problem mit dem klassischen Signifikanztest? “The Earth Is round (p < .05)“.

Eines meiner Lieblingsthemen: Visualisierung. Wie das etwa mit GGobi aussehen kann, demonstriere ich in “Interaktive und explorative Datenanalyse mit GGobi“. Manchmal sind Grafiken mehr und Tabellen weniger: “Using Graphs Instead of Tables“.

1. Quantitative Forschungssynthesen / Meta-Analyse
2. Schulabsentismus / Schulschwänzen / Schulverweigerung
3. Partnerschaftskonflikte / Partnerschaftsstabilität / Partnerschaftsqualität
4. Tücken und Techniken der empirischen Sozialforschung