• Name der Untersuchung
• Beginn und Ende
• Fallzahl
• URL
• Verantwortlicher/Institution
• Untersuchungsgegenstand
• Methodologie

Diese Liste ist unvollständig und sprachlich gewöhnungsbedürftig… aber eben auch der Anfang einer systematischen Dokumentation von empirischen “Blog-Studien”. Ich komme im Moment nicht dazu, mich damit näher zu befassen. Es wäre aber schade, diese Zusammenstellung ungenutzt zu lassen. Deshalb veröffentliche ich sie hiermit, möge sie anderen von Nutzen sein. Die Lizenzbestimmungen finden sich unterhalb dieses Post (Creative Commons Attribution-Noncommercial 2.0 Germany License).

Download als csv-File (Spaltentrenner ist “;”): studien-weblogs

Eigentlich war es meine Absicht, die nachfolgende Kritik eines Aufsatzes von Kolo und Meyer-Lucht bei der M&K als ‘ordentliche’ Replik einzureichen.[1] Ich habe mit einigen Kolleginnen und Kollegen darüber gesprochen, mir auswärtigen Rat eingeholt und dann den Beitrag etwa 6 Monate liegen lassen. In den letzten Tagen habe ich meine Kritik nochmals ‘hervorgekramt’, habe mich vor allem etwas mit Zeitreihenanalyse beschäftigt und gemerkt, dass Teile meiner Kritik eine durchaus gängige Praxis kritisieren, was diese Kritik wiederum etwas (nicht völlig; etwa die Regression von Anteilswerten) ins Leere laufen lässt. Hinzu kommt, dass es keine fundamentale Kritik ist und die Kernaussage des Artikels, nach der es zu einer „Erosion der Intensivleserschaft“ kommt und „Nachrichtensites“ den Printmedien Nutzer streitig machen, nicht in Frage gestellt wird. Unter diesen Voraussetzungen kommt mir eine Replik bei der M&K etwas übertrieben vor, und daher habe ich mich dazu entschlossen, meine Überlegungen hier auf der Zahlen|Gesellschaft zu veröffentlichen. Zwei weitere Einschränkungen: (1) Es ist kein fertiger Fachartikel, siehe dazu auch die “Zahlen|Gesellschaft als Experimentierfeld“. (2) (Fast) Unnötig zu erwähnen, dass ich hier ausschließlich meine persönliche Meinung vertrete.

Einleitung

In Ausgabe 4/2007 der Medien & Kommunikationswissenschaft findet sich ein Beitrag von Kolo und Meyer-Lucht (2007; nachfolgend KML abgekürzt) mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites“. In diesem Artikel befassen sich die beiden Autoren mit der Frage, ob beide Mediengattungen in einem komplementären oder substitutiven Verhältnis zu einander stehen. Die späteren empirischen Analysen konzentrieren sich auf die Beantwortung von drei Fragen: „1. Wie verändert sich die Nutzungsintensität von Tageszeitungen und von Nachrichtensites im Zeitverlauf? 2. Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen? 3. Was lässt sich daraus für die Komplementarität oder Substitutivität der Nutzung dieser beiden Mediengattungen folgern?“ (KML: 514). Datengrundlage der Untersuchung ist einerseits die Allensbacher Computer- und Technik-Analyse (ACTA), andererseits die Allensbacher Markt- und Werbeträger-Analyse (AWA).

Die von den Autoren durchgeführten statistischen Analysen sind nach meinem Dafürhalten in vielen Fällen für die Beantwortung der drei Forschungsfragen nicht von Belang, sondern wirken durch den Einsatz von unangemessenen Verfahren sowie der fehlerhaften Befundinterpretationen eher verwirrend. Anliegen dieses Beitrags ist eine kritische Diskussion ausgewählter empirischer Befunde von KML, die vor allem darin besteht, dass ihre Ausführungen eine statistische Genauigkeit suggerieren, die sie gar nicht einhalten können. Im Einzelnen umfasst die Methodenkritik drei Punkte: (1) Die unangemessene Verwendung von linearen Regressionsmodellen sowie (2) die falsche Interpretation von statistischer Signifikanz. (3) Hinzu kommt ein fehlendes Problembewusstsein für ökologische Fehlschlüsse, das heißt den unzulässigen Schluss von Zusammenhängen auf der Aggregatebene auf individuelles Handeln.

Die unangemessenene Verwendung und Interpretation von Regressionsmodellen

(Die in der Vorbemerkung angesprochene Praxis der Zeitreihenanalyse betrifft den nachfolgenden Absatz.  Ich belasse meine Kritik an dieser Stelle und würde mich freuen, wenn mich eine/r eines Besseren belehrt.)

An mehreren Stellen im Aufsatz wird ein zeitlicher Trend, etwa die „Anteile Intensivnutzer überregionaler Nachrichtensites“ (KML: 518, Abbildung 1) mit einem linearen Regressionsmodell „abgesichert“. Um den Trend zu illustrieren, hätte das Einzeichnen der jeweiligen Kurven beziehungsweise Geraden völlig genügt. Doch die Autoren „untermauern“ ihre grafischen Befunde mit den Ergebnissen einer linearen Regression, was zumindest den Eindruck erwecken kann, ein Verständnis des Prozesses erlangt zu haben. Für die überregionalen Abotageszeitungen weisen sie etwa einen „Trend“ (= Regressionskoeffizient) von -0.6 Prozentpunkten pro Jahr (auf zwei Nachkommastellen genau beträgt der Wert -0.58)  aus. Die vollständige Gleichung lautet:

y = 1175.15 + (-0.58)*Jahr,

wobei y den Anteil der Intensivleser (überregional) in Prozent bezeichnet. Im Jahr 0 lag dementsprechend der Anteil der Intensivnutzer bei 1175,15% und im Jahre 2027 wird der Anteil etwa -0.51% betragen. Beide Aussagen sind natürlich sinnlos, lassen sich aber aus dem geschätzten Regressionsmodell ableiten und demonstrieren die Gefahren, die mit dem Einsatz solcher Verfahren verbunden sind. Üblicherweise wird bei Prozent- beziehungsweise Anteilswerten statt des linearen Modells eine sogenannte Beta-Regression vorgenommen, die auf den eingeschränkten Wertebereich (zwischen 0% und 100%) der abhängigen Variablen Rücksicht nimmt (Smithson/Verkuilen 2006). Überhaupt ist fraglich, welchen Sinn es hat, bei sechs Analyseeinheiten eine lineare Regression zu schätzen.

(Ende der Einschränkung …)

Weitere Regressionsanalysen wurden vermutlich auch anlässlich der Frage nach dem Zusammenhang von Alter und der Nachfrage nach aktuellen Informationen durchgeführt. Die auf Seite 523 formulierte Hypothese lautet: „Die Nachfrage nach aktuellen Informationen über […] Print bzw. […] Online ist jeweils eine Funktion des Alters“. Zumindest lässt der Hinweis auf „eine  Funktion des Alters“ darauf schließen, dass auch hier Regressionsmodelle geschätzt wurden. Doch die Ausführungen dazu  und vor allem Abbildung 3 auf Seite 524 lassen sich nicht nachvollziehen. Dort findet sich der Hinweis auf eine „angepasste Normalverteilung“ beziehungsweise ist einige Zeilen später davon die Rede, „dass man an die Verteilung der Intensivnutzer von Nachrichtensites sehr gut eine Normalverteilung mit einem Mittelwert von 38 Jahren anpassen kann [...]“. Während also die Verteilung der Intensivnutzer einer „Normalverteilung folgen soll“, scheint für die „Intensivleser von Abotageszeitungen ein linearer Anstieg mit dem Alter“ vorzuliegen. Eine Normalverteilung beschreibt die (Häufigkeits-)Verteilung eines Merkmals (Sachs/Hedderich 2006: 191ff). „Angepasste Geraden“ beschreiben dagegen den Zusammenhang zwischen zwei Merkmalen. Es ist unklar, was an dieser Stelle überhaupt untersucht wird. Wird die Altersverteilung der jeweiligen Teilstrichproben von Intensivnutzern und Intensivlesern beschrieben? Interessieren sich die Autoren für den funktionalen Zusammenhang zwischen Nutzungsgrad und Alter?

Fehlerhafte Interpretation des Begriffs der statistischen Signifikanz

Als weitere Absicherung und, so ist zu vermuten, um die „Güte“ des Modells zu belegen, weisen die Autoren „p(lineare Regression)“ aus (im vorliegenden Beispiel auf Seite 518 beträgt dieser Wert 0,009). Zur Interpretation dieser Irrtumswahrscheinlichkeit p schreiben sie: „Die Wahrscheinlichkeit, dass nur zufällig eine Regression mit von 0 verschiedener Steigung vorliegt, beträgt auch hier 0,9 Prozent“ (KML: 518). Diese Auffassung von statistischer Signifikanz ist verbreitet, aber falsch (Haller/Krauss 2002). Die Irrtumswahrscheinlichkeit ist immer eine bedingte Wahrscheinlichkeit, nämlich unter der Bedingung, dass in der Population (der Grundgesamtheit) die H0 korrekt ist. Richtigerweise müsste die Formulierung also lauten: Unter der Bedingung, dass in der Population der Steigungskoeffizient („Trend“) gleich 0 ist, beträgt die Wahrscheinlichkeit mit den verwendeten Daten den ermittelten oder einen extremeren F-Wert (Teststatistik des entsprechenden Omnibustestes des linearen Regressionsmodells) zu erhalten 0,009. Formuliert wird also p(Daten|H0) und nicht p(H0) (Fahrmeir et al. 2001: 409).

Auf Seite 525 wollen die Autoren den „Zusammenhang des Anteils an Intensivlesern mit dem Nachrichtenkonsum im Internet“ näher untersuchen und verwenden dazu Chi-Quadrat, einen verbreiteten Test auf Unterschiedlichkeit. Sie schreiben dazu: „Der Effekt ist zwar bis auf das Alterssegment der 14- bis 17-Jährigen schwach, aber durch das durchgängige Auftreten in fast allen Altersgruppen bei hohen Fallzahlen signifikant. Damit ist Hypothese (4a) bestätigt.“ Meine Interpretation würde wie folgt lauten: Es lässt sich nur ein (sehr) schwacher Effekt beobachten, der aber auf Grund der Fallzahlen signifikant ist. Ein substantieller Befund, der klare Unterschiede zwischen Gruppen beschreibt, ist das eben nicht. Dazu schreiben Sachs/Hedderich (2006: 307; Herv. durch die Autoren): „Betont sei auch, dass formale statistische Signifikanz (nur diese kann ein statistischer Test nachweisen!) und wirkliche (praktische) Bedeutung – Relevanz – nicht miteinander verwechselt werden dürfen“.

Das Problem eines ökologischen Fehlschlusses

Eine der einleitend genannten Forschungsfragen thematisiert Bedingungen, unter denen Nutzer von der einen zu der anderen Mediengattung wechseln (KML: 514): „Welche Faktoren beeinflussen die Nutzungsintensität von Tageszeitungen und von Nachrichtensites sowie deren Veränderungen“? Zu den Voraussetzungen, eine solche Frage angemessen beantworten zu können, schreiben die Autoren weiter unten (KML: 514):

„Veränderungen der Mediennutzung lassen sich am verlässlichsten durch eine wiederholte Befragung identischer Personen ermitteln. Nur so kann man direkt die Selektionshandlung – ob singulär oder eher schleichend über sich verändernde Nutzungsintensitäten – dokumentieren.“

Ich interpretiere diese Aussage dahingehend, dass man individuelles Verhalten am besten mit Individualdaten erklären kann – dem stimme ich vorbehaltlos zu. Doch die Analysen der Untersuchung basieren (zumindest teilweise und soweit ich das dem Text entnehmen konnte) auf Aggregatdaten und von Zusammenhängen auf Aggregatebene auf individuelles Verhalten schließen zu wollen, wird in den Sozialwissenschaften als „ökologischer Fehlschluss“ bezeichnet (Diekmann 2004: 116ff).[2]

Es wäre falsch, Kolo und Meyer-Lucht an dieser Stelle den Vorwurf des ökologischen Fehlschlusses zu machen. Tatsächlich sind die empirischen Befunde plausibel, so dass es schwer fällt, einen solchen Fehlschluss zu vermuten. Doch es lässt sich ein fehlendes Problembewusstsein erkennen. Gleich die erste Hypothese lautet etwa: „Die Nachfrage nach aktuellen Informationen ist – unabhängig vom Medium – altersabhängig“ (KML: 523). Meiner Meinung nach wird hier ein Zusammenhang auf Individualebene formuliert, doch die Analysen werden, wie oben erwähnt, auf Aggregatdatenebene ausgeführt. Da hilft auch der am Ende der Hypothesen aufgeführte Hinweis nicht viel, dass die „Hypothesen […] so gewählt [wurden], dass auf Basis der vorliegenden Daten […] ein Überprüfung möglich ist“ (KML 523).

Anhand eines einfachen grafisches Beispiels mit simulierten Daten soll das Problem illustriert werden: In Abbildung 1 wird der Zusammenhang zwischen dem Merkmal Alter (hier: 3 Altersgruppen) und der Nachfrage nach aktuellen Informationen untersucht. In der linken Abbildung (1a) finden sich die Befunde der auf der Aggregatebene durchgeführten Analysen. Die rechte Abbildung (1b) enthält die Befunde der Individualdatenanalysen. In der ersten Abbildung zeigt sich ein klar positiver Zusammenhang und unzweifelhaft lautet die (falsche) Interpretation: Mit dem Alter steigt die Nachfrage nach aktuellen Informationen. In der rechten Abbildung (1b) hingegen wurde der Zusammenhang pro Altersgruppe auf Grundlage der Individualdaten errechnet und nun zeigt sich, dass ein negativer Zusammenhang vorliegt. Wie sich gut erkennen lässt, ergibt sich lediglich durch die unterschiedlichen Nachfrageniveaus ein scheinbar positiver Zusammenhang. Bereits dieses einfache Beispiel belegt eindringlich, welche Folgen ein ökologischer Fehlschluss haben kann.

Abbildung 1: Grafische Illustration eines ökologischen Fehlschluss

Zusammenfassung

Die vorangegangenen Ausführungen haben sich mit einigen methodische Unzulänglichkeiten eines von Kolo und Meyer-Lucht verfassten Beitrags mit dem Titel “Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites” befasst. Die Hauptthese des Beitrags wird nicht in Frage gestellt, doch es wird behauptet, dass ein Teil der Analysen im Hinblick auf die Fragestellungen des Artikels überflüssig ist oder falsch durchgeführt wurde. Das betrifft etwa die unangemessene Verwendung von linearen Regressionsmodellen (bei Zeitreihendaten; siehe meine einschränkenden Anmerkungen in den Vorbemerkungen) sowie die Interpretation der Ergebnisse. Ein weiteres Problem betrifft die Verwendung von Aggregatdaten, während die Hypothesen teilweise auf der Individualebene formuliert werden. An keiner Stelle im Artikel findet sich der Hinweis auf einen drohenden ökologischen Fehlschluss.

Endnoten

[1] Erste kritische Anmerkungen von mir zu dem Beitrag von KML finden sich auch auf dem KoopTech-Blog.

[2] Die Frage, auf welcher Analyseebene (Individual- oder Aggregatebene) Teile der Untersuchungen letztlich durchgeführt wurden, kann ich nicht beantworten. Eine Nachfrage beim Institut für Demoskopie Allensbach für die ACTA-Daten ergab, dass diese in Verbindung mit einer Software namens mediMACH als Individualdaten bezogen werden können. Inwieweit dann die Analysen, etwa zu den Faktoren der Nutzungsintensität von Tageszeitungen und von Nachrichtensites, diese Individualdaten nutzen, ist mir nicht klar geworden.

Literatur

Diekmann, Andreas, 2004: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Hamburg: Rowohlt.

Fahrmeir, Ludwig, 2001: Statistik. Der Weg zur Datenanalyse. Berlin [u.a.]: Springer.

Fahrmeir, Ludwig, Thomas Kneib, und Stefan Lang, 2007: Regression: Modelle, Methoden und Anwendungen. Berlin, Heidelberg: Springer.

Haller, Heiko, und Stefan Kraus, 2002: Misinterpretations of significance: A problem students share with their teachers?, Methods of Psychological Research Online 7: 1-20.

Kolo, Castulus, und Robin Meyer-Lucht, 2007: Erosion der Intensivleserschaft. Eine Zeitreihenanalyse zum Konkurrenzverhältnis von Tageszeitungen und Nachrichtensites, Rundfunk und Fernsehen 55: 513-533.

R Development Core Team, 2008: R: A language and environment for statistical computing <http://www.R-project.org>. Wien: R Foundation for Statistical Computing.

Sachs, Lothar, und Jürgen Hedderich, 2006: Angewandte Statistik: Methodensammlung mit R ; mit 180 Tabellen. Berlin u.a.: Springer.

Smithson, Michael, und Jay Verkuilen, 2006: A better lemon squeezer? Maximum-likelihood regression with beta-distributed dependent variables, Psychological Methods 11: 54-71.

Anhang

Der nachfolgende R-Code (R Development Core Team 2008) repliziert einen Teil der Analysen der in Abbildung 1 (oberste Regressionslinie) auf Seite 518 vorgestellten Befunde.
## Anteil Intensivleser (ueberregional) in Prozent
y <- c(15.0, 13.4, 13.6, 12.9, 11.7, 12.1)
## Historisches Jahr
jahr <- c(2001:2006)
## Schaetzen des Regressionsmodells
summary(fit  <- lm(y ~ jahr))
## Neue Daten fuer Vorhersage erzeugen, Jahr 0 sowie den Zeitraum
## von 2006 bis 2030
vorhersage <- data.frame(jahr = c(0,2006:2030))
## Vorhersage ermitteln
predict(fit, vorhersage)

Wer sonst als ein Religionswissenschaftler — nämlich Michael Blume –, hätte die Debatte um die Glaubwürdigkeit von Blogs anstoßen können. In der ARD/ZDF-Online-Studie 2008 wurden Leser wie auch Blogger befragt und diese kommen mehrheitlich zu dem Schluss, dass die auf Weblogs verbreiteten Informationen nicht glaubwürdig sind. In dem Beitrag “ARD/ZDF-Online-Studie 2008 kurz angewärmt” habe ich die Frage aufgeworfen, ob auch Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem haben. Kurz: Wie sinnvoll ist die Annahme, Blogs aller Colour hätten in gleichem Ausmaß Schwierigkeiten damit, ihre Inhalte glaubwürdig an die Frau oder den Mann zu bringen?

Robert Basic hält bereits die Frage für falsch und schreibt – mit Blick auf Strickblogs – dazu: “Die Beurteilung aber von privaten Gesprächen auf Bogs hinsichtlich Qualität und Glaubwürdigkeit ist schlichtweg Bullshit und im höchsten Maße derespektiertlich gegenüber einer Person.” Kann man so sehen, insbesondere für Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs sollten jedoch strengere Kriterien gelten. Was Basic ähnlich sieht: “Davon zu trennen sind die Minderheit der Blogs, die sich thematisch und idealtypisch mit einem einzigen Thema auf ihrem Blog auseinandersetzen. Fachblogs eben, die sehr viel stärker auf die Sachebene abheben und denen es um die Vermittlung von Sachinformationen geht.”

Ausmaß der Glaubwürdigkeit von Blogs nach Nutzergruppen

Als Empiriker möchte ich natürlich Daten haben, die Licht ins unglaubwürdige Dunkel bringen. Auf die Originaldaten der ARD/ZDF-Studie habe ich leider keinen Zugriff, wohl aber auf die Daten der von Jan Schmidt durchgeführten “Wie-ich-blogge”-Studie (WIB). In dieser Untersuchung findet sich folgende Aussage: “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein.” Dieses Item lässt zwar keine Erkenntnisse über Glaubwürdigkeit an sich zu (was mag das auch sein?), sondern stellt diese in Relation zu “klassischen Massenmedien”. Die Antwortmöglichkeiten reichen von 1 („Stimme voll und ganz zu“) bis 5 („Stimme überhaupt nicht zu“). Hohe Werte bedeuten, dass die Befragten Blogs eine hohe Glaubwürdigkeit gegenüber den klassischen Massenmedien einräumen.

Schmidt/Wilbers (2006: 23) berichten einen Gesamtmitteltwert von 3,11, was der Antwortkategorie “teils-teils” entspricht. Darüber hinaus stellen sie auch nach Gruppen (Blogger, Ex-Blogger, nur Leser) getrennte Mittelwerte dar, die zwischen 2,88 und 3,13 liegen. Ex-Blogger (2,88) beurteilen die Glaubwürdigkeit von Blogs etwas geringer als noch aktive Blogger (3,13). Die Gruppe der Nur-Leser liegt mit einem Mittelwert von 3,02 dazwischen. Nachfolgende Abbildung unterscheidet noch zwischen Bloggern mit einem und mehreren Blogs.[1] Es wird deutlich, dass “Multi-Blogger” am “gläubigsten” sind. Die Unterschiede zwischen den Gruppen sind nicht dramatisch groß (die Standardabweichung liegt immerhin bei 1.23 Skalenpunkten), doch man kann sich natürlich fragen, weshalb gerade Ex-Blogger den niedrigsten Wert haben? Sind demgegenüber Befragte mit mehreren Blogs von diesen besonders überzeugt und billigen ihnen daher eine höhere Glaubwürdigkeit zu? (das sind rhetorische Fragen, natürlich kann ich mir ein paar Antworten vorstellen)

Haben auch Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem?

Nun ist aber immer noch unklar, in welchem Ausmaß das “Glaubwürdigkeitsproblem” auch die Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs betrifft (FWW-Blogs). Wie oben angedeutet, erscheint es doch plausibler, unterschiedlichen Blogformen jeweils ein unterschiedlichen Ausmaß an Glaubwürdigkeit zuzubilligen. Es ist hoffentlich nicht allzu despektierlich, wenn ich beispielsweise “MC Winkels weblog” hinsichtlich der Glaubwürdigkeit hinter den ScienceBlogs einordne.  Leider lassen sich mit den WIB-Daten keine Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs identifizieren. Es wurden aber einige Motive des Bloggens abgefragt, die ich mir an anderer Stelle schon einmal angeguckt habe[2]. Hier findet u.a. sich die Aussage, dass gebloggt wird,  “[u]m mein Wissen in einem Themengebiet anderen zugänglich zu machen”. Dieser Aussage würde doch fast jeder FWW-BloggerIn zustimmen, oder? Als “Kontrast” wähle ich diejenigen, die angaben, nur aus Spaß zu bloggen. Es war in der Befragung möglich, beiden Items (“Wissen vermitteln” und “Spaß”) zuzustimmen, doch das scheint eher die Ausnahme gewesen zu sein (Spearman-Korrelation: rho = 0,05). Dieses Vorgehen ist sicherlich nicht unkritisch zu sehen, doch leider gibt es keine besseren Daten.

Die nachfolgende Abbildung vermittelt wiederum einen Eindruck davon, wie die beiden Blogger-Gruppen (linke Abbildung “Spaß-Blogs”, rechte Abbildung “Wissen vermitteln”-Blogs) geantwortet haben. Der Mittelwert für die Angehörigken der “Spaß-Blogs” beträgt 2,96, für die “Wissen vermitteln”-Blogs liegt dieser bei 3,15. Nimmt man den gerundeten Wert, dann Antworten beide Gruppen mit “teils-teils” auf das Item “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein”, doch die “Wissen vermitteln”-Blogger tendieren etwas stärker in Richtig höherer Glaubwürdigkeit. Mit anderen Worten: Betreibe ich selbst ein solches Blog, dann bin ich eher bereit, anderen Blogs mein Vertrauen zu schenken. Welche (psychologischen) Mechanismen dahinter stehen, vermag ich nicht zu sagen. Es kann sein, dass Betreiber eines FWW-Blogs, die sich um eine seriöse Berichterstattung bemühen, ähnliches auch bei anderen Blogs unterstellen. Es kann aber auch auf spezifische Nutzungs-/Rezeptionsroutinen hinweisen, dass heißt, diese Personengruppe liest vorrangig FWW-Blogs.

Dieser Beitrag soll mit einem multiplen (logistischen) Regressionsmodell abgeschlossen werden (N = 3307). Zunächst wurde eine dichotome (0/1) Variable konstruiert, die immer dann den Wert 1 annimmt, wenn der Aussage zugestimmt wurde, dass Weblogs glaubwürdiger sind als die klassischen Massenmedien. Neben dem Alter, dem Geschlecht und dem Bildungsabschluss, wurden die neun abgefragten Blog-Motive erfasst (Multikollinearitätsprobleme lassen wir mal außen vor). Ist der Wert in der Spalte “Estimate” negativ, dann weist das auf eine geringere Glaubwürdigkeit hin. Es gibt einen positiven Alterseffekt (+0.01), dass heißt, je älter die Befragten, desto glaubwürdiger werden Blogs beurteilt. Hingegen sind Frauen eher skeptisch (-0,17). Interessanter ist nun die Tatsache, dass “Wissen zugänglich machen” nach wie vor einen positiven Effekt von +0.27 hat und “Spaß” immer noch einen negativen Wert von -0,18 aufweist.

Die beiden nachfolgenden Abbildungen veranschaulichen den Effekt des “Wissen vermitteln” (bzw. “zugänglich machen”) und des “Spaß-haben”. Es lässt sich gut erkennen, dass der Effekt der Zustimmung zu dem jeweiligen Motiv nur wenige Prozentpunkte ausmacht.

Zusammenfassung

Nach der ARD/ZDF-Online-Studie 2008 haben Blogs ein “Glaubwürdigkeitsproblem”. Glaubwürdigkeit wird in diesem kurzen Beitrag in Kontrast zu den “klassischen Massenmedien” gesehen. Es stellt sich die Frage, ob davon alle Blogs gleichermaßen betroffen sind. Insbesondere die Fach-/Wissenschafts-/WissenschaftlerInnen-Blog (FWW-Blogs) “werben” implizit/explizit mit ihrere Fachkompetenz und hier wäre ein Glaubwürdigkeitsproblem besonders unangenehm. Eine mögliche Erklärungsgröße für die unterschiedliche Bewertungen von Weblogs können unterschiedliche Nutzungspräferenzen sein, was sich im Rahmen dieser kleinen Untersuchung jedoch nicht untersuchen lässt. Bezogen auf die Gruppe der aktiven Blogger zeigt sich, dass die FWW-BloggerInnen eher bereit sind, Blogs im Allgemeinen als glaubwürdig(er) einzustufen.

Endnoten

[1] Die berichteten Mittelwerte unterscheiden sich leicht, weil Schmidt/Wilbers (2006: 23) entgegen ihrer Aussage, die “Weiß-Nicht”-Kategorie auszuschließen, diese doch in die Berechnungen aufgenommen haben.

[2] Irgendetwas in diesem Beitrag (“Überlegungen zur faktoriellen Struktur von Motiven des Bloggens in der WIB-Studie“) ist mit den Labels passiert, die stimmen vorne und hinten nicht. Verdammte Schlamperei! Wer glaubt mir denn jetzt noch?

Unterscheidet sich die Nutzungszahlen von Blogs zwischen 2007 und 2008?

Mit einem Fokus auf Weblogs ist eine der ersten interessanten Zahlen die “gelegentliche oder regelmäßige” Nutzung von Web2.0-Diensten (“Weblog”) in den Jahren 2007 und 2008 (Tabell 3, S. 358). Von einer “gelegentlichen” Nutzung berichten 2007 11%, 2008 nur noch 6% aller Befragten. Die Zahlen für die “regelmäßige” Nutzung liegen bei 3% (2007) beziehungsweise 2% (2008). Naheliegend ist die Frage, ob die Unterschiede der Prozentwerte zwischen den beiden Erhebungszeitpunkten statistisch bedeutsam sind. Tatsächlich zeigt sich, dass die “gelegentliche” Nutzung von Weblogs zwischen 2007 und 2008 überzufällig stark gesunken ist (p = 0.00). Das 95%-Konfidenzintervall[1] der Prozentwertdifferenz liegt zwischen 0.026 und 0.073. Das heißt, die in der Stichprobe beobachtete Differenz von 5 Prozentpunkten kann in der Grundgesamtheit aller Onlinenutzer in Deutschland ab 14 Jahren auch bei 2.6 oder 7.3 Prozentpunkten liegen. Für die regelmäßige Nutzung von Weblogs hingegen finden sich keine bedeutsamen Unterschiede (p = 0.11). Zusammenfassend: Die gelegentliche Nutzung von Weblogs hat deutlich abgenommen, die regelmäßige Nutzung weist keine bedeutsamen Veränderungen auf.[2]

Bedeutung und Glaubwürdigkeit von Weblogs

Tabelle 8 (S. 360) enthält vier Aussagen zu Weblogs, denen “voll und ganz”, “weitgehend”, “weniger” oder “gar nicht” zugestimmt werden konnte. In früheren Beiträgen zu der ARD/ZDF-Online-Studie 2008 gehen weder Jan Schmidt noch Michael Blume auf die Tatsache ein, dass dieser Tabelle lediglich Aussagen von 283 von ursprünglich 1186 Befragten zugrunde liegen — eben genau die Teilstichprobe, die zuvor in Tabelle 7 angegeben hat, Weblogs zu kennen oder zu nutzen. Aus dieser Tabelle repräsentative Aussagen abzuleiten, finde ich gewagt; zumal sich aus Tabelle 7 auch ableiten lässt, dass diese Teilstichprobe eine etwas andere sozialstrukturelle Zusammensetzung aufweist, was wiederum zu Verzerrungen führen kann.

Verwunderlich ist auch, dass gerade einmal 4% der Befragten der Aussage zustimmen, dass die auf Weblogs verbreiteten Informationen voll und ganz glaubwürdig sind. Immerhin 12% stimmen voll und ganz der Aussage zu, dass Weblogs eine Konkurrenz zu professionellen journalistischen Angeboten darstellen. Möglicherweise schätze ich aber auch einfach die Verbindung von “glaubwürdig” und “professionellen journalistischen Angeboten” falsch ein…

Es ist im Kontext einer vergleichsweise allgemein gehaltenen Studie natürlich auch müßig darüber zu klagen, dass sämtliche Blogs in einen Topf geworfen werden und Wissenschafts-/WissenschaftlerInnenblogs mit anderen Bloggattungen verglichen werden. Es wäre jedoch interessant zu erfahren, ob auch W-Blogs in gleichem Maße ein Glaubwürdigkeitsproblem haben (immerhin 71% halten die Informationen für wenig oder gar nicht glaubwürdig). Gibt es Spill-over-Effekte?

Es ist bedauerlich, dass die Originaldaten nicht zur Verfügung stehen, mit deren Hilfe die Korrelationsmatrix für die vier Items konstruiert werden könnte. Danach könnte man sich anschauen, ob es ein gemeinsames latentes Konstrukt gibt. Gibt es Gruppen (Nutzungstypen, Bildungsgruppen etc.), wo diese Korrelationsstruktur variiert?

Fußnoten und Anhang

[1] Die Konfidenzintervalle wurden alle sehr naiv ermittelt, siehe dazu prop.test().

[2] Man sollte an dieser Stelle anmerken, dass ich gegen das Proportionalitätsgesetz verstoße, hier etwas besser erklärt. Mich interessieren aber vor allem die Konfidenzintervalle und die Faustregel, dass sich nicht überlappende Intervalle einen signifikanten Unterschied anzeigen.

Update: Besagte Faustregel ist, wie sich den Kommentaren entnehmen lässt, eher fraglich. Sich nicht-überlappende Konfidenzintervalle weisen auf einen signifikanten Unterschied hin.


## R-Code für die Berechnung der CI und die Konstruktion der Grafik ##
## Test auf Gleichheit von Anteilswerten (H0: p1 == p2 == ... == pn)
## Tabelle 3, S. 358

prop.test(x = c(126,72), n=c(1142,1186))
prop.test(x = c(35,23), n=c(1142,1186))
prop.test(x = c(126+35,72+23), n=c(1142,1186))

##Konstruktion der Grafik
library(lattice)
library(Hmisc)
jahr <- c(2007,2008,2007,2008)
type <- c("gelegentlich","gelegentlich","regelmaessig","regelmaessig")
anteile <-c(11,6,3,2)
lower <- c(
prop.test(x = c(126), n=c(1142))$conf.int[1]*100,
prop.test(x = c(72), n=c(1186))$conf.int[1]*100,
prop.test(x = c(35), n=c(1142))$conf.int[1]*100,
prop.test(x = c(23), n=c(1186))$conf.int[1]*100
)
upper <- c(
prop.test(x = c(126), n=c(1142))$conf.int[2]*100,
prop.test(x = c(72), n=c(1186))$conf.int[2]*100,
prop.test(x = c(35), n=c(1142))$conf.int[2]*100,
prop.test(x = c(23), n=c(1186))$conf.int[2]*100
)
ard <- data.frame(jahr,anteile)
xYplot(Cbind(anteile,lower,upper) ~ jahr, group = type,
ylim = c(-0.5,14), xlim = c(2006.5,2008.5), data = ard, type = "b",
main = "Nutzung von Weblogs", ylab = "Anteil in Prozent", xlab = "Jahr",
scales = list(x = list(at = c(2007, 2008))))


Für heitere Minuten sorgte die Antwortkategorie “weder noch”. So lautet etwa eine Frage: “Welche Tools, Anwendungen und Dienste nutzen Sie für Ihre wissenschaftliche Arbeit?” Ein mögliches Item ist “scholar.google.com” und folgende Antwortmöglichkeiten stehen zur Auswahl: “nutze ich nie”, “nutze ich selten”, “weder noch”, “nutze ich häufig”, “nutze ich sehr häufig”, “kenne ich nicht”. Was ist denn “weder noch” für eine Antwort?

Auch die Frage “Welche Themen interessieren Sie in Blogs?” Lässt sich mit “weder noch” beantworten. “weder noch” ist hier die Mittelkategorie zwischen “interessiert mich überhaupt nicht” und “interessiert mich sehr”.

Sicherlich lässt sich darüber streiten, ob eine differenzierte Antwort auf das Item “Ich war früher mal in der Wikipedia aktiv” notwendig ist. “Trifft es überhaupt nicht zu”, dass ich früher mal in der Wikipedia aktiv war oder “trifft eher nicht zu”, dass ich früher mal in der Wikipedia aktiv war. Vermutlich “trifft [es, B.W.] eher zu”, dass ich früher mal in der Wikipedia aktiv war. Ich nehme an, dass das (frühere) Aktivitätsausmaß erfasst werden soll, ob das gelingt, wage ich aber zu bezweifeln.

Items wie “Desktopbasierte Lösungen helfen mir nichts” (Frage: “Aus welchen Gründen präferieren Sie eine webbasierte Lösung?”) sind kein Stimulus, der Varianz generieren wird. Meine Vermutung — das Gegenteil lässt sich dann vielleicht bei der Auswertung belegen.

Gewöhnungsbedürftig ist auch die Tatsache, dass sich der Fragebogen komplett durchklicken lässt, ohne eine einzige Antwort gegeben zu haben — die typische Online-Befragung “erzwingt” normalerweise immer einer Antwort, ansonsten geht es nicht weiter. Ich kenne mich aber mit Online-Befragungen nicht wirklich aus und kenne nicht die sich u. U. ergebenden Konsequenzen.

Gibt es eigentlich irgendwelche Fragen zur Soziodemographie (Alter, Geschlecht, Berufserfahrung etc.)? Ich erinnere mich nicht mehr daran — und noch einen leeren Fragebogen möchte ich nicht mehr produzieren.

Da es eine zweite Befragungswelle geben soll, besteht die Möglichkeit, den Fragebogen noch einmal an der einen oder anderen Stelle zu überarbeiten. Um nicht nur zu kritisieren, erkläre ich hiermit meine Bereitschaft als “Beta-Tester”.

Nachtrag:

Anlässlich der oben erwähnten Befragung möchte ich auf ein sehr nützliches ZUMA How-to “Question Wording – Zur Formulierung von Fragebogen-Fragen” von Rolf Porst verweisen. Jede/r Sozialwissenschaftler/in sollte einmal im Leben den Kurs “Grundlagen der Fragebogenentwicklung” von Rolf Porst besucht haben. Auch für sein Buch “Fragebogen. Ein Arbeitsbuch” möchte ich an dieser Stelle eine Empfehlung aussprechen. Ich gebe zu, in unserer letzen Befragung (mindestens) das 7. Gebot “Du sollst Fragen mit eindeutigem zeitlichen Bezug verwenden!” verletzt zu haben.

Some of you know I have a new penchant for tool-building. Well, the latest creation of the QDAP lab is a blog scraping tool. The tool is designed to allow you to set up accounts to automatically capture blog posts on one or several blogs and to archive the data in a plain text format “ready-to-be-coded” inside QDAP’s Coding Analysis Toolkit.

For anyone who ever wanted to study blogs, this is a big step forward. The emphasis here is on a user-friendly interface and a seamless system for capturing and coding blog data. Now, this is a brand new tool and probably a bit buggy. However, it works well enough that we invite you to set up an account and start capturing blog data. No doubt there are some of you interested in the blogs and Election 08. To create a new blog scraping account, please visit:

https://surveyweb2.ucsur.pitt.edu/qblog/page_login.php

To learn more about the Coding Analysis Toolkit, please visit:

http://www.qdap.pitt.edu/cat.htm

To learn about my lab, please visit:

http://www.qdap.pitt.edu/