• Name der Untersuchung
• Beginn und Ende
• Fallzahl
• URL
• Verantwortlicher/Institution
• Untersuchungsgegenstand
• Methodologie

Diese Liste ist unvollständig und sprachlich gewöhnungsbedürftig… aber eben auch der Anfang einer systematischen Dokumentation von empirischen “Blog-Studien”. Ich komme im Moment nicht dazu, mich damit näher zu befassen. Es wäre aber schade, diese Zusammenstellung ungenutzt zu lassen. Deshalb veröffentliche ich sie hiermit, möge sie anderen von Nutzen sein. Die Lizenzbestimmungen finden sich unterhalb dieses Post (Creative Commons Attribution-Noncommercial 2.0 Germany License).

Download als csv-File (Spaltentrenner ist “;”): studien-weblogs

Wer sonst als ein Religionswissenschaftler — nämlich Michael Blume –, hätte die Debatte um die Glaubwürdigkeit von Blogs anstoßen können. In der ARD/ZDF-Online-Studie 2008 wurden Leser wie auch Blogger befragt und diese kommen mehrheitlich zu dem Schluss, dass die auf Weblogs verbreiteten Informationen nicht glaubwürdig sind. In dem Beitrag “ARD/ZDF-Online-Studie 2008 kurz angewärmt” habe ich die Frage aufgeworfen, ob auch Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem haben. Kurz: Wie sinnvoll ist die Annahme, Blogs aller Colour hätten in gleichem Ausmaß Schwierigkeiten damit, ihre Inhalte glaubwürdig an die Frau oder den Mann zu bringen?

Robert Basic hält bereits die Frage für falsch und schreibt – mit Blick auf Strickblogs – dazu: “Die Beurteilung aber von privaten Gesprächen auf Bogs hinsichtlich Qualität und Glaubwürdigkeit ist schlichtweg Bullshit und im höchsten Maße derespektiertlich gegenüber einer Person.” Kann man so sehen, insbesondere für Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs sollten jedoch strengere Kriterien gelten. Was Basic ähnlich sieht: “Davon zu trennen sind die Minderheit der Blogs, die sich thematisch und idealtypisch mit einem einzigen Thema auf ihrem Blog auseinandersetzen. Fachblogs eben, die sehr viel stärker auf die Sachebene abheben und denen es um die Vermittlung von Sachinformationen geht.”

Ausmaß der Glaubwürdigkeit von Blogs nach Nutzergruppen

Als Empiriker möchte ich natürlich Daten haben, die Licht ins unglaubwürdige Dunkel bringen. Auf die Originaldaten der ARD/ZDF-Studie habe ich leider keinen Zugriff, wohl aber auf die Daten der von Jan Schmidt durchgeführten “Wie-ich-blogge”-Studie (WIB). In dieser Untersuchung findet sich folgende Aussage: “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein.” Dieses Item lässt zwar keine Erkenntnisse über Glaubwürdigkeit an sich zu (was mag das auch sein?), sondern stellt diese in Relation zu “klassischen Massenmedien”. Die Antwortmöglichkeiten reichen von 1 („Stimme voll und ganz zu“) bis 5 („Stimme überhaupt nicht zu“). Hohe Werte bedeuten, dass die Befragten Blogs eine hohe Glaubwürdigkeit gegenüber den klassischen Massenmedien einräumen.

Schmidt/Wilbers (2006: 23) berichten einen Gesamtmitteltwert von 3,11, was der Antwortkategorie “teils-teils” entspricht. Darüber hinaus stellen sie auch nach Gruppen (Blogger, Ex-Blogger, nur Leser) getrennte Mittelwerte dar, die zwischen 2,88 und 3,13 liegen. Ex-Blogger (2,88) beurteilen die Glaubwürdigkeit von Blogs etwas geringer als noch aktive Blogger (3,13). Die Gruppe der Nur-Leser liegt mit einem Mittelwert von 3,02 dazwischen. Nachfolgende Abbildung unterscheidet noch zwischen Bloggern mit einem und mehreren Blogs.[1] Es wird deutlich, dass “Multi-Blogger” am “gläubigsten” sind. Die Unterschiede zwischen den Gruppen sind nicht dramatisch groß (die Standardabweichung liegt immerhin bei 1.23 Skalenpunkten), doch man kann sich natürlich fragen, weshalb gerade Ex-Blogger den niedrigsten Wert haben? Sind demgegenüber Befragte mit mehreren Blogs von diesen besonders überzeugt und billigen ihnen daher eine höhere Glaubwürdigkeit zu? (das sind rhetorische Fragen, natürlich kann ich mir ein paar Antworten vorstellen)

Haben auch Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs ein Glaubwürdigkeitsproblem?

Nun ist aber immer noch unklar, in welchem Ausmaß das “Glaubwürdigkeitsproblem” auch die Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs betrifft (FWW-Blogs). Wie oben angedeutet, erscheint es doch plausibler, unterschiedlichen Blogformen jeweils ein unterschiedlichen Ausmaß an Glaubwürdigkeit zuzubilligen. Es ist hoffentlich nicht allzu despektierlich, wenn ich beispielsweise “MC Winkels weblog” hinsichtlich der Glaubwürdigkeit hinter den ScienceBlogs einordne.  Leider lassen sich mit den WIB-Daten keine Fach-/Wissenschafts-/WissenschaftlerInnen-Blogs identifizieren. Es wurden aber einige Motive des Bloggens abgefragt, die ich mir an anderer Stelle schon einmal angeguckt habe[2]. Hier findet u.a. sich die Aussage, dass gebloggt wird,  “[u]m mein Wissen in einem Themengebiet anderen zugänglich zu machen”. Dieser Aussage würde doch fast jeder FWW-BloggerIn zustimmen, oder? Als “Kontrast” wähle ich diejenigen, die angaben, nur aus Spaß zu bloggen. Es war in der Befragung möglich, beiden Items (“Wissen vermitteln” und “Spaß”) zuzustimmen, doch das scheint eher die Ausnahme gewesen zu sein (Spearman-Korrelation: rho = 0,05). Dieses Vorgehen ist sicherlich nicht unkritisch zu sehen, doch leider gibt es keine besseren Daten.

Die nachfolgende Abbildung vermittelt wiederum einen Eindruck davon, wie die beiden Blogger-Gruppen (linke Abbildung “Spaß-Blogs”, rechte Abbildung “Wissen vermitteln”-Blogs) geantwortet haben. Der Mittelwert für die Angehörigken der “Spaß-Blogs” beträgt 2,96, für die “Wissen vermitteln”-Blogs liegt dieser bei 3,15. Nimmt man den gerundeten Wert, dann Antworten beide Gruppen mit “teils-teils” auf das Item “Weblogs werden niemals so glaubwürdig wie die klassischen Massenmedien sein”, doch die “Wissen vermitteln”-Blogger tendieren etwas stärker in Richtig höherer Glaubwürdigkeit. Mit anderen Worten: Betreibe ich selbst ein solches Blog, dann bin ich eher bereit, anderen Blogs mein Vertrauen zu schenken. Welche (psychologischen) Mechanismen dahinter stehen, vermag ich nicht zu sagen. Es kann sein, dass Betreiber eines FWW-Blogs, die sich um eine seriöse Berichterstattung bemühen, ähnliches auch bei anderen Blogs unterstellen. Es kann aber auch auf spezifische Nutzungs-/Rezeptionsroutinen hinweisen, dass heißt, diese Personengruppe liest vorrangig FWW-Blogs.

Dieser Beitrag soll mit einem multiplen (logistischen) Regressionsmodell abgeschlossen werden (N = 3307). Zunächst wurde eine dichotome (0/1) Variable konstruiert, die immer dann den Wert 1 annimmt, wenn der Aussage zugestimmt wurde, dass Weblogs glaubwürdiger sind als die klassischen Massenmedien. Neben dem Alter, dem Geschlecht und dem Bildungsabschluss, wurden die neun abgefragten Blog-Motive erfasst (Multikollinearitätsprobleme lassen wir mal außen vor). Ist der Wert in der Spalte “Estimate” negativ, dann weist das auf eine geringere Glaubwürdigkeit hin. Es gibt einen positiven Alterseffekt (+0.01), dass heißt, je älter die Befragten, desto glaubwürdiger werden Blogs beurteilt. Hingegen sind Frauen eher skeptisch (-0,17). Interessanter ist nun die Tatsache, dass “Wissen zugänglich machen” nach wie vor einen positiven Effekt von +0.27 hat und “Spaß” immer noch einen negativen Wert von -0,18 aufweist.

Die beiden nachfolgenden Abbildungen veranschaulichen den Effekt des “Wissen vermitteln” (bzw. “zugänglich machen”) und des “Spaß-haben”. Es lässt sich gut erkennen, dass der Effekt der Zustimmung zu dem jeweiligen Motiv nur wenige Prozentpunkte ausmacht.

Zusammenfassung

Nach der ARD/ZDF-Online-Studie 2008 haben Blogs ein “Glaubwürdigkeitsproblem”. Glaubwürdigkeit wird in diesem kurzen Beitrag in Kontrast zu den “klassischen Massenmedien” gesehen. Es stellt sich die Frage, ob davon alle Blogs gleichermaßen betroffen sind. Insbesondere die Fach-/Wissenschafts-/WissenschaftlerInnen-Blog (FWW-Blogs) “werben” implizit/explizit mit ihrere Fachkompetenz und hier wäre ein Glaubwürdigkeitsproblem besonders unangenehm. Eine mögliche Erklärungsgröße für die unterschiedliche Bewertungen von Weblogs können unterschiedliche Nutzungspräferenzen sein, was sich im Rahmen dieser kleinen Untersuchung jedoch nicht untersuchen lässt. Bezogen auf die Gruppe der aktiven Blogger zeigt sich, dass die FWW-BloggerInnen eher bereit sind, Blogs im Allgemeinen als glaubwürdig(er) einzustufen.

Endnoten

[1] Die berichteten Mittelwerte unterscheiden sich leicht, weil Schmidt/Wilbers (2006: 23) entgegen ihrer Aussage, die “Weiß-Nicht”-Kategorie auszuschließen, diese doch in die Berechnungen aufgenommen haben.

[2] Irgendetwas in diesem Beitrag (“Überlegungen zur faktoriellen Struktur von Motiven des Bloggens in der WIB-Studie“) ist mit den Labels passiert, die stimmen vorne und hinten nicht. Verdammte Schlamperei! Wer glaubt mir denn jetzt noch?

Unterscheidet sich die Nutzungszahlen von Blogs zwischen 2007 und 2008?

Mit einem Fokus auf Weblogs ist eine der ersten interessanten Zahlen die “gelegentliche oder regelmäßige” Nutzung von Web2.0-Diensten (“Weblog”) in den Jahren 2007 und 2008 (Tabell 3, S. 358). Von einer “gelegentlichen” Nutzung berichten 2007 11%, 2008 nur noch 6% aller Befragten. Die Zahlen für die “regelmäßige” Nutzung liegen bei 3% (2007) beziehungsweise 2% (2008). Naheliegend ist die Frage, ob die Unterschiede der Prozentwerte zwischen den beiden Erhebungszeitpunkten statistisch bedeutsam sind. Tatsächlich zeigt sich, dass die “gelegentliche” Nutzung von Weblogs zwischen 2007 und 2008 überzufällig stark gesunken ist (p = 0.00). Das 95%-Konfidenzintervall[1] der Prozentwertdifferenz liegt zwischen 0.026 und 0.073. Das heißt, die in der Stichprobe beobachtete Differenz von 5 Prozentpunkten kann in der Grundgesamtheit aller Onlinenutzer in Deutschland ab 14 Jahren auch bei 2.6 oder 7.3 Prozentpunkten liegen. Für die regelmäßige Nutzung von Weblogs hingegen finden sich keine bedeutsamen Unterschiede (p = 0.11). Zusammenfassend: Die gelegentliche Nutzung von Weblogs hat deutlich abgenommen, die regelmäßige Nutzung weist keine bedeutsamen Veränderungen auf.[2]

Bedeutung und Glaubwürdigkeit von Weblogs

Tabelle 8 (S. 360) enthält vier Aussagen zu Weblogs, denen “voll und ganz”, “weitgehend”, “weniger” oder “gar nicht” zugestimmt werden konnte. In früheren Beiträgen zu der ARD/ZDF-Online-Studie 2008 gehen weder Jan Schmidt noch Michael Blume auf die Tatsache ein, dass dieser Tabelle lediglich Aussagen von 283 von ursprünglich 1186 Befragten zugrunde liegen — eben genau die Teilstichprobe, die zuvor in Tabelle 7 angegeben hat, Weblogs zu kennen oder zu nutzen. Aus dieser Tabelle repräsentative Aussagen abzuleiten, finde ich gewagt; zumal sich aus Tabelle 7 auch ableiten lässt, dass diese Teilstichprobe eine etwas andere sozialstrukturelle Zusammensetzung aufweist, was wiederum zu Verzerrungen führen kann.

Verwunderlich ist auch, dass gerade einmal 4% der Befragten der Aussage zustimmen, dass die auf Weblogs verbreiteten Informationen voll und ganz glaubwürdig sind. Immerhin 12% stimmen voll und ganz der Aussage zu, dass Weblogs eine Konkurrenz zu professionellen journalistischen Angeboten darstellen. Möglicherweise schätze ich aber auch einfach die Verbindung von “glaubwürdig” und “professionellen journalistischen Angeboten” falsch ein…

Es ist im Kontext einer vergleichsweise allgemein gehaltenen Studie natürlich auch müßig darüber zu klagen, dass sämtliche Blogs in einen Topf geworfen werden und Wissenschafts-/WissenschaftlerInnenblogs mit anderen Bloggattungen verglichen werden. Es wäre jedoch interessant zu erfahren, ob auch W-Blogs in gleichem Maße ein Glaubwürdigkeitsproblem haben (immerhin 71% halten die Informationen für wenig oder gar nicht glaubwürdig). Gibt es Spill-over-Effekte?

Es ist bedauerlich, dass die Originaldaten nicht zur Verfügung stehen, mit deren Hilfe die Korrelationsmatrix für die vier Items konstruiert werden könnte. Danach könnte man sich anschauen, ob es ein gemeinsames latentes Konstrukt gibt. Gibt es Gruppen (Nutzungstypen, Bildungsgruppen etc.), wo diese Korrelationsstruktur variiert?

Fußnoten und Anhang

[1] Die Konfidenzintervalle wurden alle sehr naiv ermittelt, siehe dazu prop.test().

[2] Man sollte an dieser Stelle anmerken, dass ich gegen das Proportionalitätsgesetz verstoße, hier etwas besser erklärt. Mich interessieren aber vor allem die Konfidenzintervalle und die Faustregel, dass sich nicht überlappende Intervalle einen signifikanten Unterschied anzeigen.

Update: Besagte Faustregel ist, wie sich den Kommentaren entnehmen lässt, eher fraglich. Sich nicht-überlappende Konfidenzintervalle weisen auf einen signifikanten Unterschied hin.


## R-Code für die Berechnung der CI und die Konstruktion der Grafik ##
## Test auf Gleichheit von Anteilswerten (H0: p1 == p2 == ... == pn)
## Tabelle 3, S. 358

prop.test(x = c(126,72), n=c(1142,1186))
prop.test(x = c(35,23), n=c(1142,1186))
prop.test(x = c(126+35,72+23), n=c(1142,1186))

##Konstruktion der Grafik
library(lattice)
library(Hmisc)
jahr <- c(2007,2008,2007,2008)
type <- c("gelegentlich","gelegentlich","regelmaessig","regelmaessig")
anteile <-c(11,6,3,2)
lower <- c(
prop.test(x = c(126), n=c(1142))$conf.int[1]*100,
prop.test(x = c(72), n=c(1186))$conf.int[1]*100,
prop.test(x = c(35), n=c(1142))$conf.int[1]*100,
prop.test(x = c(23), n=c(1186))$conf.int[1]*100
)
upper <- c(
prop.test(x = c(126), n=c(1142))$conf.int[2]*100,
prop.test(x = c(72), n=c(1186))$conf.int[2]*100,
prop.test(x = c(35), n=c(1142))$conf.int[2]*100,
prop.test(x = c(23), n=c(1186))$conf.int[2]*100
)
ard <- data.frame(jahr,anteile)
xYplot(Cbind(anteile,lower,upper) ~ jahr, group = type,
ylim = c(-0.5,14), xlim = c(2006.5,2008.5), data = ard, type = "b",
main = "Nutzung von Weblogs", ylab = "Anteil in Prozent", xlab = "Jahr",
scales = list(x = list(at = c(2007, 2008))))


Für heitere Minuten sorgte die Antwortkategorie “weder noch”. So lautet etwa eine Frage: “Welche Tools, Anwendungen und Dienste nutzen Sie für Ihre wissenschaftliche Arbeit?” Ein mögliches Item ist “scholar.google.com” und folgende Antwortmöglichkeiten stehen zur Auswahl: “nutze ich nie”, “nutze ich selten”, “weder noch”, “nutze ich häufig”, “nutze ich sehr häufig”, “kenne ich nicht”. Was ist denn “weder noch” für eine Antwort?

Auch die Frage “Welche Themen interessieren Sie in Blogs?” Lässt sich mit “weder noch” beantworten. “weder noch” ist hier die Mittelkategorie zwischen “interessiert mich überhaupt nicht” und “interessiert mich sehr”.

Sicherlich lässt sich darüber streiten, ob eine differenzierte Antwort auf das Item “Ich war früher mal in der Wikipedia aktiv” notwendig ist. “Trifft es überhaupt nicht zu”, dass ich früher mal in der Wikipedia aktiv war oder “trifft eher nicht zu”, dass ich früher mal in der Wikipedia aktiv war. Vermutlich “trifft [es, B.W.] eher zu”, dass ich früher mal in der Wikipedia aktiv war. Ich nehme an, dass das (frühere) Aktivitätsausmaß erfasst werden soll, ob das gelingt, wage ich aber zu bezweifeln.

Items wie “Desktopbasierte Lösungen helfen mir nichts” (Frage: “Aus welchen Gründen präferieren Sie eine webbasierte Lösung?”) sind kein Stimulus, der Varianz generieren wird. Meine Vermutung — das Gegenteil lässt sich dann vielleicht bei der Auswertung belegen.

Gewöhnungsbedürftig ist auch die Tatsache, dass sich der Fragebogen komplett durchklicken lässt, ohne eine einzige Antwort gegeben zu haben — die typische Online-Befragung “erzwingt” normalerweise immer einer Antwort, ansonsten geht es nicht weiter. Ich kenne mich aber mit Online-Befragungen nicht wirklich aus und kenne nicht die sich u. U. ergebenden Konsequenzen.

Gibt es eigentlich irgendwelche Fragen zur Soziodemographie (Alter, Geschlecht, Berufserfahrung etc.)? Ich erinnere mich nicht mehr daran — und noch einen leeren Fragebogen möchte ich nicht mehr produzieren.

Da es eine zweite Befragungswelle geben soll, besteht die Möglichkeit, den Fragebogen noch einmal an der einen oder anderen Stelle zu überarbeiten. Um nicht nur zu kritisieren, erkläre ich hiermit meine Bereitschaft als “Beta-Tester”.

Nachtrag:

Anlässlich der oben erwähnten Befragung möchte ich auf ein sehr nützliches ZUMA How-to “Question Wording – Zur Formulierung von Fragebogen-Fragen” von Rolf Porst verweisen. Jede/r Sozialwissenschaftler/in sollte einmal im Leben den Kurs “Grundlagen der Fragebogenentwicklung” von Rolf Porst besucht haben. Auch für sein Buch “Fragebogen. Ein Arbeitsbuch” möchte ich an dieser Stelle eine Empfehlung aussprechen. Ich gebe zu, in unserer letzen Befragung (mindestens) das 7. Gebot “Du sollst Fragen mit eindeutigem zeitlichen Bezug verwenden!” verletzt zu haben.

(zum Vergrößern auf die Abbildung klicken)

Eine annehmbare Erklärung findet sich bei der englischen Wikipedia: Ecological Fallacy.

Wie immer: R-Code (ziemlicher Hack…)

Some of you know I have a new penchant for tool-building. Well, the latest creation of the QDAP lab is a blog scraping tool. The tool is designed to allow you to set up accounts to automatically capture blog posts on one or several blogs and to archive the data in a plain text format “ready-to-be-coded” inside QDAP’s Coding Analysis Toolkit.

For anyone who ever wanted to study blogs, this is a big step forward. The emphasis here is on a user-friendly interface and a seamless system for capturing and coding blog data. Now, this is a brand new tool and probably a bit buggy. However, it works well enough that we invite you to set up an account and start capturing blog data. No doubt there are some of you interested in the blogs and Election 08. To create a new blog scraping account, please visit:

https://surveyweb2.ucsur.pitt.edu/qblog/page_login.php

To learn more about the Coding Analysis Toolkit, please visit:

http://www.qdap.pitt.edu/cat.htm

To learn about my lab, please visit:

http://www.qdap.pitt.edu/