Wenngleich bei der letzten Evaluation nur sieben Studierenden teilgenommen haben, so ließen sich doch einige Schwächen meiner Veranstaltung identifizieren. Interessant ist nun der Vergleich zur aktuellen Evaluation — wenngleich auch hier wegen der geringen Fallzahlen (N=13) den Unterschieden keine allzu große Bedeutung zukommt!

Zu “Inhalt und Präsentation” schrieb ich beim letzten Mal:

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Insgesamt habe ich mich (auf deskriptiver) Ebene leicht verbessern können. Erfreulich ist, dass das “Ziel der LV insgesamt deutlich” geworden ist (M=1,46). Auch die Punkte “Interesse geweckt” (M=2,31), “Stoffumfang” (2,08) und “Hohe Leistungsanforderungen” (2,08) wurden etwas besser beurteilt. Schön ist auch, dass “Interesse am Lernerfolg” (M=1,46) und “LP auch bei Fragen verfügbar” (M=1,38) gewürdigt wurden (als Frühaufsteher fällt es mir leicht, auch Sonntags um 5 Uhr Mails zu beantworten .

Was die Kategorie “Studierendenverhalten” betrifft, so schrieb ich damals:

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

In der aktuellen Evaluation zeigt sich, dass die Studierenden das “Lernklima” schätzen (M=1,69) und sich kontinuierlich auf die Sitzungen vorbereitet haben (M=1,85). Die tatsächlich aufgebrachte Wochenarbeitszeit für die Lehrveranstaltung ist von 104 Minuten auf 146 Minuten gestiegen; was ganz schön viel ist. Leider sind meine Sympathiewerte dramatisch gesunken; das heißt, haben zuvor 86% der Studierenden ihre Teilnahme auch durch die “sympathische LP” begründet, sind es aktuell nur noch 46%.

Insgesamt hat sich die Bewertung der Veranstaltung von 2,14 auf 1,96 verbessert; ist also immer noch eine glatte Zwei.

Weitere, etwas unsortierte Überlegungen:

• Begeistert haben mich die Forschritte einiger Studierender. Dachte ich zu Beginn des Semesters noch, dass der eine oder die andere eine gewisse Herausforderung sein würde, so muss ich im Rückblick sagen, dass es eine gute und produktive Mitarbeit gab — damit einhergehend auch entsprechend (sehr) gute Klausurleistungen.
• Wiederum haben ich darauf bestanden, dass sämtliche statistischen Analysen mit R durchgeführt werden… und auch hier muss ich sagen, dass es erstaunlich gut geklappt hat. Zumindest besser als in den vorangegangenen Veranstaltungen.
• In der Abschlussdiskussion wurde kritisch angemerkt, dass meine Unterlagen (im wesentlichen Folien) bereits zu Beginn des Semesters vorliegen sollten; es sei schwierig, die eigenen Notizen und nachträglich vorgenommene Änderungen meinerseits zu synchronisieren. Wenn ich Teilnehmer wäre, würde ich das auch so sehen. Auch wenn diese Veranstaltung bereits zum dritten Mal durchgeführt wurde, bin ich mit meinen Folien (immer noch) nicht zufrieden und versuche mich ständig daran, sie zu verbessern. Dass ich das nicht bereits in der vorlesungsfreien Zeit abschließen konnte, liegt schlicht an den sonstigen (dringenderen) Arbeiten; Lehre zählt nicht viel im Lebenslauf. Ein weiterer Grund ist immer noch das Fehlen eines einschlägigen Lehrbuchs, so dass ich gezwungen war, viele Beispiele und Rechenübungen selbst zu konzipieren.
• Anlässlich der Evaluation im Sommersemester 2009 schrieb ich auch, dass ich in der Ausschreibung stärker auf die für diese Veranstaltung notwenigen (statistischen und methodischen) Grundlagen eingehen muss, um eine stärkere Selektivität der Studierenden zu erreichen. Das ist mir leider (wieder) nicht gelungen. Das Selbstbild der Studierenden mit Blick auf die Kenntnis bestimmter statistischer Konzepte (Inferenzstatistik, Regression, …) und das tatsächliche Wissen sind nicht besonders stark korreliert. In Zukunft wird es vermutlich zielführender sein, den Studierenden (kleinere) Aufgaben vorzulegen und diese müssen selbsttätig abschätzen, ob sie in der Lage sind, diese Aufgaben zu lösen.
• Dass ich “Lernen-durch-Lehren” stärker eingesetzt hätte, kann ich leider auch nicht sagen. Gefallen habe ich daran gefunden, die Studierenden (kurze) Präsentation über ihre Probleme (z.B. beim Lesen von Texten) erstellen zu lassen.
• Weniger gut scheint meine Idee funktioniert zu haben, bestimmte statistische Konzepte (Standardfehler, Konfidenzintervall, Unterschied zwischen fixed und random effects model, Zwischenstudienvarianz) mit Hilfe von Simulationen zu illustrieren. Ein Grund ist wohl der Tatsache geschuldet, dass ich immer auch gleich den R-Code präsentiert habe. Es ist nicht einfach, sowohl die Idee der Simulation zu verstehen und dann noch durch den (nicht immer trivialen) R-Code durchzusteigen. Gleichwohl denke ich, dass Simulationen im Rahmen der Statistikausbildung hilfreich sein können.

Blogs von Wissenschaftlern können unter anderem den Zweck verfolgen, etwas mehr Transparenz in das Wissenschaftsgeschäft im Allgemeinen und das universitäre Leben im Besonderen zu bringen. Dazu gehört auch die Lehre und eine sehr kurze Recherche zeigt, dass sich noch nicht besonders viele Lehrende in den Wissenschaften kritisch mit ihrer eigenen Lehre auseinander gesetzt haben — sollte ich falsch liegen, so wäre ich natürlich über entsprechende Hinweise mehr als erfreut. Beginnen möchte ich an dieser Stelle mit dem öffentlichen Wissenschaftler per se, nämlich Christian Spannagel. Als öffentlicher Wissenschaftler reflektiert er (natürlich…) über das Aktive[..] Plenum: Feedback der Studierenden (hier Teil II). Vor kurzem (vorgestern) bin ich dann wieder auf orderfromnoise Aufmerksam geworden, wo sich Jan-Hendrik Passoth fragt, “Was tun mit Evaluationen?“. Dass Lehrevaluationen allein noch nicht für bessere Studienbedingungen sorgen, wird auf dem Academics.Blog unter der Überschrift “Macht der Blick in den Spiegel wirklich schöner?” thematisiert. Kritische Gedanken zu “Die Schwierigkeit der Lehrevaluation” finden sich auch bei Gabi Reinmann. Mir geht es in diesem Beitrag aber gar nicht darum, Lehrevaluationen zu hinterfragen. Ich setzte (zumindest teilweise) ihre Sinnhaftigkeit voraus und möchte im Folgenden über die Evaluation meiner eigenen Veranstaltungen reflektieren und, in gewisser Weise, Studierenden eine Entscheidungsgrundlage bieten, sich möglicherweise für eine meiner Veranstaltungen zu entscheiden.

Im Wintersemester 2008/2009 sowie im Sommersemester 2009 wurden (erstmalig) zwei Lehrveranstaltungen von mir evaluiert. Die Entscheidung für (oder gegen) eine Lehrveranstaltung, basiert im wesentlichen auf zwei Momenten: das Veranstaltungsthema und den Dozenten. Ob einem das Veranstaltungsthema liegt, sagt meist bereits ein Blick in die Studienordnung (“Du musst, weil…”) oder den Ausschreibungstext im kommentierten Vorlesungsverzeichnis (“Klingt interessant…”). Bleibt der Dozent: Wie viel Zeit investiert er in die Lehre? Wie geht er mit Fragen der Studierenden um? Wie hoch ist der Zeitaufwand zur Vor- oder Nachbereitung der Sitzungen? etc. Da auch Studierende nicht dazu neigen, die Katze im Sack zu kaufen, versuchen Sie ggf. Informationen über den Dozenten und seine Lehrveranstaltungen einzuholen (ich habe das zumindest so gemacht). Eine Möglichkeit wäre, die Kommilitoninnen und Kommilitonen zu befragen. Das kann mühsam werden, einfacher wäre es doch, wenn man Zugriff auf die Ergebnisse von Lehrevaluationen hat. Wenn dann noch der Dozent gewillt ist, über diese Befunde zu reflektieren und ggf. Besserung zu gelobt, dann sollte einer (hoffentlich) gelungen Dozentenwahl eigentlich nichts mehr im Wege stehen, oder?

Was enthält der Evaluationsbericht und wie liest man ihn?

Die im Folgenden vorzustellenden Evaluationsergebnisse enthalten drei Bereiche, nämlich “Inhalt und Präsentation”, “Studierverhalten” und die “Dialogorientierung der Lehrperson”. Die zweite Kategorie “Studierverhalten” ist eine Selbstauskunft der Studierenden über ihren eigenen Arbeitsaufwand. Neben der eigentlichen Bewertung in Form einer Schulnote enthält der Bericht immer auch eine relative Positionierung im Vergleich mit “einer Referenzgruppe, die aus sämtlichen Veranstaltungen [...] in den letzten drei Semestern besteht”  (die mit “Gesamtvergleich” überschriebenen bunten Balken). Unglücklicherweise neigen Befragte bei Bewertungen dazu, häufig alles sehr positiv zu sehen. Dieses Verhalten führt dazu, dass der absolute Notenwert nur noch wenig aussagt (alle werden positiv bewertet) und die relative Position häufig aussagekräftiger ist. Im vorliegenden Fall beschreibt für jede Kategorie ein “x”, wo meine Veranstaltung im Gesamtvergleich anzusiedeln ist. Vom WiSo-Evaluationszentrum haben wir eine kleine Interpretationshilfe erhalten, dort heißt es:

Daneben finden Sie in der Rubrik Gesamtvergleich zu jeder Aussage einen Balken. Dieser bezieht sich auf die Häufigkeitsverteilung der durchschnittlichen Studierendenurteile in einer Referenzgruppe, die aus sämtlichen Veranstaltungen Ihres Veranstaltungstyps in den letzten drei Semestern besteht. Diese Balken sind in drei Teilbereiche unterteilt, die eine Flächentransformation der Veranstaltungsbewertungen darstellen: die besten 25%, die mittleren 50% und die 25% kritisch bewerteten Lehrveranstaltungen (s. Legende am oberen Rand).

Man könnte nun eine noch technischere Erklärung hinzufügen, die bspw. die Begriffe Quartile enthält, das lasse ich aber lieber. Die Farbwahl erleichtert die Interpretation hinreichend: grün = gut (“Schulterklopfen”), gelb = Mittelfeld (“soweit ok”), rot = schlecht (“das muss sich ändern”).

Wintersemester 2008/2009: “Interaktion in der Familie”

Im Wintersemester 2008/2009 wurde mein (Grundstudiums-/Bachelor-)Seminar “Interaktion in der Familie” begutachtet und im Gesamtergebnis als gut (1,73) befunden (Evaluationsergebnis als PDF). Grundlage waren 15 Fragebögen (insgesamt haben ca 20 Studierende teilgenommen). Im Gesamtranking der WISO-Fakultät (leider nur im Intranet verfügbar) liegt die Veranstaltung damit auf dem 28. Platz (von insgesamt 225), von den Soziologieveranstaltungen auf dem 4. Platz. Die Kategorie “Inhalt und Präsentation” enthält 17 Items (also Aussagen oder Fragen). Relativ schlecht (roter Bereich) bewertet wurden die Items “Ziel der LV insgesamt deutlich” und “Verständliche Vermittlung”. Ansonsten finden sich die meisten Bewertungen im mittleren Bereich (gelb). (Ganz) Gut bewertet wurden “Stoffumfang zu bewältigen”, “Präsentierte Medien” und “Verwendete Unterlagen”, “Abwechslung” und “Tempo ist angemessen” sowie “Literatur-Empfehlungen hilfreich”.

Das “Studierverhalten” gibt (zumindest teilweise) indirekt Auskunft über den Dozenten: Je besser die Studierenden Ihr eigenes Arbeits- und Lernverhalten einschätzen, desto besser die Motivation etc. Hier muss man sagen, dass die Items “Sitzung nachbereitet” und “Zeitaufwand” in Grenzbereich (am Ende des gelben Balkens) oder gar schon im nicht mehr zu akzeptierenden Bereich (rot) liegen. Recht “erfolgreich” waren meine Bemühungen, die Studierenden zu einer regelmäßigen Teilnahme zu bewegen. Interessant sind auch auch die Teilnahmegründe (“TN, …”; Mehrfachnennungen möglich). 93% der befragten Studierenden fanden das Thema interessant — was bei “Interaktion in der Familie” wenig verwunderlich ist. Nur 27% denken, dass die Teilnahme für ihre berufliche Qualifizierung relevant ist. 33% halten die Lehrperson für sympathisch — hier schwanke ich zwischen “immerhin” oder “na ja” . 40% nahmen aus “Pflicht” teil (Studienordnung etc.).

Der letzte Bereich bezieht sich auf die “Dialogorientierung der Lehrperson” und hier, das freut mich ehrlich gesagt, habe ich gut abgeschnitten. Es ist mir scheinbar gelungen, die Studierenden zu Fragen zu ermutigen, ihre Fragen kompetent zu beantworten und sie in den Lernprozess einzubinden. Das Lernklima untereinander wurde immerhin noch mit der Note 2 bewertet.

Sommersemester 2009: Meta-Analyse

Im Sommersemester habe ich unter anderem die Vorlesung “Meta-Analyse” angeboten, die durch die (Pflicht-)Übung “Meta-Analyse” ergänzt wurde. Insgesamt handelte es sich also um eine Veranstaltung im Umfang von vier Semesterwochenstunden. Von den insgesamt 12 Teilnehmerinnen und Teilnehmern haben 7 den Fragebogen ausgefüllt. Insgesamt wurde diese Veranstaltung mit 2,14 bewertet (Evaluationsergebnis als PDF). Im Gesamtvergleich ist das im Mittelfeld. Ein Gesamtranking liegt zur Zeit noch nicht vor.

Wie verteilen sich die Bewertungen auf die einzelnen Kategorien? Für “Inhalt und Präsentation” zeigt sich, dass es mir (wieder einmal) nicht gelungen ist, das “Ziel der Einzelsitzung[en] deutlich” zu machen. Das Item “Interesse geweckt/vertieft” bewegt sich auch schon gefährlich nah an Ende des gelben Balkens. Auch “Stoffumfang zu bewältigen” und “Hohe Leistungsanforderungen” wurden eher negativ bewertet. Dazu passt, dass auch das Tempo der Lehrveranstaltung eher zu hoch war (“Tempo ist angemessen”). Erfreulich ist, dass ich bei den Items “Interesse am Lernerfolg” und “LP [Lehrperson] auch bei Fragen verfügbar” überdurchschnittlich gut abgeschnitten habe.

Die Kategorie “Studienverhalten” enthält in meinen Augen keine dramatischen Ausschläge nach unten. Erbaulich ist, dass die Teilnahme diesmal unter anderem in 86% der Fälle durch die sympathische Lehrperson motiviert wurde.

Ich habe für diese Veranstaltung auch noch einen offenen Fragebogen genutzt, in den die Studierenden detaillierter auf ihre Kritik eingehen konnten. Ein ganz zentraler Kritikpunkt war mein Beharren auf der Statistiksoftware GNU R, um die Analysen durchzuführen. Zwei bis drei der Teilnehmer waren daran interessiert, sich mit GNU R auseinanderzusetzen, für den Rest der Teilnehmerinnen und Teilnehmer war es eher belastend, langweilig oder nervig (in wechselnder Reihenfolge).

Was muss sich ändern?

Da ich in beiden Evaluationen in der Frage der Veranstaltungsziele relativ schlecht abgeschnitten habe, muss ich in Zukunft also die  Relevanz des Themas oder das Anliegen der Veranstaltung in der 1. Sitzung stärker herausstellen. Im Veranstaltungsverlauf sollte dann immer mal wieder der aktuelle Zwischenstand reflektiert werden und ggf. eine Änderung des restlichen Seminarverlaufs erwogen werden. Die Mehrzahl der Studierenden mag scheinbar Strukturen. Also gilt es, noch stärker als bisher (und mir vielleicht lieb ist) Strukturen zu schaffen!

Dazu gehört auch, bereits in künftigen Ausschreibungen im kommentierten Vorlesungsverzeichnis sehr deutlich zu machen, was die Voraussetzungen für eine Teilnahme in meinen Veranstaltungen sind. Ich hoffe, dass mir das für das kommende Wintersemester 2009/2010 gelungen ist (wiederum eine Vorlesung + Übung zur Meta-Analyse). Leider hat dieses Vorgehen auch dazu geführt, dass sich bislang erst 5 Studierende eingeschrieben haben.

Defizite in der “verständlichen Vermittlung” lassen sich nur durch eine noch verständliche Vermittlung ausgleichen . An dieser Stelle könnte man Sachen wie “Lernen-durch-Lehren” stärker einbinden. Methoden des kooperativen Lernens (bspw. Gruppenpuzzle) ermöglichen zudem, in der Gruppe auf Probleme zu stoßen und diese zu diskutieren. Mir als Dozent geben sie eine gute und vor allem unmittelbare Rückmeldung, wo es tatsächlich ‘hakt’.

Sowohl der durch mich vermittelte Zeitaufwand (Soll) als auch die tatsächlich aufgebrachte Zeit werden im Seminar “Interaktion in der Familie” als zu hoch bewertet. Mmmh, das kann eigentlich gar nicht sein Zwar findet sich diese Bewertung in dem Meta-Analyse-Seminar nicht in der gleichen Deutlichkeit wieder, doch durch eine zusätzliche qualitative Befragung weiß ich, dass auch dort der Umfang der Hausaufgaben als zu hoch angesehen wurde.

Aus meiner eigenen Wahrnehmung heraus muss sich noch die rhetorische Gestaltung verbessern. Auch der Einsatz (für mich) “neuerer” Lehrmethoden, lässt noch stark zu wünschen übrig. Didaktisch haben ich (und einige meiner Kolleginnen und Kollegen) noch Nachholbedarf.