GdW WS 2016: Eval-Plan

Einheit "Evaluation" in GdW ... curricularer Hauptgrund: Vertiefung zum Teil "Evaluation" im Memorandum WiInf und Hevner 2004 ... aktueller Anlass: (a) wiederkehrende Diskussion unter Kollegen: Was ist "gute" Lehre? Wie kann man Lehre evaluieren? ... Ansatz: Eine Lehrveranstaltung kann als ein Artefakt im Sinne der gWI verstanden werden; wir verwenden diesen Themenbereich, um Möglichkeiten, Vielfalt und Grenzen einer professionellen Evaluation im Sinne der DeGEval explorativ auszuloten.

Lernziele

  • DeGEval-Leitlinien an einem Fallbeispiel kennenlernen
  • Erfahren, wie viele verschiedene Aspekte an einem scheinbar einfachen Fallbeispiel konkret untersucht werden können
  • sich aus einem allgemeinen Oberthema eine konkrete Fragestellung erarbeiten

Vorgehen

  • Lehrtext: Kommentar der DeGEval: DeGEval-Standards 2008
  • Eval-"Objekt" (s.u.):
    • allgemein: Vorlesung auf Basis eines Wikipedia-Textes
    • konkret: Fallbeispiel GdW-Vorlesung 2016-11-10
  • Das "Objekt" der Eval ist noch weitgehend unbestimmt und interpretationsoffen ist. Herausforderung: konkrete empirisch untersuchbare Fragestellungen - von denen es viele gibt! - finden und als "interessant und relevant" bergünden.

Gruppenarbeit

  • mindestens 3 interessante Eval-Fragestellungen finden
  • eine davon auswählen, und die (=alle) Leitlinien die spannendsten der Leitlinien der GeGeEval nacheinander durchgehen
  • Visualisierung auf Flipchart-Papier; am Ende der Übung präsentieren
  • Hochladen auf Moodle: Ein Handy-Photo der Arbeitsgruppe vor dem Flipchart an der Wand (jedes Gruppenmitglied einzeln, aber gerne das gleiche Photo).

Eval-"Objekt": Vorlesung auf Basis eines Wikipedia-Textes

z.B. GdW-Vorlesung 2016-11-10, Kurzprotokoll: Advance Organizer "Es gibt Aspekte 1, 2 und 3. Bitte recherchieren Sie 7 Minuten lange zu Aspekt 3" ... dann ein Vortrag zum Thema Datenmodellierung, insbes. Vertiefung zu den Aspekten 1, 2, und 3, incl. Exkurs zu Aspekt 4 ... Grundlagentext aus Wikipedia ... im Vortrag auch enthalten eine Diskussion des Grundlagentextes; also keine reine Zusammenfassung, sondern Kommentierung und Bewertung des Grundlagentextes ... auch: "Diese Abbildungen sind falsch / passen nicht zum Text!"; statt dessen schrittweiser Aufbau einer eigenen Abbildung handschriftlich am Presenter ... vorne links schläft ein Student mit Schirmkappe tief und fest ... am Ende der Veranstaltung dann Orga, insbes. Hinweis auf Thema Evaluation in der Übung. ... Medien: Nicht publizierte Mindmap des Dozenten als Vortragsgrundlage; Website des Dozenten zur Vorlesung mit Link auf Wikipedia-Text; Wikipedia-Text liegt auch als pdf als Teil eines Wiki-Books auf Moodle.

Auswahl des Eval-Objekts, Anlass: zukünftig vergleichsweise rigide urheberrechtliche Rahmenbedingungen bzgl. Medieneinsatz in einer Veranstaltung ... Hoch relevant und aktuelle Situation in der Hochschullehre: Nach über 10 Jahren von juristischen und politischen Auseinandersetzungen wurde ein Graubereich klar in Schwarzweiß getrennt: Spätestens ab 1.1.2017 ist es Dozenten explizit verboten, Studierenden in nennenswertem Umfang urheberrechtlich geschützte Texte als Lernunterlagen aktiv zur Verfügung zu stellen (insbes. auf Moodle hochzuladen). Einzige Zugangsmöglichkeit: Studierende laden sich urheberrechtlich geschütztes Material gemäß Quellenangaben *selbst* auf ihren Rechner. Legale Voraussetzung: Das Material wird im Netz offen angeboten (so z.B. http://www.degeval.de/degeval-standards/), oder das Material ist über die elektronische Hochschul-Bibliothek als Volltext verfügbar. ... Ein Dozent, der urheberrechtliche Probleme weiträumig umschiffen will, hat als Alternative die Möglichkeit, seine Lehrveranstaltung auf Texten aufzubauen, die unter einer Creative Commons Lizenz verfügbar sind, wie z.B. die Texte aus Wikipedia. Diese Alternative probiert JB in GdW2016 explorativ "in situ" aus - und das soll nun auch evaluiert werden.

mögliche Nebenaspekte der Eval

  • Lehrbuch-Abschnitt oder Wikipedia-Artikel: macht die Quelle hier einen Unterschied? welche?
  • technisches Format des Wikipedia-Artikels: online als html, in Moodle als pdf: Eval-relevante Unterschiede?
  • möglicher Nebenaspekt: Vortrag mit ppt-Slides / mit einer Mindmap / rein mündlich ohne Medienunterstützung / mit Tafelanschrieb etc: macht die Vortragsform hier einen Unterschied? welchen?
  • falls eine vergleichende Eval erwünscht wäre: Welche faktisch praktizierte Alternativen zu dem beschriebenen "Objekt" sind bekannt, welche anderen Alternativen wären wünschenswert?
  • Didaktisches Element "Advance Organizer": Lernwirksamkeit? im Ggs. zu welcher anderen Beschäftigung in diesen 7 Minuten? Im Rahmen eines größeren didaktischen Gesamtarrangements?

Fragestellungen: Dutzende!

  • Grundlagentext
    • Verständlichkeit, Prägnanz
    • Sprache en: bug oder feature?
    • er enthält falsche Abbildungen: bug oder feature?
    • gut ausgewählt?
    • Verfügbarkeit als Medium; Text-Stabilität bis zur Klausur
    • Urheberrecht: Darf der Dozent den Text tatsächlich als "Steinbruch" für eine eigene Präsentation verwenden?
  • Anwendungsorientierung
    • nur Theorie oder auch konkrete Beisiele?
    • Verankerung an der Lebenswelt der Studierenden?
  • Rhetorik
    • wurden Medien eingesetzt (Ggs.: freier mündlicher Vortrag ohne Medienweinsatz)
    • Sprache verständlich?
    • Schrift nicht kleiner als 24pt?
    • Sprache laut und deutlich, verständlich?
  • Lernerfolg
    • Lernfortschritt nach der Präsentation
    • Lernerfolg 10 Wochen nach der Präsentation
      • ohne erneute Lernsequenz
      • neue Selbstlernsequenz leicht arrangierbar?
  • Unterstützung von selbstgesteuertem Lernen
    • Erlernbarkeit des Stoffes bei verpasster Veranstaltungsteilnahme
    • Anwesenheit
      • verpflichtend: Begründung nachvollziehbar?
      • freiwillig: laissez-faire?
  • Disziplin
    • War der Dozent / die Studierenden pünktlich / anwesend / sind früher gegangen / wach, schläfrig ...
    • Geamtlautstärke, Nebengespräche
  • Lernziele
    • dem Dozenten bekannt?
    • den Hörern bekannt?
    • operationalisiert? kompetenzorientiert? Konsistent in Bezug auf EQR / DQR / Bloom / Andersen & Krathwohl / Shaper
  • "Hidden Curriculum": Lern(un)möglichkeiten, die in Veranstaltungsart und -Kontext liegen
    • Gruppengröße absolut
    • Raum
      • Bestuhlung fest, änderbar? zwingend nach vorne gerichtet?
      • Kann man umhergehen, spontan mit verschiedenen Personen sprechen / eine Kleinruppe bilden?
      • passend zur Gruppengröße?
      • passend zu den Lernzielen?
    • Vorlesung / Übung / Seminar / PC-Pool / Sportveranstaltung / Musikveranstaltung / Lernveranstaltung

Vorüberlegungen

unterschiede Kriterien vs. Indikatoren

Wer verfügt über die Urteils-Kompetenz bzgl. einem bestimmten Aspekt?

beteiligte Beobachter

  • Welche Aspekte sind von "außen" beobachtbar, welche Aspekte erfordern einen beteiligten Beobachter - und welche eine eigene aktive Mit-Beteiligung?

Befangenheiten, Interessenkonflikte?

Wo tauchen Wertvorstellungen auf

  • explizit, bekannt, typisch
  • implizit, unbekannt, untypisch
  • systemtypische blinde Flecke?