THDKomPort - Online-Appendix

Ausgangssituation

Die Lehrveranstaltung fand in der Vergangenheit ähnlich statt und orientierte sich auch am Flipped Classroom-Konzept. Allerdings wurde mit einer Abschlussklausur geprüft.

Ziele für den Einsatz der Portfolio-Prüfung

Die Lehrperson verfolgte drei Hauptziele:

• Kontinuierliches Mitlernen soll durch Zwischenleistungen gefördert und damit die Arbeitslast am Ende des Semesters für die Endprüfung reduziert werden.
• Die Leistungserbringung während des Semesters soll Studierenden helfen, die bei schriftlichen Prüfungen ihr Potential nicht entfalten können und/oder sehr nervös sind, wodurch das Risiko für die Studierenden reduziert wird.
• Drittes Ziel war die Förderung von Präsentationsfähigkeit, Diskussion und Feedback sowie kritisches Hinterfragen als Kompetenz, die auch im beruflichen Kontext eine Rolle spielt. 

Umsetzung

Die Lehrveranstaltung (LV) Informatik findet im Flipped Classroom-Konzept statt. Während der Selbstlernphasen arbeiten die Studierenden einen asynchronen Selbstlernkurs durch. Die hybrid stattfindenden Präsenz-Sitzungen werden unter anderem zur Diskussion von, während der Selbstlernzeit bearbeiteten, Übungsfragen und Miniprojekten und zur Beantwortung von Fragen genutzt. Die Projekte und Aufgaben werden teils in Zweier-Gruppen bearbeitet. 

Die Prüfungsleistung setzt sich aus folgenden Teilleistungen zusammen:

• Schriftliche Endklausur (1 Stunde) (Gewichtung 70 %)
• Zwei Midterm Exams (Gewichtung jeweils 10 %)
• Eine Präsentation eines Mini-Programmierprojekts (Gewichtung 8 %)
• Peer Feedback zu einem Mini-Programmierprojekt (Gewichtung 2%)

Die Präsentationen und das Peer Feedback finden während der Präsenzveranstaltung statt. Die Studierenden können für ihre Präsentation eins von acht Miniprojekten auswählen und einen Präsentationstermin selbst festlegen. Die Studierenden können auswählen, wann und wem sie Feedback geben. 

Erfahrungen, Evaluation und Verbesserungspotential

Die Befragung der Studierenden zeigt, dass das Ziel des kontinuierlichen Mitarbeitens im Vergleich zu den anderen LV durchaus erreicht wurde. Dies ist vermutlich auf die beiden Midterm Exams zurückzuführen. Die Studierenden gaben auch überwiegend an, dass sie durch die Portfolio-Prüfung strukturierter gearbeitet haben, ihren Lernprozess besser reflektieren konnten und ihr Lernzuwachs insgesamt höher war im Vergleich zu einer LV mit alleiniger schriftlicher Abschlussklausur.

Die interviewte studierende Person bekräftigte auch, dass die Leistungserbringung durch verschiedene Teilleistungen den Druck bei der Endklausur abschwächen konnte.

In Bezug auf die Präsentationsfähigkeit hat sich gezeigt, dass die Teilleistungen der Präsentation und des Peer Feedbacks nur von wenigen Studierenden in Anspruch genommen wurde. Die studierende Person im Interview fand die Teilleistungen hingegen sehr gut und hat die Teilleistungen absolviert. Der Grund warum es nicht mehr in Anspruch genommen wurde ist nicht ganz klar. Möglicherweise waren die Teilleistungen Präsentation und Peer Feedback zu gering gewichtet. Ein Studierender aus der Umfrage schrieb „rest was good, so I did not ever need it.”

Aus Lehrenden-Sicht ist die Portfolio-Prüfung didaktisch sehr sinnvoll. Die Noten waren im Vergleich zu den vorherigen Lehrveranstaltungen ohne Portfolio-Prüfung besser. Allerdings war der Zeitaufwand für die Lehrperson zu hoch, sodass sie in Zukunft keine Portfolio-Prüfungen mehr durchführen wird.

Als Verbesserungspotential sieht die Lehrperson die Möglichkeit Übungstests, ähnlich zu den Midterm-Exams anzubieten, welche automatisiert bewertet werden und nicht Teil der Endnote sind.

Aus Sicht der Studierenden waren die Endklausur und der Selbstlernkurs nicht aufeinander abgestimmt. Die befragte Studierende wünscht sich eine stärkere Wissensvermittlung durch die Lehrperson selbst.

Ausgangssituation

Die Veranstaltung Forschungsmethoden findet im Rahmen einer berufsbegleitenden Weiterbildung statt und ist zweigeteilt in die Themen Statistik auf der einen und Forschungsprozess/-ethik auf der anderen Seite. Der Kurs wird von zwei verschiedenen Lehrenden betreut. Am Pilotprojekt selbst nimmt nur eine Lehrperson mit dem Teil Forschungsprozess/-ethik teil, sodass nur auf diesen Teil im Folgenden Bezug genommen wird. Die Lehrperson unterrichtet das Teilmodul zum ersten Mal. 

Umsetzung

Es handelt sich insgesamt um 3 Blocktermine, welche in Präsenz stattfanden. Eine Betreuung der Studierenden findet parallel über die Lernplattform Moodle und per E-Mail statt.

Im Rahmen des Teilmoduls müssen insgesamt vier schriftliche Leistungen in Form von Essays zu ausgewählten Themen erbracht werden, welche jeweils in einer Studierendengruppe erstellt werden. Davon ist eine der Aufgaben verpflichtend ins Portfolio aufzunehmen, während bei den anderen 3 Aufgaben am Ende eine ausgewählt und ins Portfolio aufgenommen wird. Die frei wählbare Aufgabe wird durch eine Reflexion ergänzt, in welcher reflektiert wird, inwiefern die Aufgabe für die zukünftige Arbeitspraxis relevant ist. Die Reflexion hat eine Gewichtung von 20%, die beiden Essays von jeweils 40% der Bewertung vom Teilmodul. Das Portfolio wird als ein pdf Dokument auf der Lernplattform abgegeben. Die drei wählbaren Aufgaben müssen bis zu bestimmten Deadlines bearbeitet werden. Anschließend wird formatives Feedback der Lehrperson, bzw. Peer Feedback der Studierenden gegeben. Vor der Endabgabe des Portfolios kann die frei gewählte Aufgabe noch einmal individuell überarbeitet werden.

Ziele

Die Motivation der Lehrperson eine Portfolio-Prüfung einzusetzen war in erster Linie das eigene didaktische Wissen zu erweitern und eine neue Prüfungsform auszuprobieren. Als Ergebnis der Beratung zur Gestaltung der Portfolio-Prüfung wurde insbesondere die Möglichkeit der besseren Kompetenzorientierung als Ziel hervorgehoben. So wird die Portfolio-Prüfung (PoP) von der Lehrperson als gutes Mittel betrachtet, um einerseits die Breite der zu erwerbenden Kompetenzen abzudecken, als auch diese in der ausreichenden Tiefe abprüfen zu können und so eine Anwendungs- und Handlungsorientierung zu gewährleisten. Zudem beinhaltet eine weitere Zielsetzung, dass die Studierenden ihre Fähigkeiten durch die Möglichkeit des formativen Feedbacks sukzessive ausbauen können. 

Erfahrungen, Evaluation und Verbesserungspotential

Die Ziele in Bezug auf Kompetenzorientierung wurden aus Sicht der Lehrenden erfüllt.

Die Bedeutung des Feedbacks hat sich auch am Ende noch einmal bestätigt. Die Lehrperson bekräftigt, dass die Leistungen, bei denen es Feedback gab, wesentlich besser waren, als die verpflichtende Leistung zum Thema Forschungsethik, auf die vor Abgabe kein formatives Feedback gegeben wurde. Dies soll für die Zukunft auch abgeändert werden. Als weiteres Verbesserungspotential sollen in Zukunft auch andere Prüfungsformate eingebunden werden, welche sich noch besser zur Überprüfung der Kompetenzen eignen, zum Beispiel Gruppendiskussion oder Argumentationsaustausch für den Bereich Ethik, und sich noch stärker am Modulhandbuch orientieren.

Bezüglich des Peer Feedbacks zeigte sich während des Semesters, dass die Studierenden einen stärkeren Rahmen brauchten. Daher wurde noch nachträglich ein Fragenkatalog formuliert.

Positiv war auch, dass die Studierenden durch die Abgaben immer vorbereitet waren, sich aber trotzdem dann die Aufgabe aussuchen konnten, mit der sie sich am wohlsten fühlten.

Die LV soll in Zukunft weiterhin mit einer Portfolio-Prüfung umgesetzt werden. Besonders überzeugend fand die Lehrperson die Flexibilität der Prüfungsform, die Vielfältigkeit der verschiedenen Teilleistungen und die Möglichkeit des formativen Feedbacks.

Lehrperson E hat ihren Studierenden bei einer Prüfung „eine Auswahl von Fallbeispielen“ gegeben:

Hinsichtlich der Umfrage bei den Studierenden wurden eher geringe positive Effekte durch die PoP auf das studentische Lernverhalten konstatiert. Die Antworten entsprechen im Schnitt der Antwort-Option Teils/Teils. Die Interpretation ist allerdings nicht aussagekräftig, da es sich bei dieser Lehrveranstaltung, wie oben beschrieben, nur um ein Teilmodul handelte und bei der Umfrage nicht spezifiziert wurde, dass sich die Bewertung nur auf das Teilmodul und nicht auf die komplette LV beziehen soll. Im Interview stellte sich heraus, dass das Teilmodul gut war.

Laut einer Person aus der anonymen Umfrage hätte der Teil der übergreifenden Reflexion aber mehr geübt und besser angeleitet werden sollen. Sie schreibt:

Ausgangssituation

Der Kurs findet in Präsenzform statt und bereitet die Studierenden auf zukünftige Arbeitsfelder vor, die sowohl soziale Kompetenzen als auch die Fähigkeit erfordern, naturwissenschaftliche Fragestellungen zu analysieren und in interdisziplinären Settings umzusetzen.

Während die verschiedenen Lernaktivitäten bereits in früheren Semestern sehr ähnlich zum Ablauf im Pilotprojekt durchgeführt wurden, handelte es sich bei der Prüfungsleistung zuvor um eine Studienarbeit, wobei bedeutende Leistungen, die während des Semesters erbracht wurden, nicht Teil der Prüfungsleistung waren. Dies führte dazu, dass nicht alle Kompetenzen wie gewünscht erworben wurden.

Umsetzung

Die bereits theoretisch erlernten Grundlagen wissenschaftlichen Arbeitens werden von den Studierenden in Kleingruppen (2-3 Studierende) anhand von konkreten gesundheitswissenschaftlichen Fragestellungen in einem wissenschaftlichen Projekt (Fallstudie) umgesetzt. Die Bearbeitung der Fallstudie mündet in vier Prüfungsteilleistungen, die aufeinander aufbauend erbracht werden: Studienskizze (5%), Bibliographie (5%), das Anfertigen einer Studienarbeit (30%) sowie Präsentation, Verteidigung und Diskussion (semi-)wissenschaftlicher Ergebnisse vor einem Fachpublikum (10%). Die Studierenden erarbeiten sich dabei die Fähigkeit, Aufgaben in einem kleinen Team zu strukturieren, innerhalb und außerhalb des Projektteams zu kommunizieren und wissenschaftliche Fragestellungen unter fachlicher Anleitung zu bearbeiten. Ferner demonstrieren sie die Fähigkeit, einen kurzen wissenschaftlichen Schaffungsprozess in Kleingruppen zu verwirklichen. Die in den Modulablauf integrierten Feedback-Phasen während des Semesters bieten sowohl die Gelegenheit zu Selbst- und Fremdreflexion von und durch Peers als auch formatives Feedback seitens des Dozierenden. In der Peer Feedback-Beurteilung der Fallstudien ihrer Kommiliton:innen erlangen die Studierenden sowohl Kompetenzen der konstruktiven Kritikfähigkeit als auch der kritischen Selbstreflexion nach externem Feedback.

Als weitere Lernaktivitäten werden ein Workshop und eine Exkursion in enger Betreuung durch die dozierende Person von den Studierenden vorbereitet, durchgeführt und ausgewertet, um den Transfer des angeeigneten Wissens auf konkrete gesundheitswissenschaftliche Fragestellungen sicher zu stellen. Die Studierenden erarbeiten dazu als weitere Prüfungsteilleistung eine Kurzpräsentation zu einem ausgewählten Thema (10%).

Die im Seminar vermittelten vertieften spezifischen Fachkenntnisse werden von den Studierenden im Rahmen eines schriftlichen, digitalen Kurztests (40%) bestätigt.

Um eine transparente Gesamtbewertung und nachvollziehbare Gleichbehandlung der Studierenden sicher zu stellen, werden die zu erbringenden Prüfungsteilleistungen vorgeschrieben. Innerhalb dieser Leitplanken werden die Themen und Gruppeneinteilungen teils randomisiert vorgenommen (Kurzpräsentationen), teils von den Studierenden selbst gewählt (Fallstudien, Verteidigungen).

Ziele

Das Hauptziel der Lehrperson für den Einsatz der Portfolio-Prüfung ist die Förderung eines umfassenden Kompetenzerwerbs. Durch die verschiedenen Teilleistungen erhofft sich die Lehrperson den Wegfall des "Bulimie-Lernens". Ein weiteres Ziel ist die sukzessive Weiterentwicklung von Kompetenzen durch formatives Feedback. 

Erfahrungen, Evaluation und Verbesserungspotential

Die Lehrperson hebt den Vorteil der Portfolio-Prüfung hervor, dass alle Lernaktivitäten im Sinne des Constructive Alignment als Prüfungsleistung zur Bewertung herangezogen werden können, und diese im Sinne der Kompetenzorientierung handlungs- und anwendungsbezogen gestaltet und auf die Vielzahl der Kompetenzziele abgestimmt werden kann.

Im Nachhinein überzeugt die Lehrperson vor allem auch die Möglichkeit durch die Vielzahl der Leistungen das Risiko für die Studierenden, insbesondere in Bezug auf mangelnde Beteiligung von Komiliton:innen innerhalb von Gruppenarbeiten, zu minimieren. Die Lehrperson hebt zudem die Möglichkeit der intensiven Betreuung positiv hervor und beschreibt:

Dazu hebt die studierende Person B die Vorteile von mehreren Leistungsüberprüfungen hervor. Verschiedene Leistungsüberprüfungen gleichen die unterschiedlichen Schwächen und Stärken sowie Nervosität am Tag der Prüfung aus.

Diesbezüglich wünscht sich studierende Person B eine tiefergehende Einführung darüber, wie empirische Studien erhoben werden:

Durch den fehlenden Input hat sich die studierende Person B „nicht so richtig vorbereitet“ gefühlt. Daraufhin schlägt sie (studierende Person B) vor, dass Zwischenschritte vorgegeben werden, wie beispielsweise die Literaturrecherche. Noch dazu wünscht sich Studierende Person B mehr Zeit, um die Studienarbeit zu schreiben. Für sie wurde es aufgrund der Deadline „sehr stressig“. Einen weiteren Punkt, den die studierende Person B aufgreift ist, dass die „praktischen Teile teilweise ein bisschen vom Modul abgewichen sind“. Dahingehend wünscht sie sich modulbezogene Inhalte. 

Die studierende Person B hat die Verbesserungsvorschläge, dass die Prüfungen an die Anforderungen des Moduls angepasst werden, dass sich die Lehrperson nach dem Zwischenstand der Teilnehmenden erkundigt (Ziel intensive Betreuung) und dass der Zeitplan nicht zu eng bemessen wird.

Ausgangssituation

Die drei Veranstaltungen wurden von derselben Modulverantwortlichen plus jeweils einer zusätzlichen wissenschaftlichen Mitarbeiterin gelehrt und werden deshalb zusammen beleuchtet.

Ziele

Die Ziele, die mit der PoP verfolgt wurden, sind in den Veranstaltungen weitestgehend gleich. Die Sichtweisen der Lehrenden werden deshalb zusammenfassend dargestellt.

Für alle LVs lag das Hauptziel der Nutzung der PoP in der Möglichkeit durch die Teilleistung der regelmäßigen Reflexionsaufträge (Journaleinträge) eine ansonsten schwer zu erwerbende und abzuprüfende Kompetenz, nämlich die Selbstreflexionsfähigkeit, zu trainieren und abzuprüfen. Gleichzeitig wurde erwartet, dass die regelmäßige Reflexion zu einem höheren Kompetenzerwerb anderer in der Veranstaltung zu erwerbender Kompetenzen führt.

Die PoP ging auch mit dem Ziel der Umsetzung eines intensiven Betreuungskonzepts einher. So wurde z.B. angegeben, dass durch regelmäßige Abgaben der Lernstand der Studierenden besser nachvollzogen und bei Bedarf rechtzeitig Anpassungen des Lehrkonzepts vorgenommen werden könnten. Im Fall der LV Projektmanagement sollten die geplanten regelmäßigen Sichtungen auch dazu dienen bei einer zu leistenden Präsentation auf Stärken und Schwächen der Studierenden eingehen zu können.

Weitere Ziele waren die Entzerrung des Workloads für die Studierenden; die Risikominimierung durch die Erbringung mehrerer Leistungen über das Semester hinweg und damit einer höheren Reliabilität der Leistungsbewertung; und ein besseres Eingehen auf die Heterogenität der Studierendenschaft durch die Verwendung unterschiedlicher Teilleistungen, wodurch Schwächen und Stärken der Studierenden in Bezug auf verschiedene Leistungsarten besser ausgeglichen werden.

Umsetzung

Der Bachelor-Kurs Interkulturalität (4 ECTS) findet rein in Präsenz statt, während der Master-Kurs Interkulturalität (6 ECTS) in einem Blended-Learning-Format aufgebaut ist. Die wöchentlichen Lehreinheiten finden virtuell statt und an fünf Samstagen findet Blockunterricht am Campus statt. 

In beiden Kursen werden Gruppenarbeiten durchgeführt, um zielführende Fragen und Case Studies zu bearbeiten. Hier soll erlernt werden, wie Theorien zur Anwendung gebracht werden können und wie unterschiedliche Interpretationen entstehen können.

Um den Kurs erfolgreich abzuschließen, müssen die Bachelorstudierenden ab der dritten Sitzung wöchentlich eine Frage beantworten, die jeweils am Ende der Vorlesung gestellt wird. Es handelt sich um eine Reflexionsfrage, die auf den Inhalten der jeweiligen Vorlesung basiert und in Form einer strukturierten Darstellung der eigenen Meinung beantwortet werden soll. Eine Reflexionsfrage lautet zum Beispiel: „How can you build bridges to other cultures that you do not agree with, or that have other beliefs?” Vor der nächsten Vorlesung muss der einseitige Journalbeitrag in die Portfolio-Software Mahara hochgeladen werden. Eine spätere Änderung der Einträge ist nicht mehr möglich. Für jeden Journal-Eintrag können maximal 5 Punkte erlangt werden. Ein Punkt wird für die fristgerechte Abgabe vergeben, bis zu zwei Punkte werden vergeben für den Bezug zu den inhaltlichen Theorien der jeweiligen LV und bis zu zwei Punkte für die Reflexionstiefe.

Zusätzlich zum Journaleintrag fertigen die Studierenden eine Studienarbeit mit ca. 3000 Wörtern an. Für die Endnote sind die Journaleinträge mit 60% und der Report mit 40% gewichtet.

Die Masterstudierenden haben eine dreigeteilte Portfolio-Prüfung abzulegen. 40% der Note werden durch Journaleinträge erlangt. Das Prinzip folgt dem zuvor beschriebenen Prozess im Bachelorseminar. Weitere 40% der Gesamtnote werden durch eine einstündige schriftliche Prüfung erlangt. Da das Fach auch Bezug auf die Kommunikationsstrategien nimmt, werden die fehlenden 20% durch eine mündliche Präsentation abgedeckt. Dafür muss wissenschaftliche Recherchearbeit erkennbar sein und eine Präsentation im Umfang von ca. 15-20 Minuten erstellt werden. 

Die Veranstaltung Projektmanagement findet wöchentlich in Präsenz im Rahmen eines Bachelor-Studiengangs statt. Die persönliche Interaktion und Kommunikation der Studierenden werden bei dieser LV als essenziell betrachtet. In den Vorlesungen werden den Studierenden zunächst Theorien und Tools des Projektmanagements nähergebracht, welche dann direkt umgesetzt werden sollen. Dazu werden zu Beginn des Semesters Projektgruppen gebildet und entsprechend Projektthemen zugeordnet, in welchen die erlernte Theorie praktisch umgesetzt wird. Jedes Gruppenmitglied nimmt eine bestimmte Rolle im Team ein (z.B. Projektmanager:in). Die Studierenden lernen mithilfe von verschiedenen Tools ein Projekt zu definieren und durchzuführen. Elementar für diese Arbeit sind auch die Kommunikation untereinander, sich gegenseitig zu motivieren und Feedback zu geben. Für die Bereitstellung von Kursmaterial und weiterführender Literatur sowie die Kommunikation zwischen den Lehrenden und Studierenden wird das Lernmanagementsystem Moodle verwendet. Darüber hinaus wurde das für die Portfolio-Prüfung verwendete Tool Mahara in den Kurs auf Moodle eingebettet. Die Studierenden müssen ab der dritten LV wöchentlich folgende drei Fragen im Lernjournal beantworten:

1. What did you (personally) do in your group this week?
2. What did you as a group accomplish this week, and how did you integrate the theory from the class this week?
3. How was the work with the other members of the group? 

Diese Fragen dienen der Überprüfung der erlernten Theorie und wie diese im jeweiligen Projekt umgesetzt wird sowie der persönlichen Reflexion der Studierenden bezüglich der eigenen Arbeit und der Zusammenarbeit in der Gruppe. Für die Journalbeiträge ist keine Recherchearbeit notwendig. Der bis zu einseitige Journalbeitrag muss jeweils vor der nächsten Vorlesung in das E-Portfolio auf Mahara hochgeladen werden. Wie bereits erwähnt, ist es nicht möglich, den Beitrag anschließend zu ändern.

Die Endnote der LV besteht zu 60% aus den Journalbeiträgen und zu 40% aus einer Präsentation inklusive Handout. Die Studierenden präsentieren ihre Rolle im jeweiligen Projekt. Das Handout wird eine visuelle Zusammenfassung der geleisteten Arbeit im Projekt.

Erfahrungen, Evaluation und Verbesserungspotential 

Die Lehrperson sagt, dass es eine sehr gute Entwicklung bei der Reflexion gab, die beobachtet werden konnte. Studierende fanden allerdings nicht, dass sie reflektierter wurden (zumindest nicht in Bezug auf Lernprozess). Dies geht einher mit der Wahrnehmung der Studierenden, dass sie ihre Kompetenzen mit der PoP nicht besser zeigen könnten als mit einer Klausur. Den Studierenden waren die Lernziele auch nicht klar.

Gleichzeitig wurde beobachtet, dass die Studierenden, die kontinuierlich die Reflexionsaufgaben bearbeiteten in den anderen Prüfungsteilleistungen besser abgeschnitten haben. Obwohl sich daraus keine Kausalität schließen lässt, deckt sich dies mit der Erwartung, dass durch die regelmäßige Reflexion auch die anderen Kompetenzen, die mit anderen Teilleistungen abgeprüft wurden, besser erworben werden konnten.

In beiden Fächern konnte die Betreuung und das Feedback während des Semesters aufgrund der Zeitknappheit nicht so umgesetzt werden wie geplant. Aber auch technische Probleme der Portfolio-Software Mahara spielten eine Rolle, die es schwer machten auf die Abgaben zuzugreifen und diese einzusehen.

Dies hat aufgrund von geringen Zeitressourcen nicht umgesetzt werden können.

Dies wurde auch von einer studierenden Person aus der Umfrage kritisiert:

Insgesamt war auch die Benotung der Lernjournale für die Studierenden aus der Umfrage nicht transparent:

Aufgrund der technischen Probleme mit der Portfolio-Software, aber auch der Unsicherheit, die bezüglich der Prüfungsform bestand, war die Akzeptanz der Studierenden gering. Die Lehrperson der drei Fächer erklärt im Abschlussinterview, dass die Akzeptanz im Masterkurs Interkulturelle Kompetenz besser war als im Bachelorkurs, da es sich beim Bachelorkurs um Ingenieure handelte, die generell Probleme beim Reflektieren hätten.

In der LV Projektmanagement war die Akzeptanz am geringsten. Laut der Lehrenden wurde dort am wenigsten verstanden, warum die Reflexion in dem Fach wichtig ist. Dies deckt sich auch mit der Bewertung der Studierenden. Im Kurs Projektmanagement waren den Studierenden die Lernziele am wenigsten klar und sie waren am unzufriedensten mit der PoP (wobei N=3 nur eine Tendenz aufzeigt).

Das Ziel des Eingehens auf Stärken und Schwächen der Studierenden hat laut den Lehrenden funktioniert, jedoch anders als erwartet. Es wurde beobachtet, dass insbesondere international Studierende, die eher in wissens-, statt in kompetenzorientierten Lernkulturen ausgebildet wurden und erfahrungsgemäß in den eher anwendungsorientierten Prüfungen der LV bisher weniger gut abschnitten, in diesem Semester – sofern das Journal regelmäßig geführt wurde – bei den anderen Prüfungsteilleistungen sehr viel besser abschnitten als erwartet. 

Eine Erwartung war zudem, dass die Studierenden aufgrund der regelmäßigen verpflichtenden Abgabetermine kontinuierlicher mitlernen würden, was sich durch die jeweilige Auseinandersetzung mit dem Thema positiv auf das Unterrichtsgespräch und die eigene Lehre auswirken würde.

Auch dies hat sich bestätigt. Die Studierenden gaben in der Umfrage an, dass sie kontinuierlicher mitlernten. Gleichzeitig bestätigte die Modulverantwortliche, dass die Studierenden in der LV besser mit dabei waren und sich dies auch positiv auf die eigene Motivation ausgewirkt hat. Trotzdem war es erstaunlich, dass Studierende das Angebot, einen Teil der Leistung schon während des Semesters zu erbringen (Journals), nicht stärker angenommen haben. Ein großer Teil der Studierenden hat die Reflexionsleistungen nicht regelmäßig erbracht. Die Workload-Verteilung wurde von den Studierenden eher als schlechter im Vergleich zu einer Klausur beurteilt.

Als Verbesserungspotential sehen die Lehrenden eine bessere Kommunikation, eine geringere Anzahl an Abgaben (nicht wöchentlich), damit auch inhaltliche Sichtung zwischendurch gewährleistet werden kann, und eventuell eine andere Benotung in Bezug auf die Entwicklung der Kompetenzen.

Für das Choice Example siehe Seite 2-3 Interviewleitfaden Studierende sowie hier.

• Zahl der Teilleistungen
  • Portfolio-Prüfung A: Zwei Teilleistungen
  • Portfolio-Prüfung B: Vier Teilleistungen
• Deadlines
  • Portfolio-Prüfung A: Verpflichtende, feste Abgabe- oder Prüfungstermine für Teilleistungen während des Semesters
  • Portfolio-Prüfung B: Keine Deadlines
• Feedback
  • Portfolio-Prüfung A: Feedback auf Arbeitsleistung während des Semesters mit Möglichkeit der Überarbeitung vor Endabgabe.
  • Portfolio-Prüfung B: Kein Feedback Schriftliche
• Abschlussklausur
  • Portfolio-Prüfung A: Schriftliche Klausur am Ende des Semesters
  • Portfolio-Prüfung B: Keine schriftliche Klausur Anwesenheit zu bestimmten
• Terminen
  • Portfolio-Prüfung A: Anwesenheit in Präsenz zu bestimmten Terminen erforderlich
  • Portfolio-Prüfung B: Anwesenheit nicht zwingend erforderlich

Die studierende Person A entscheidet sich intuitiv für Portfolio-Prüfung A. Nach genauem Abwägen beider Portfolio-Prüfungen, wählt sie letztendlich Portfolio-Prüfung B. Der Grund für ihre Entscheidung liegt vor allem darin, dass bei dieser Portfolio-Prüfung keine Abschlussklausur gefordert wird. Hinsichtlich der Deadlines für Teilleistungen sieht die studierende Person A sowohl Vor- als auch Nachteile. Einen Vorteil von Deadlines begründet sie darin, dass eine Teilleistung abgegeben und sich danach auf die nächste Teilleistung konzentriert werden kann. Gleichzeitig sieht die studierende Person A es aber kritisch, ob die Deadline eingehalten werden kann, wenn weitere Abgaben oder Prüfungen bevorstehen. Da wäre es nach ihrer Meinung möglich, dass zu der Deadline „durchaus mehr Zeit benötigt“ wird (studierende Person A). Sie bemerkt zu ihrer Portfolio-Auswahl, dass sie sich zusätzlich Feedback wünschen würde. Auch die studierende Person C wählt Portfolio-Prüfung B als Favorit aus, da sie eine schriftliche Klausur am Semesterende ablehnt. Jedoch hebt sie bei der Portfolio-Prüfung A das Feedback und Deadlines positiv hervor. Die studierende Person C schätzt das Feedback durch die Lehrperson, da sie andernfalls „blind all the time“ wäre. Sie findet Deadlines gut, da ansonsten die Arbeit bis zur letzten Minute aufgeschoben wird: Hinsichtlich der Anwesenheit in Präsenz bemerkt die studierende Person C allerdings kritisch, dass nicht alle Studierenden die Möglichkeit haben nach Deggendorf oder in die Nähe zu ziehen. Für diese Studierendengruppe wäre die vorausgesetzte Anwesenheit in Präsenz schwierig. Die Abschlussklausur überwiegt jedoch die anderen Attribute, weswegen die studierende Person C Portfolio-Prüfung B wählt. Lediglich die studierende Person B entscheidet sich für die Portfolio-Prüfung A. Sie findet feste Abgabetermine gut, „weil man halt immer […] auch so ein bisschen Zeitdruck hat, dass man was erledigt“ (studierende Person B). Sie ergänzt dazu, dass Deadlines bestenfalls so gesetzt werden sollten, dass sie mit den Deadlines anderer Fächer und Modulen vereinbar sind. Die studierende Person B würde eine Absprache unter den Lehrpersonen bezüglich der Deadlines, insofern das möglich ist, befürworten. Für sie ist das Feedback der Lehrperson bedeutsam, um zu erfahren, „ob man jetzt noch in der Zeit liegt oder ob man in die richtige Richtung arbeitet oder halt am Thema vorbei“ (studierende Person B). Durch das Feedback wird sie am Ende des Semesters vor Stress, falls die Arbeit kurzfristig neustrukturiert werden muss, bewahrt. Für die studierende Person B ist die Abschlussklausur am Ende des Semesters akzeptabel, wenn sie mit den Teilleistungen der Portfolio-Prüfung abgestimmt ist und nicht ein komplett anderes Thema behandelt. Bezüglich der Anwesenheit zu bestimmten Terminen schlägt sie eine hybride Veranstaltung vor. Grundsätzlich stimmt studierende Person B dem zu, dass die Studierenden zu bestimmten Terminen anwesend sein sollten. 

Für das Choice Example siehe hier.

• Zahl der Teilleistungen
  • Portfolio-Prüfung A: Drei Teilleistungen
  • Portfolio-Prüfung B: Drei Teilleistungen
    
• Deadlines
  • Portfolio-Prüfung A: Keine Deadlines
  • Portfolio-Prüfung B: Verpflichtende, feste Abgabe- oder Prüfungstermine für Teilleistungen während des Semesters
• Feedback
  • Portfolio-Prüfung A: Feedback auf Arbeitsleistung während des Semesters mit Möglichkeit der Überarbeitung vor Endabgabe.
  • Portfolio-Prüfung B: Kein Feedback Schriftliche
• Abschlussklausur
  • Portfolio-Prüfung A: Keine schriftliche Klausur
  • Portfolio-Prüfung B: Keine schriftliche Klausur
• Anwesenheit zu bestimmten Terminen
  • Portfolio-Prüfung A: Anwesenheit in Präsenz zu bestimmten Terminen erforderlich
  • Portfolio-Prüfung B: Anwesenheit nicht zwingend erforderlich 

Alle drei befragten Studierenden entscheiden sich im zweiten Beispiel für die Portfolio-Prüfung A. Die studierende Person A begründet ihre Entscheidung damit, dass sie Feedback erhält. Dies favorisiert sie, damit „man dann weiß, okay, man ist irgendwie am richtigen Weg oder am falschen, also man gewinnt eine gewisse Sicherheit“ (studierende Person A). Hinzu kommen die Präsenzsitzungen, wo Feedback und (Rück-)Fragen „einfach besser, unkomplizierter und schneller“ ausgedrückt und geklärt werden können. Asynchrone Kommunikationswege, wie via E-Mail, findet sie eher schwierig. Sie ergänzt jedoch, dass sie Abgaben während des Semesters gut finden würde (studierende Person A). Auch die studierende Person C entscheidet sich für Portfolio-Prüfung A, weil sie Feedback von der Lehrperson erhält und ihre Arbeit überabreiten kann. Durch das Feedback erfährt sie, wo ihre Fehler liegen und kann daraus lernen. Auch hier bemerkt die studierende Person C wieder, dass nicht alle Studierenden die Möglichkeit haben in Präsenz teilzunehmen. Die studierende Person B fügt zur ihrer Portfolio-Auswahl hinzu, dass sie sich zu der ausgewählten Prüfung zusätzlich noch Deadlines wünscht.

Abbildung 1 zeigt die Beurteilung von Constructive Alignment und Kompetenzorientierung in den Pilotveranstaltungen durch die Studierenden pro Lehrveranstaltung. 

Die Länge der farbigen Balken spiegelt die relative Häufigkeit der Nennung der Antwortkategorie innerhalb einer Lehrveranstaltung wider. Die absoluten Nennungen pro Antwortkategorie befinden sich auf den farbigen Balken.

_{Abbildung 1}

Hinweis: Die Variablen wurden mit folgenden Items gemessen:

• CA Lernziele klar: Die Lernziele meiner Lehrveranstaltung, also welche Fähigkeiten erworben werden sollen, waren mir klar.
• CA Prüfung angepasst: Die Prüfung war so gestaltet, dass die Lernziele der Lehrveranstaltung adäquat abgeprüft wurden.
• CA Lernaktivitäten angepasst: Es wurden genügend Lernaktivitäten angeboten um die Lernziele zu erreichen.
• Kompetenzen zeigen: In einer Portfolio-Prüfung kann ich im Allgemeinen meine erworbenen Fähigkeiten besser zeigen als mit einer alleinigen schriftlichen Abschlussklausur.

Die Länge der farbigen Balken spiegelt die relative Häufigkeit der Nennung der Antwortkategorie innerhalb einer Lehrveranstaltung wider. Die absoluten Nennungen pro Antwortkategorie befinden sich auf den farbigen Balken.

_{Abbildung 2}

Hinweis: Die Variablen wurden mit folgenden Items gemessen: 

• Kontinuierlicher: Durch die Portfolio-Prüfung war ich dazu animiert kontinuierlicher mitzuarbeiten. 
• Mehr Lernerfolg: Durch die kontinuierliche Erbringung von Teilleistungen hatte ich einen größeren Lernzuwachs.
• Reflektierter: Durch die Portfolio-Prüfung konnte ich meinen Lernprozess besser reflektieren. 
• Strukturierter: Die Portfolio-Prüfung hat mir geholfen strukturierter zu arbeiten.

Die Studierenden wurden gebeten, die Angaben im Vergleich zu einer alleinigen schriftlichen Abschlussklausur zu tätigen.

Die Studierenden wurden gebeten verschiedene Elemente einer Portfolio-Prüfung auf einer 7-stufigen Skala von äußerst negativ (-3) bis äußerst positiv (+3) zu beurteilen. (Äußerst negativ -3, überwiegend negative -2, eher negativ -1, neutral 0, eher positiv 1, überwiegend positiv 2, äußerst positiv 3). Eine Übersicht über die relativen Häufigkeiten der verschiedenen Bewertungskategorien, sowie die Durchschnittswerte und tabellarische Übersicht über die Verteilung finden sich in Abbildung 3, bzw. Tabelle 1.

_{Abbildung 3: Bewertung einzelner Portfolio-Elemente}

_{Tabelle 1: Übersicht über die Bewertung einzelner Portfolio-Elemente}

_{Abbildung 4}

In einer logistischen Regression wurde analysiert, welche Gestaltungspräferenzen mit dem zukünftigen Wunsch nach mehr Portfolio-Prüfungen einhergehen. Tabelle 2 zeigt die Ergebnisse der Regression:

_{Tabelle 2}

Folgende Präferenzen weisen einen statistisch signifikanten (p<0,1) positiven Zusammenhang mit dem Wunsch nach mehr Portfolio-Prüfungen auf: 

** generelle Präferenz für mehrere Teilleistungen (p=0,032) 

** Präferenz für formatives Feedback (p=0,029) 

** Präferenz für die Bewertung von Selbstreflexion (p=0,082) 

Aufgrund der geringen Stichprobenzahl und damit statistischen Power kann allerdings nicht zwangsläufig geschlossen werden, dass kein Zusammenhang zwischen dem Wunsch nach Portfolio-Prüfungen und den anderen Gestaltungspräferenzen besteht. Trotzdem kann abgeleitet werden, dass die genannten Elemente für Studierende besonders relevant sind.

Um zu analysieren ob verschiedene Gruppen mit unterschiedlichen Präferenzen bezüglich der Gestaltung von Portfolio-Prüfungen identifiziert werden können, wurde eine Hierarchische Clusteranalyse nach der Ward-Methode mit dem Distanzmaß Euklidische Distanz durchgeführt. Sowohl das Dendrogramm für die Cluster-Analyse (siehe Abbildung 2) als auch die Calinski-Regel lassen auf zwei verschiedene Cluster schließen.

_{Abbildung 5: Dendrogramm für Clusteranalyse}

^{Anmerkung. Ergebnis einer hierarchischen Clusteranalyse nach der Ward-Methode mit dem Distanzmaß Euklidische Distanz.}

Abbildung 5 zeigt die durchschnittlichen Bewertungen der einzelnen Portfolio-Elemente zwischen den beiden Clustern.

Eine Gruppe (Cluster 1, N=36) bewertet die meisten Gestaltungselemente von Portfolio-Prüfungen positiv, ist aber negativ gegenüber schriftlichen Abschlussklausuren als Teil der Portfolio-Prüfung eingestellt. Eine Gruppe (Cluster 2, N=25) bewertet die Portfolio-Elemente negativ oder neutral, wobei besonders eine gleichmäßige Verteilung des Workloads negativ ins Gewicht fällt. Einigkeit besteht bei der negativen Bewertung einer schriftlichen Abschlussklausur innerhalb einer Portfolio-Prüfung. 

_{Abbildung 6 Durchschnittliche Bewertung einzelner Portfolio-Eigenschaften pro Cluster}

^{Anmerkung. Abgebildet ist die durchschnittliche Bewertung verschiedener Portfolio-Eigenschaften pro Cluster.}