Evaluation in Studium und Lehre bezieht sich auf systematische Verfahren zur Beurteilung und Verbesserung der Qualität von Lehrveranstaltungen, Studiengängen und Studienbedingungen. Sie dient dazu, Stärken und Schwächen zu identifizieren, Entscheidungen zu treffen und letztendlich die Qualität von Studium und Lehre zu sichern und weiterzuentwickeln.
Grundlage für die verschiedenen Verfahren der Evaluation bildet die vom Senat beschlossene Ordnung zur Evaluation von Studium und Lehre i.d.F. der Änderungssatzung vom 27. Juli 2023.
Für die erste Phase der Studiengangsevaluation und Lehramtsevaluation (fakultätsinterne Evaluation) stehen Methoden und Instrumente zur Datensammlung zur Verfügung. Das QM-Team unterstützt hierbei alle Fakultäten der Universität Regensburg bei der Organisation, Durchführung und Auswertung von schriftlichen und mündlichen Befragungen, die der Weiterentwicklung der Qualität von Studium und Lehre dienen. Um wertvolle Informationen für den Selbstbericht zu gewinnen, gibt es einen Pool an Items, die in einer Fragebogenerhebung oder in Form eines Interviews zum Einsatz kommen können. Die Fragebögen wurden mit Vertretern und Vertreterinnen der Studierenden erstellt und mit dem studentischen Konvent, den Studiendekanen bzw. Studiendekaninnen und den Studiengangskoordinationen abgestimmt. Neben diesen Informationen liegen als weitere Informationsgrundlage statistische Daten (z.B. Zahl der Studierenden, Zahl der Absolventen bzw. Absolventinnen, Studienerfolgsquoten, etc.) für den Studiengang vor.
Wer wird befragt?
Bei allen Befragungen handelt es sich um eine Vollerhebung der jeweiligen Zielgruppe (Studierende, Lehrende oder Absolventen bzw. Absolventinnen), die papierbasiert oder online durchgeführt werden kann. Bei einer großen Kohorte bietet sich aus ökonomischen Gründen eine Onlineerhebung an. In kleinen Studiengängen ist es möglich, Gruppeninterviews durchzuführen.
Was ist Gegenstand der Befragung?
Die Items der Befragungen orientieren sich an den Qualitätskriterien aus dem Evaluationsleitfaden. Es werden sieben Qualitätsbereiche untersucht, die in 27 Teilbereichen untergliedert sind. Die fakultätsinterne Arbeitsgruppe (AG Evaluation) erhält durch die Analyse der Befragungsergebnisse von Studierenden, Absolventen bzw. Absolventinnen und Lehrenden Daten, die ein möglichst umfassendes Bild von der Qualität des Studiengangs liefern sollen.
Was passiert mit den Ergebnissen?
Die Ergebnisse werden vom QM-Team in aggregierter und anonymisierter Form der Arbeitsgruppe (AG Evaluation) zur Verfügung gestellt. Dazu zählen u.a. die studiengangsbezogenen Befragungen der Studierenden, der Lehrenden sowie der Absolventen bzw. Absolventinnen, die für die Stärken-Schwächen-Analyse im Rahmen der fakultätsinternen Studiengangsevaluation benötigt werden.
Im Bereich von Studium und Lehre werden an der Universität Regensburg regelmäßig folgende Befragungen durchgeführt:
Erstsemesterbefragung
Die Erstsemesterbefragung wird in der Regel gegen Ende der Vorlesungszeit papierbasiert durchgeführt. Zu folgenden Themenfeldern werden die Studierenden aus dem ersten Semester des zu evaluierenden Studiengangs bzw. Fachs befragt:
- Fachbezogene Vorkenntnisse
- Informationsangebote des Studiengangs
- Gründe für die Studienwahl
- Bewerbungs- und Zulassungsverfahren
- Unterstützung und Beratung
- Erfahrungen nach den ersten Monaten im Studium
Studierendenbefragung
Zu folgenden Themenfeldern werden die Studierenden des zu evaluierenden Studiengangs bzw. Fachs befragt:
- Aufbau und Inhalt des Studiums
- Organisation der Lehrveranstaltungen und Prüfungen
- Arbeitsbelastung im Studium
- Informationskultur im Studium
- Förderliche bzw. einschränkende Studienbedingungen
- Berufspraktikum und Mobilitätsförderung im Studium
- Unterstützungs- und Betreuungsmöglichkeiten
Lehrendenbefragung
Zu folgenden Themenfeldern werden die Lehrenden, des zu evaluierenden Studiengangs bzw. Fachs, befragt, in dem sie hauptsächlich lehren:
- Struktur, Lehrangebot und Inhalte des Studiengangs
- Prüfungskonzept und –organisation
- Informationskultur im Studiengang
- Betreuung der Abschlussarbeit
- Studienbedingungen und studienorganisatorische Abläufe
- Arbeitsbedingungen in Bereich Forschung und Lehre
- Zufriedenheit mit der beruflichen Situation
- Hochschuldidaktische Weiterbildungsangebote
studentische Lehrveranstaltungsevaluation (Lehrevaluation)
Die Lehrevaluation wird dezentral an den Fakultäten durchgeführt. Die Auswahl der zu evaluierenden Lehrveranstaltungen und die Durchführung der Lehrevaluation liegen in der Verantwortung der Studiendekanin bzw. des Studiendekans. Die Fachschaft kann Vorschläge zur Auswahl der Veranstaltungen einreichen. Die Studiendekanin bzw. der Studiendekan leitet die Ergebnisse der Lehrevaluation an die jeweilige Dozentin bzw. den jeweiligen Dozenten weiter. Bei Bedarf hält die Studiendekanin bzw. der Studiendekan Rücksprache mit der Dozentin bzw. dem Dozenten. Die Studiendekanin bzw. der Studiendekan faßt die Ergebnisse der Befragungen in nicht-personenbezogener Form im Lehrbericht zusammen.
Dabei wird ihr im Rahmen der Qualitätssicherung keine Disziplinierungs- bzw. Beurteilungsfunktion zugeschrieben, vielmehr soll sie eine Steuerungs- bzw. Optimierungsfunktion übernehmen. Empirisch gut belegt ist, dass dies nur gelingen kann, wenn die Evaluation in ein Netz aus weiterführenden Maßnahmen integriert wird. Daher setzt die Universität nicht auf die Intervention bei kritisch bewerteten Lehrveranstaltungen, sondern auf eine proaktive und begleitende Qualitätsentwicklung aller Lehrveranstaltungen und damit der Schaffung einer universitätsweiten Qualitätskultur.
Workloaderhebung
Die Workloaderhebung dient der Überprüfung der Studierbarkeit der Bachelor- und Masterstudiengänge. Es soll festgestellt werden, ob der Arbeitsaufwand, den die Studierenden in einem Studiengang leisten müssen, angemessen ist. Dabei wird das Verhältnis zwischen dem tatsächlichen Workload und den vergebenen Leistungspunkten übergeprüft. Die bisher durchgeführten Workloaderhebungen wurden in der Regel im Rahmen der Lehrveranstaltungsevaluation, also am Ende der Vorlesungszeit durchgeführt. Die Fragen zum Workload wurden dabei entweder in den Fragebogen zur Lehrveranstaltungsevaluation integriert oder in einem eigenen kurzen Fragebogen zusammengefasst. Diese Form der Workloaderhebung ist nicht unproblematisch, da es für die Studierenden schwer ist, retrospektiv die tatsächliche Arbeitszeit während des Semesters einzuschätzen. Aus diesem Grund sollen zukünftig auch andere Methoden und Instrumente zur Verfügung gestellt werden. So können beispielsweise Studierende gebeten werden, Lerntagebücher zu führen. Eine weitere Möglichkeit ist der problemzentrierte Workshop mit einer bestimmten Gruppe von Studierenden am Ende des Semesters.
Abbrecherbefragung
Abbrecherbefragung
Die Universität Regensburg verfolgt das Ziel, die Gründe der Studierenden für das Verlassen der Universität vor Beendigung des Studiums zu ermitteln Zu folgenden Themenfeldern werden Abbrecher des zu evaluierenden Studiengangs bzw. Fachs befragt:
- Gründe für den Fachwechsel an der Universität Regensburg
- Ursprüngliche Gründe für die Fachwahl
Absolventen- bzw. Absolventenbefragung
Ehemalige Studierende, die ein Bachelor- oder Masterstudium im zu evaluierenden Studiengang absolviert haben, werden ebenso befragt. Die Absolventen bzw. Absolventinnen haben dadurch die Möglichkeit, sich rückblickend anhand der offenen und geschlossenen Fragen im Fragebogen über den abgeschlossenen Studiengang zu äußern. Zudem bieten die Ergebnisse wertvolle Informationen darüber, wie gut der Übergang vom Studium ins Berufsleben gelungen ist. Folgende Themenfelder werden im Fragebogen erfasst:
- Aufbau, Lehrangebot und Vertiefungsmöglichkeiten
- Prüfungskonzept und -organisation
- Erworbene Kompetenzen und Praxisbezug des Studiums
- Berufspraktikum und Mobilitätsförderung während des Studiums
- Unterstützung und Beratung während des Studiums
- Übergang ins Berufsleben
Musterfragebögen und Interviewleitfäden
Fragebogenerhebung
Für die im Rahmen der Studiengangsevaluation benötigten Befragungen stehen Musterfragebögen zur Verfügung, deren Fragen sich inhaltlich an den im Evaluationsleitfaden enthaltenen Prüfkriterien orientieren. In Rücksprache mit Fachvertretern werden die Instrumente vor Beginn der Befragung an die fachspezifischen Besonderheiten und individuellen Anliegen angepasst.
Alle Befragungen können papierbasiert, online oder als eine Kombination von Papier- und Onlineverfahren (Hybridumfrage) mit Hilfe des campusweiten Evaluationssystems EvaSys durchgeführt werden. Ob die Durchführung online oder als papierbasierte Variante sinnvoller ist, hängt stark von den Gegebenheiten, des zu evaluierenden Studiengangs ab (z.B. Anzahl der Studierenden, persönliche Erreichbarkeit etc.). Falls die Variante mit Papierfragebögen gewählt wird, werden diese in der Regel in Lehrveranstaltungen verteilt, da die Wahrscheinlichkeit steigt, einen Großteil der Studierenden zu erreichen. Die Rücklaufquote der Online-Befragung erreicht eine etwas geringere, aber zufriedenstellende Rücklaufquote. Die Online-Befragung ermöglicht es den Studierenden, sich mehr Zeit für das Ausfüllen des Fragebogens zu lassen, weswegen hier zu beobachten ist, dass auf die offenen Fragen ausführlichere Antworten als bei den papierbasierten Befragungen abgegeben werden.
Interviews
Anstelle oder zusätzlich zu der schriftlichen Befragung können im Zuge der fakultätsinternen Evaluation auch mündliche Befragungen (z. B. Gruppengespräche, Interviews etc.) durchgeführt werden. Das hierfür verwendete leitfadengestützte Interview kann in Zusammenarbeit mit dem Qualitätsmanagementteam den fakultätsspezifischen Besonderheiten und Bedürfnissen individuell angepasst werden. Die Auswertung des Interviews erfolgt durch das Analyseprogramm MAXQDA. Die Ergebnisse aus den Interviews werden in Form eines Ergebnisprotokolls an einen Vertreter bzw. einer Vertreterin der Interviewgruppe weitergeleitet. Die Gruppe hat die Möglichkeit hierzu Stellung zu nehmen. Anschließend wird das endgültige Ergebnisprotokoll der Arbeitsgruppe (AG Evaluation) übergeben. Alle Befragungen (quantitativ und qualitativ) werden anonym und unter Einhaltung der Datenschutzbestimmungen durchgeführt.
Folgende Musterfragebögen und Interviewleitfäden stehen Universitätsangehörigen als PDF-Download im Intranet zur Verfügung:
- Studiengangsevaluation
- Studierendenbefragung
- Erstsemesterbefragung
- Absolventen-Absolventinnenbefragung (Bachelor)
- Absolventen-Absolventinnenbefragung (Master)
- Lehrendenbefragung (offene Fragen)
- Lehrendenbefragung (offene und geschlossene Fragen)
- Interviewleitfaden Studierende
- Interviewleitfaden Lehrende
- Lehrveranstaltungsevaluation
- Lehrveranstaltungsevaluation Seminar
- Lehrveranstaltungsevaluation Vorlesung
- Worklaoadevaluation der Fakultät SLK
- Fragenpool QM
Evaluationsprogramme
Evaluationssoftware EvaSys
Für die Durchführung der verschiedenen Befragungen im Rahmen der Evaluationsordnung hat die Universität Regensburg eine Campuslizenz der Evaluationssoftware EvaSys erworben. Mit dieser Software können sowohl papiergestützte als auch Onlinebefragungen einfach und schnell durchgeführt werden. Das Programm liefert automatisch eine Häufigkeitsauswertung der gegebenen Antworten (inkl. Mittelwerte, Balkendiagramme etc.). Das “Abtippen” von Fragebögen entfällt. Eine tiefer gehende Auswertung von Befragungsergebnissen (testtheoretische Verfahren) muss allerdings mit einem der einschlägigen Statistikprogramme (z.B. SPSS) durchgeführt werden. Für die massenweise Verarbeitung von Lehrveranstaltungsbewertungen und die Durchführung von allgemeinen Studierendenbefragungen stellt das System aber eine leistungsfähige Lösung zur Verfügung.
Die Nutzung des Systems steht allen Fakultäten und Einrichtungen offen.
Features
- Die Nutzung kann durch die Teilbereichsadministration pro Fakultät (eventuell auch pro Fach) erfolgen. Die Teilbereichsadministration kann selbstständig Fragebögen eingeben und verwalten, Befragungen anlegen und durchführen, sowie die Ergebnisse einsehen und verschicken.
- Die Bedingung des Systems erfolgt sehr intuitiv. Befragungen können mit wenigen Klicks angelegt und durchgeführt werden.
- Darüber hinaus gibt es weitere Nutzerrollen im System, die verschiedene Teilaufgaben übernehmen können. Eine Berichterstellerin bzw. ein Berichtsersteller ist beispielsweise in der Lage aggregierte Berichte zu erstellen (z.B. über alle Lehrveranstaltungen eines Fachs) oder Teilpopulationen auszuwerten (z.B. Teilauswertung für Studierende des 3. Fachsemesters etc.).
- Die Datenerfassungskraft (im Normalfall durch eine studentische Hilfskraft) kann handschriftliche Kommentare abtippen und damit anonymisieren.
Der Verifikator kann bei unsicheren Scannerergebnissen die Entscheidung treffen, ob eine Antwort gewertet wird oder nicht. - Weitere umfangreiche Funktionen zur Verfügung, die im Rahmen weiterer Schulungen erklärt werden sollen.
Grundsätzlich ist das System für jede Art von Befragung verwendbar. Auch Befragungen im Rahmen von Forschungsvorhaben (z.B. empirische Studien) oder Abschlussarbeiten von Studierenden können über das System bearbeitet werden. Allerdings ist es aus organisatorischen Gründen nicht immer möglich die notwendige Unterstützung bei der Benutzung zu gewährleisten. Daher steht vorerst die Evaluation von Studium und Lehre im Vordergrund. Die Nutzung für Forschungsvorhaben und andere Befragungen der Universität muss jedes Mal gesondert beantragt werden.
Software qualitative Datenanalyse mit MAXQDA
MAXQDA ist eine Software für die qualitative Analyse von unstrukturierten Daten wie Interviews, Feldnotizen, Umfragen, Tabellen, Bildern, Video- und Audioaufnahmen, bibliographischen Datenbanken und Ähnlichem.
Hybridumfrage
Bei einer Hybridumfrage handelt es sich um eine Befragung, bei der die Befragten sowohl einen papierbasierten Fragebogen wie auch eine persönliche TAN-Nummer für eine Online-Befragung erhalten. Das bevorzugte Medium kann zum Ausfüllen des Fragebogens genutzt werden. Bei der Hybridumfrage ist gewährleistet, dass jede Teilnehmerin bzw. jeder Teilnehmer nur einmal an der Befragung teilnehmen kann. Wurde der Papierbogen ausgefüllt und eingescannt, gilt die TAN automatisch als verbraucht und umgekehrt.