Learning Analytics

Die interindividuellen Unterschiede von Studierenden nicht-mathematischer Fächer in methodischen Themen (Methodik, Statistik, Diagnostik) sind sehr ausgeprägt. Mit dem Projekt wird angestrebt, auf die verschiedenen Lernbedürfnisse der Studierenden eingehen zu können. Studierende sollen mithilfe von formativen Assessments im eigenen Tempo üben können, häufige Rückmeldungen zum Lernstand und personalisierte Empfehlungen erhalten. Dazu wird mit dem FILFLE-Projekt ein E-Learning-Modul zur Umsetzung von Learning Analytics entwickelt. Dieses Modul wird Dozierende dabei unterstützen, formatives Assessment in ihren Lehrveranstaltungen zu implementieren: Sie können Übungsaufgaben erstellen, diese verwalten und die anonymisierten Ergebnisse der Studierenden analysieren. Es werden personalisierte Rückmeldungen und Empfehlungen für die Studierenden generiert, um ihren individuellen Lernfortschritt zu fördern. Das Projekt beinhaltet auch die Erstellung einer Aufgabendatenbank und die Integration von Dashboard-Funktionen zur Darstellung der Lernfortschritte.

Nutzen für die Studierenden

Die Studierenden profitieren von einer interaktiven und an ihre Bedürfnisse angepasste Lernerfahrung, die ihr Engagement und ihre Erfolgsaussichten im Studium steigern soll:

• Individuelles Lernen: Studierende erhalten die Möglichkeit, Übungsaufgaben individuell zu bearbeiten und ihr Wissen kontinuierlich zu vertiefen.
• Sofortiges Feedback: Durch formative Assessments erhalten Studierende sofortiges Feedback zu ihren Antworten, was ihnen hilft, ihre Verständnisdefizite unmittelbar zu erkennen und zu korrigieren.
• Personalisierte Empfehlungen: Die generierten Empfehlungen basieren auf den individuellen Leistungen und dem Lernverhalten der Studierenden. Dadurch können sie gezielt an Wissenslücken arbeiten und effizienter lernen.
• Übersicht über den Lernfortschritt: Das Dashboard bietet den Studierenden eine visuelle Darstellung ihres Lernfortschritts, was sie motiviert und ihnen klare Hinweise auf ihre Stärken und Verbesserungsbereiche gibt.
• Flexibles Tempo: Studierende können in ihrem eigenen Tempo lernen und sich auf die Bereiche konzentrieren, die ihnen am meisten Mühe bereiten.
• Verbesserte Studienergebnisse: Die individuelle Betreuung und die Möglichkeit zur gezielten Aufarbeitung von Schwachstellen können zu einer besseren Wissensaneignung und letztendlich zu verbesserten Prüfungsergebnissen führen.

Nutzen für die Dozierenden

Die Dozierenden erhalten ein Werkzeug und Feedback zum Lernstand ihrer Studierenden, um ihre Lehrveranstaltungen effizienter und effektiver zu gestalten:

• Effektive Lehrmethoden: Dozierende können formatives Assessment nutzen, um kontinuierliches Feedback über den anonymisierten Lernfortschritt der Studierenden zu erhalten und ihre Lehrmethoden entsprechend anzupassen.
• Zeitersparnis: Das E-Learning-Modul automatisiert den Prozess der Erstellung, Verwaltung und Auswertung von Übungsaufgaben, was den Dozierenden Zeit und Aufwand erspart.
• Optimierte Kursgestaltung: Die Analyse von Lernverhalten und Leistungen der Studierenden ermöglicht es Dozierenden, ihre Kurse kontinuierlich zu optimieren und an die Bedürfnisse der Studierenden anzupassen.
• Einfache Integration: Das E-Learning-Modul bietet klare Anleitungen zur Integration von formativem Assessment und Learning Analytics in den Unterricht, was auch Dozierende ohne umfangreiche technische Kenntnisse unterstützt.
• Innovative Lehrerfahrung: Die Nutzung von Technologie und Datenanalyse ermöglicht eine moderne und innovative Lehrerfahrung.

Von der angestrebten Verbesserung der Lehrqualität, die studienfachübergreifend in vielen Lehrveranstaltungen realisiert werden kann, profitiert die Fakultät als Ganzes. Die Aufgabendatenbank kann als Plattform für den Wissensaustausch zwischen verschiedenen Fachbereichen dienen, was die interdisziplinäre Zusammenarbeit innerhalt der Fakultät fördert.

Mit Hilfe von zwei Pilotveranstaltungen (Psychologische Diagnostik von Stefan Troche und Statistik I von David Glauser) soll das Produkt getestet und optimiert werden. Es ist vorgesehen, dass zu einem späteren Zeitpunkt weitere Veranstaltungen hinzukommen und Dozierende ihre Übungsaufgaben selbstständig eingeben können.

Das Produkt aus Sicht der Studierenden

Nachdem die Studierenden einen bestimmten Inhalt einer methodischen Veranstaltung ausgiebig vorbereitet haben (z.B. mit Podcast der Vorlesung oder Pflichtliteratur), lösen sie online die Aufgabenbatterie (das formative Assessment) zum entsprechenden Inhalt. Nach jeder Übungsaufgabe und am Ende der Aufgabenbatterie erhalten sie ausführliche Rückmeldungen zur Richtigkeit ihrer Antworten. Auf einem Studierenden-Dashboard sehen sie ihren aktuellen Lernstand und erhalten personalisierte Empfehlungen aufgrund der erbrachten Leistungen. Was die Studierenden auf dem Dashboard sehen möchten, erforschen das Projektteam gerade im Rahmen einer Umfrage.

Das Produkt aus Sicht der Dozierenden

Auf der Lernplattform ILIAS haben die Dozierenden Zugriff auf ein E-Learning Modul mit ausführlichen Erklärungen zur Einbindung von Learning Analytics in ihren Kurs. Sie können die Übungsaufgaben entweder selbst erstellen oder Aufgaben aus der Datenbank auswählen und ggf. anpassen. Die formativen Assessments werden automatisch in Form eines online Fragebogens erstellt. Die Dozierenden erhalten einen Link, um den Fragebogen durchzutesten. Sobald die Studierenden den Fragebogen ausgefüllt haben, erhalten die Dozierenden einen Überblick über deren Lernstand auf ihrem Dashboard angezeigt. Das alles geschieht, ohne den Datenschutz zu verletzen, die Lernstandsdaten sind anonymisiert. Die neu erstellten Aufgaben werden nach Überprüfung in die Aufgabendatenbank in ILIAS überführt und allen Dozierenden der Universität Bern zur Verfügung gestellt.

Grundsätzlich ist geplant, dass nach der Pilotphase potenziell alle Dozierenden der Philosophisch-humanwissenschaftlichen Fakultät das Produkt für ihre Lehrveranstaltungen nutzen können. Eine Website wird den Dozierenden in Zukunft die Möglichkeit bieten, Learning Analytics und/oder formative Assessments in ihre Veranstaltungen zu integrieren und dabei auf bereits vorhandene Übungsaufgaben zuzugreifen. Diese Website dokumentiert zudem das Format und soll dabei helfen, es innerhalb der Institute bekannt zu machen. Ausserdem wird eine Aufgabendatenbank in ILIAS erstellt. Diese kann auch ohne zusätzlichen Aufwand in Zukunft weitergenutzt und erweitert werden. Je mehr Aufgaben in der Datenbank sind und je mehr Erfahrungen wir mit dem System sammeln können, desto einfacher wird es, Learning Analytics in einer Veranstaltung umzusetzen.
Die Dozenturen an der Philosophisch-humanwissenschaftlichen Fakultät zum intra- und interfakultären Netzwerk «Mensch in digitaler Transformation; MidT» übernehmen inhaltlich die langfristige Betreuung. 

Die Meilensteine in der Umsetzung des Projektes:

1. Server & Datenbank Setup: Einrichtung der virtuellen Maschine (VM) für den Umfragetool-Server (formR) und den Dashboard-Server (Shiny Server).
2. Automatisierung der Datenpipelines: Entwicklung von Skripten zur automatisierten Aufbereitung der Daten für formative Assessments und Dashboards.
3. Aufgabendatenbank erstellen: Erstellung einer Aufgabendatenbank in ILIAS, in der Dozenten Übungsaufgaben hinzufügen und teilen können.
4. E-Learning-Modul: Erstellung einer statischen Webseite mit Anleitungen für Dozenten zur Integration von formativem Assessment und Learning Analytics.
5. Pilotveranstaltungen vorbereiten: Vorbereitung von zwei Pilotveranstaltungen für den Einsatz der entwickelten Tools und Ressourcen.
6. Praktische Umsetzung / Evaluation: Durchführung der Pilotveranstaltungen, Überwachung des Einsatzes der Tools, Sammeln von Feedback von Dozenten und Studierenden.
7. Optimierung und Bugfixing: Identifizierung und Behebung von Herausforderungen und Problemen während der Pilotveranstaltungen.
8. Erstellung von Anleitungen: Erstellung von detaillierten Anleitungen für Dozenten und Studierende zur Nutzung der entwickelten Ressourcen.
9. Weiterführung und Nachhaltigkeit: Sicherstellung der langfristigen Verwendung der erstellten Ressourcen, Planung für zukünftige Verbesserungen und Weiterentwicklungen.

Als Basis für das Projekt dient das FIL-Projekt «Fordern und fördern mit Hilfe von Learning Analytics». 

Das Projekt ist zudem verknüpft mit dem BeLearn-Projekt «Learning Analytics & Adaptive Learning».