Blog

Dieser Artikel wurde von Nadine Kunz und Ly Lutter, Mitarbeiterinnen am Zentrum virtUOS, für unsere Artikelreihe “Meinungen und Haltungen” verfasst und stellt einen zusammenfassenden Bericht zur Ideenpoolveranstaltung am 06. Juni dar.
…

KI gemeinsam entdecken oder Plagiate jagen? Die Ideenpoolveranstaltung im Blick

Eines ist klar: Künstliche Intelligenz bleibt und beeinflusst die Hochschule in vielerlei Hinsicht, denn sowohl Lehrende als auch Studierende probieren verschiedene KI-Werkzeuge aus und versuchen, die Systeme für ihre alltägliche Arbeit zu nutzen. Doch sind wir darin gleich erfolgreich?
Dieser Frage sind wir am 06. Juni in der Ideenpoolveranstaltung „Prüfen in Zeiten generativer KI“ mit Prof.in Marlit Annalena Lindner nachgegangen. Zuerst einmal eine Frage:
…

Welche Erfahrungen und Schwierigkeiten haben die Lehrenden der UOS mit KI-Systemen im Rahmen von Prüfungen gemacht?

Während einige KI-Werkzeuge im Kontext von Prüfungen bewusst ausklammern, lassen sich andere aus Vorlesungsskripten mit Erfolg Prüfungsfragen generieren. Auch das Thema Plagiat kam in dieser Veranstaltung schnell auf: Es ist nach wie vor schwierig, rechtssicher nachzuweisen, ob jemand einen Täuschungsversuch vorgenommen hat oder nicht. Es gilt noch immer: Im Zweifel für den Angeklagten. Deshalb ist es umso wichtiger mit Studierenden darüber zu sprechen, warum sie studieren, was ihr Ziel ist und zu hinterfragen, wann es sinnvoll ist, KI-Tools (nicht) einzusetzen.

Ein Student berichtete, dass KI-Systeme ihn sehr bei der Ideengenerierung unterstützen. Publikationen hochladen und mehrere Paper kombinieren – das können KI-Tools seiner Erfahrung nach bisher nicht. Was sich für ihn bewährt hat ist, zuerst selbst die Texte zu lesen und am Ende die eigenen Ideen und Überlegungen mit denen eines KI-Systems abzugleichen. O-Ton: KI-Werkzeuge nutzen, um eigene Ideen zu reflektieren.

Doch wie funktioniert generative KI und warum sollte ich das wissen?

KI-Systeme greifen auf eine riesige Datenmenge zurück. Wenn Sie eine Eingabe tätigen, erzeugt das KI-Modell auf Basis von Wahrscheinlichkeiten einen Output, der wahrscheinlich zu Ihrem Prompt passt. Basierend auf der stochastischen Verteilung von Wörtern wird per Zufall das nächste Wort (genauer gesagt das Token, also ein silbenähnliches Stück) gewürfelt („Stochastischer Papagei“). „Statistisch plausibel“ bedeutet allerdings nicht, dass der Output inhaltlich korrekt ist – diese Prüfung müssen wir selbst vornehmen. Mehr dazu finden Sie auf unserer Info-Seite “Was ist KI?“.
…

Was können KI-Systeme leisten und was nicht?

• KI-Tools reproduzieren Texte. So kann das Ergebnis zufällig sehr ähnlich zu einem bereits existierenden Original sein. In speziellen Nischenbereichen, wo es z. T. recht wenig Trainingsdaten gibt, kann zufällig ein Plagiat entstehen, denn das textgenerierende KI-Tool übernimmt (würfelt) dann ganze Textteile.
• KI-Systeme sind kein Computer und können nicht rechnen – versuchen Sie mit den Zahlen 9 und 11 oder 737 (taucht oft im Kontext von Boeing 737 auf) zu rechnen – die Ergebnisse? Interessant.
• Biases werden je nach kultureller und politischer Vorstellung reproduziert, ebenso die Filter, die diese Biases mildern oder unterdrücken sollen. Bedenken Sie, dass die Sprachmodelle mit den Daten trainiert wurden, die diese ursprünglichen Biases noch enthielten.

Vor diesem Hintergrund plädiert Frau Prof.in Lindner in ihrem Vortrag besonders dafür, die Studierenden zu schulen, sodass auch sie dieses Grundverständnis von KI erwerben und sich einen kompetenten Umgang aneignen können. Wie können wir nun als Lehrende damit umgehen, dass Studierende solche Systeme für ihre Studien- und Prüfungsleistungen nutzen – während wir KI-generierte Inhalte nicht identifizieren können? Oder anders gefragt:
…

Wie können wir KI-Systeme sinnvoll und berufsbezogen einsetzen?

„In meinem Seminar dürfen die Studierenden KI-Werkzeuge nutzen, bleiben aber für die Qualität verantwortlich. Interessanterweise hat sich bislang keine Verbesserung der allgemeinen Qualität der Arbeiten eingestellt“, berichtete einer der Lehrenden. Ein spannender Bericht, denn letztlich müssen Studierende nach sorgfältiger Abwägung selbst entscheiden, was sie von dem KI-Output übernehmen.

Die Referentin hob den Vorteil dieses Ansatzes hervor: Die Erlaubnis führt dazu, mit den Studierenden über generative KI zu sprechen. Warum ist die Arbeit nicht besser? Wie kann sie Ihnen (nicht) helfen, die Übersicht über die Arbeit zu behalten, wo ist es legitim KI-Werkzeuge zu nutzen und wo nicht? Wo haben Studierende KI-Tools sinnvoll genutzt, wo nicht? Warum?

Dieses Gespräch mit Studierenden wird unterbunden, wenn die Nutzung von KI-Werkzeugen in einer Lehrveranstaltung untersagt wird.

Davon abgesehen, befinden sich auch Lehrende auf einer Lernkurve, wenn es um KI-Systeme und das damit eng zusammenhängende Prompten geht. KI-Werkzeuge brauchen gute Prompts, da sie, auch wenn es zuerst anders scheint, keine Gedanken lesen, interpretieren und keine Inferenzen ziehen kann. Salopp gesagt: Wenn der Prompt zu knapp und unkonkret ist, wird auch ein eher ungenauer Output generiert.

Das Zwischenfazit von Frau Prof.in Lindner: Letztlich stehen wir Lehrenden in der Verantwortung, die Studierenden anzuleiten. Alle stehen in der Lernkurve an verschiedenen Stellen und die Situation ist sehr agil und dynamisch. Das Plädoyer der Referentin fällt deshalb eindeutig zu Gunsten einer reflektierten Nutzung von KI-Werkzeugen und nicht dem Verbot aus.
…

KI-Systeme als Lernhilfe und Tutor kompensiert oft fehlendes Feedback von Lehrenden

Für Studierende können sich KI-Werkzeuge besonders gut als Lernhilfe und Tutor eignen – insbesondere, wenn sonst keine universitäre Betreuung gegeben ist, z. B., um sich eine kurze schnelle Erklärung generieren zu lassen. Man kann eigene Texte bewerten und sich Feedback geben lassen. KI-Systeme sind dienlich, wenn es darum geht, unkompliziert eine sehr elaborierte Zusammenfassung darüber zu erhalten, an welchen Stellen der Text verbessert werden kann.

Ein Student fragte, wie er und seine Kommiliton*innen kenntlich machen können, KI-Systeme genutzt zu haben. Aus dem Plenum kam der Hinweis, sich an dem Leitfaden „Aus KI zitieren“ der Universität Basel zu orientieren – bis es von der Universität Osnabrück diesbezügliche Ausarbeitungen gibt. Dieser Leitfaden zeigt, wie man den Umgang mit KI-Systemen dokumentieren kann, um transparent darzulegen, an welchen Stellen und zu welchem Zweck welches KI-Tool genutzt wurde. Nutzen Sie den Leitfaden und passen ihn für Ihre Zwecke an!
…

KI-Systeme als (unerlaubtes) Hilfsmittel – Wo liegt das Problem?

Die zentrale Frage ist, wie wann und in welchem Umfang KI-Werkzeuge eingesetzt werden. Es ist legitim, wenn derartige Prozesse bei Lernprozessen unterstützen. Aktuell sind unsere Prüfungsanlässe summativ und wir prüfen den Leistungsstand zum Testzeitpunkt. Doch wir können formative Tests als Lernunterstützung begreifen und KI-Tools hierbei als Chance nutzen und uns z. B. Prüfungsfragen generieren lassen. Es sollte darum gehen, die Studierenden sinnvoll dazu anzuleiten, sich mit dem Stoff auseinander zu setzen.
…

“KI-sichere Prüfungen”

Nun zum Thema „KI-sichere Prüfungen“: Nicht alle Prüfungsformen sind automatisch gleichermaßen vom KI-Einfluss betroffen. Bei Präsentationen, Portfolios oder Projektarbeiten können KI-Tools als Lernbegleiter sogar sinnvoll sein, so Frau Prof.in Lindner. Auch Lerntagebücher oder Kolloquiumsprüfungen bieten sich als Alternative zu Hausarbeiten oder Klausuren an. Für Seminararbeiten, Hausarbeiten oder Abschlussarbeiten gibt die Referentin folgende Impulse:

• Können wir Aufgaben so stellen, dass gewisse Kompetenzen im Vordergrund stehen, die die KI-Systeme noch nicht so gut können? Hier bietet sich z. B. Quellenarbeit als Fokus an: Ist die Gedankenstruktur in einer Tiefe vorhanden, die die teilweise leeren Worthülsen von KI-generiertem Output übertrifft?
• Passen Sie auch die Eigenständigkeitserklärungen an und schaffen somit Bewusstsein. Studierende brauchen explizite Vorgaben, damit sie wissen, was sie dürfen und was nicht.
• Passen Sie die Gewichtung der Bewertungskriterien an. Welche Bereiche der Arbeit spiegeln eine tiefgründige Auseinandersetzung wider? So ein Aspekt könnte z. B. sein, auch bei längerer Arbeit die Strukturierung über mehrere Kapitel durchzuziehen und den roten Faden beizubehalten.
• Schauen Sie genau nach sachlichen Fehlern, die sich hinter Allgemeinplätzen verbergen.
• Fordern Sie die Fähigkeit Texte zu redigieren und anzupassen in Ihren Seminaren und nicht nur in den Prüfungen.
  …

Wie könnten also innovative Prüfungen aussehen?

Zuerst der Hinweis, dass KI-Systeme an sich noch keine gute Arbeit leisten. Für gute Noten müssen Studierende selbst etwas tun, denn der Schreibprozess bleibt. Prof.in Lindner betont, dass Studierende lernen sollten, einen eigenen Schreibplan zu entwickeln und eigene Schreibproben nach Kriterien angeleitet zu überprüfen.

Gehen Sie folgenden Fragen mit Ihren Studierenden nach:

• Was sind die zentralen Schritte im Schreibprozess und welche Kompetenzen brauche ich dafür?
• Was macht eine wissenschaftliche Arbeit aus?
• Wie sieht eine gute Argumentation aus?
• Was muss ich der/dem Leser*in mitgeben, damit sie*er versteht, wovon ich schreibe?

Gestalten Sie die Diskussion so, dass die Studierenden erkennen, dass der Einsatz von KI-Werkzeugen ohne die oben genannten Fragen beantworten zu können, nicht automatisch zu guten Ergebnissen führt. Letztlich muss jede*r das Ergebnis selbst beurteilen können – und das lernen Studierende über den Diskurs. Denken Sie daran, dass die meisten Studierenden den Wunsch haben, wissenschaftliches Arbeiten und recherchieren zu lernen und gleichzeitig die neuesten technologischen Entwicklungen kompetent nutzen können wollen, da dies eine zentrale Anforderung in ihrem Berufsleben sein wird.

„In Projekten, in denen der Einsatz von KI-Tools erlaubt ist, ist die Motivation gute Ergebnisse zu erbringen viel höher, da man eigene Ideen mit dem KI-Output abgleichen darf. Ohne die Erlaubnis ist die Unsicherheit größer. Ohne KI-Einsatz geht Potenzial verloren und man hat ein schlechteres Gefühl mit seiner Abgabe.“

Wortmeldung eines Studenten

KI-Systeme kreativ nutzen, um Prüfungsaufgaben zu konstruieren

Die Stärke von KI-Systemen ist die „Kreativität“. Durch die Zufallskomponente entstehen Lösungen, die uns inspirieren können und die wir als Sprungbrett für eigene Antworten nutzen können.

Abschließend gibt uns Prof.in Lindner vier wichtige Tipps rund um das Thema “Prüfen in Zeiten generativer KI” mit:

1. Anfangs ist der erste Prompt meist viel zu sparsam. Geben Sie detaillierte Fragen ein, basteln Sie Szenarien und fordern Sie das KI-System auf, konkrete Details zu berücksichtigen.
2. Fragen Sie direkt nach 20 Aufgaben und nicht nach einer. So erhöhen Sie die Chance, ein paar gute und für Sie passgenaue Aufgabenstellungen zu generieren.
3. Wenn der Output (nicht) gefällt, fahren Sie mit „none of the above/ all of the above“ fort.
4. Nutzen Sie Item-Shells, um Aufgaben zu vervielfältigen: vordefinierte Strukturen oder Vorlagen, die dazu dienen, die Erstellung von Fragen, Antworten oder anderen textuellen Inhalten zu erleichtern und zu standardisieren. Solche Strukturen helfen dabei, die Konsistenz und Qualität der generierten Inhalte sicherzustellen und können besonders nützlich sein, wenn große Mengen an textuellen Daten erstellt oder bearbeitet werden müssen.
   …

Vortragsfolien

Bei Interesse können wir Ihnen die Vortragsfolien per Mail zuschicken. Melden Sie sich dazu bei Ly Lutter (ly.lutter@uni-osnabrueck.de) oder Nadine Kunz (nadine.kunz@uni-osnabrueck.de).