Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

ChatGPT: Wie hochwertig ist die Generierung von wissenschaftlichen Texten?

Im Kontext von ChatGPT an Hochschulen wurde in den vergangenen Wochen vielfach diskutiert, ob durch den Textgenerator das Ende der klassischen wissenschaftlichen Hausarbeit als Prüfungsformat insbesondere in den geisteswissenschaftlichen Fächern eingeläutet wurde. 

Im Kern stellt sich hier die Frage, ob ChatGPT fähig ist, wissenschaftlich zu schreiben. Um diese zu beantworten, wurde der Textgenerator an einem exemplarischen geschichtswissenschaftlichen Beispiel getestet (vgl. 1). Dazu wurde folgende Aufgabenstellung (im Original auf Englisch) im ChatGPT-Prompt eingegeben:

Verfasse einen zusammenfassenden (vgl. 2) wissenschaftlichen Text zur Rolle der Firma Topf & Söhne im Vernichtungslager Auschwitz unter Angabe von Literatur und Quellen (vgl. 3).

Die Antwort von ChatGPT auf die Anfrage "Verfasse einen zusammenfassenden wissenschaftlichen Text zur Rolle der Firma Topf & Söhne im Vernichtungslager Auschwitz unter Angabe von Literatur und Quellen."
Abbildung 1 zeigt die Antwort, die ChatGPT nach kurzer Zeit lieferte. [von ChatGPT, Quelle: https://chat.openai.com/ (Zugriff am 15.01.2023)]

Erster Eindruck: Formal korrekt, sprachlich überzeugend, thematisch zutreffend

Der erste Eindruck ist zunächst, dass der Text formal korrekt ist. Es gibt eine Einleitung mit Hinführung zum Thema, einen Hauptteil mit Fokus auf den Forschungsstand sowie eine abschließende Einschätzung. Auch Literatur und Quellen werden direkt im Text nachgewiesen sowie am Ende aufgelistet. 

Ins Auge fällt vor allem die Sprachgewandtheit des Chatbots, die – zumindest in diesem Beispiel – nicht mehr eindeutig erkennen lässt, ob der Text von einem Mensch geschrieben oder von einer Maschine generiert wurde.

Darüber hinaus wird inhaltlich die wesentliche Information zum Thema genannt, nämlich dass die deutsche Firma Topf & Söhne die Krematorien in Auschwitz baute sowie Leichenverbrennungsöfen dorthin lieferte.

Gründlicher Blick: Forschungsstand überholt…

Im Detail zeigt sich jedoch, dass der Text inhaltlich weit hinter den aktuellen Forschungsstand zurückfällt. Dies wird im Folgenden an drei Textauszügen illustriert:

…as a supplier of crematoria and incineration equipment to the Auschwitz concentration camp…

Diese Antwort ist nicht falsch, unterschlägt aber im Fall von Auschwitz eine wichtige Information hinsichtlich der Bewertung der Rolle von Topf & Söhne. Denn die Firma stellte hier nicht nur die Verbrennungstechnik zur Beseitigung der Leichen bereit, sondern auch die Lüftungstechnik für die im Kellergeschoss der Krematorien II und III liegenden Gaskammern. Das Ziel war, den Luftaustausch zu beschleunigen und dadurch den Massenmord schneller fortsetzen zu können. Folglich war Topf & Söhne auch an der Optimierung der Tötung von Menschen beteiligt (vgl. 4).

…profited economically from the systematic extermination of Holocaust victims. 

Es liegt bei dem Thema nahe, dass der Text auf rein wirtschaftliche Aspekte fokussiert. Im Fall von Topf & Söhne ist es jedoch eine verkürzte, wenn nicht sogar unzutreffende Darstellung. Der Gewinn mit den Lagerkrematorien machte nicht einmal 2% des Gesamtumsatzes aus und hatte insgesamt also keine existentielle Bedeutung für die Firma. Auch naheliegende Motive wie Zwang oder Antisemitismus gelten nicht. Tatsächlich waren sie viel banaler und alltäglicher. So waren Motive wie technologische Herausforderungen, Status und berufliche Anerkennung, Konkurrenz unter den Ingenieuren sowie persönliche Vorteile vor allem handlungsentscheidend bei der Zusammenarbeit mit der SS (vgl. 5). Kurz gesagt, ist die Folgerung im Text plausibel und doch faktisch falsch.

Further research is needed to fully understand the implications of Topf & Sons actions during the Holocaust.

Ferner wird im Text behauptet, dass weitere Forschung notwendig sei. Das Gegenteil ist jedoch bei Topf & Söhne der Fall, denn die Firmengeschichte ist inzwischen sehr gut aufgearbeitet. Sicher gibt es bezüglich der Mittäterschaft privatwirtschaftlicher Unternehmen im Nationalsozialismus auch heute noch konkreten Forschungsbedarf, aber Topf & Söhne gehört nicht dazu. Auffällig ist, dass die eigentliche wissenschaftlich-historische Forschung im Text vollkommen unerwähnt bleibt (vgl. 6).

…veraltete und fragliche Literatur 

Weist die auszugshafte Untersuchung oben bereits darauf hin, dass der Text einer wissenschaftlichen Qualitätsprüfung nicht standhält, offenbart dies der Blick auf die verwendete Literatur umso deutlicher: 

Open-Access-Ausgabe von Holocaust and Genocide Studies
Abbildung 2: Open-Access-Ausgabe von Holocaust and Genocide Studies. [Open Access-Ausgabe von Holocaust and Genocide Studies, 31 (2), 2017.]
  • Es wurde durchgehend keine wissenschaftliche Literatur herangezogen. Zudem ist die verwendete Literatur teilweise veraltet. 
  • Die ausgewählte Literatur besitzt keine Relevanz für das Thema. Der zitierte Jules Schelvis war Überlebender des Vernichtungslagers Sobibor, der seine Erinnerungen später publizierte. Allerdings gab es in Sobibor keine Krematorien und Topf & Söhne war für die SS an diesem Ort nie tätig. Noch extremer ist es bei Finkelstein, der zwar in seiner Veröffentlichung eine Holocaust-Industrie thematisierte, damit aber die umstrittende These einer “Holocaust-Industrie” auf jüdischer Seite in den USA nach 1945 aufstellte. In beiden Fällen zeigt sich abschließend, dass der Bezug zur Firma Topf & Söhne gänzlich fehlt.
  • Die unten in der Liste zuletzt genannte Literatur “Topf & Sons and the Holocaust” (2017) ist geradewegs entlarvend für den Text, da sie überhaupt nicht existiert. Dies lässt sich sehr einfach anhand der Open Access-Ausgabe des Journals Holocaust and Genocide Studies überprüfen (vgl. 7). An der eigentlich zu erwartenden Stelle des Artikels, findet sich ein anderer, noch dazu mit einem anderen Themenschwerpunkt (grüner Pfeil in Abbildung 2). Es ist festzuhalten, dass es die Zeitschrift und auch eine in dieser mit zwei Artikeln vertretenen Autorin Melissa Jane Taylor (vgl. 8) zwar gibt, die Angabe in der Kombination wie im Text aber eine (kreative) Erfindung des Chatbots bleibt.
  • Die einzigen relevanten und existenten Literaturangaben im Text sind die Publikationen des französischen Apothekers Jean-Claude Pressac (1989 und 1993). Davon abgesehen, dass es sich hierbei um die am längsten zurückliegende Forschung zum Thema handelt, ist die Verwendung zumindest im Text insofern problematisch, als dass der Autor selbst nicht weiter kontextualisiert wird. Denn dieser war mit seiner Forschung in den 70er Jahren ursprünglich mit dem Ziel angetreten, den Beweis für die Nichtexistenz der Gaskammern zu liefern (vgl. 9). Zwar gehört auch zur Wahrheit, dass Pressac sich im Laufe seiner Forschung von holocaustleugnerischen Ansichten distanzierte sowie wichtige Quellen erstmals auswertete und sicherte. Aber gerade von einem wissenschatftlichen Text sollte diese Kontextualisierungsleistung zwingend erbracht werden. 

Fazit: Was der Praxisversuch zeigt

An dem geschichtswissenschaftlichen Beispiel Topf & Söhne ist anschaulich die Funktionsweise von Large Language Models (LLMs) zu erkennen und wo die Grenzen des Systems (noch) liegen. Die wichtigsten Punkte sind zusammengefasst:

  • ChatGPT ist ein Textgenerator, der auf Token-Ebene (Wörter, Sätze…) Texte nach Berechnungen (word embedding, Wahrscheinlichkeitsverteilung etc.) erstellt und damit Sprache imitiert. Deren Inhalte können statistisch gesehen plausibel und gleichzeitig (trotzdem) falsch sein. Oder anders ausgedrückt: Unplausible Daten können wahr sein, auch wenn es unwahrscheinlich ist oder gar unmöglich scheint. Es zeigt sich hierin ein Spannungsverhältnis von Berechenbarkeit und Unberechenbarkeit, das letztlich die Komplexität unserer realen Welt widerspiegelt.
  • Das Sprachmodell, auf dem ChatGPT trainiert wurde, basiert auf Daten bis zum Jahr 2021. Zum einen sind also Informationen nach 2021 dem Chatbot unbekannt. Zum anderen können vorliegende data biases zu inhaltlichen Verzerrungen führen (vgl. 10). Dies kann erklären, warum wichtige Informationen im Text zu Topf & Söhne fehlen.
  • Schließlich bleiben LLMs eine Blackbox, deren Textgenese nicht einsehbar und damit Entscheidungen der KI-Algorithmen unklar bleiben. Darüber hinaus sind diese Entscheidungen nicht fix, d.h. es ist nicht sicher, dass ChatGPT beim zweiten Versuch zur Aufgabe inhaltlich exakt denselben Text liefern würde. Im Umkehrschluss bedeutet das, dass essentiell wissenschaftliche Qualitätskriterien wie Nachvollziehbarkeit und Transparenz nicht gegeben sind.

Abschließend festzuhalten ist, dass LLMs wie ChatGPT sehr gut darin sind, Texte zu generieren. Sie verstehen diese allerdings nicht, sind hier also überhaupt nicht “intelligent”. Folglich ist ChatGPT nicht fähig, Informationen selbst zu überprüfen und zu verifizieren, was aber Grundlage wissenschaftlichen Arbeitens und Voraussetzung für wissenschaftliches Schreiben ist. Diese Leistung sprengt klar die Systemgrenzen des Chatbots. Aus diesem Schluss keine Konsequenzen für Forschung und Lehre abzuleiten, wäre jedoch falsch, denn es handelt sich hierbei um eine Momentaufnahme. Es gibt bereits Ideen, LLMs mit symbolischer KI zu verknüpfen, um eine Verifizierung eben dieser generierten Inhalte automatisiert zu ermöglichen (vgl. 11).

Verweise

  1. Der Text basiert auf einem Vortrag, der im Rahmen der Info- und Austauschveranstaltung [Chat GPT – Fluch oder Segen generativer KIs für die universitäre Lehre?](https://makerspace.hypotheses.org/708) am 17.01.2023 an der Humboldt-Universität zu Berlin gehalten wurde.
  2. Aufgrund der Zeichbegrenzung von ChatGPT wurde nur eine Zusammenfassung erwartet, um sicherzugehen, dass ein den formalen Anforderungen entsprechender Text generiert wird.
  3. Natürlich gehört eine Literatur- und Quellenangabe zu einem wissenschaftlichen Text dazu und muss genau genommen nicht extra aufgeführt werden. Der Zusatz wurde in diesem Fall aber gemacht, um sicher zu stellen, dass ChatGPT diese erste Hürde auf jeden Fall nimmt, um sich nachfolgend auf die inhaltliche Auswertung konzentrieren zu können.
  4. Vgl. Schüle, Annegret: Industrie und Holocaust. Topf & Söhne – Die Ofenbauer von Auschwitz, Göttingen 2010, S. 176-184.
  5. Was am Beispiel Topf & Söhne besonders irritiert, gleichzeitig aber das Verhalten des großen Teils der deutschen Bevölkerung repräsentiert. Vgl. Schüle (2010), S. 370ff.
  6. Die Firmengeschichte wurde in den 2000er Jahren im Rahmen eines vom Bund finanzierten Forschungsprojekts an der Gedenkstätte Buchenwald wissenschaftlich intensiv aufgearbeitet und die Ergebnisse u.a. in einer internationalen Wanderausstellung publik gemacht. Seit 2011 existiert zudem der historisch-politische Erinnerungsort Topf & Söhne im ehemaligen Verwaltungsgebäude der Firma in Erfurt. Siehe Websites der beiden Einrichtungen: https://www.buchenwald.de/697/und https://www.topfundsoehne.de/ts/de/index.html (beide letzter Zugriff am 17.02.2023)
  7. Siehe The United States Holocaust Memorial Museum (Hg.): Holocaust and Genocide Studies, Band 31 (Ausgabe 2), Herbst 2017, URL: https://academic.oup.com/hgs/issue/31/2 (letzter Zugriff am 18.02.2023).
  8. Zuletzt siehe Taylor, Melissa Jane (2016): American Consuls and the Politics of Rescue in Marseille, 1936–1941. In: ebd., Band 30 (Ausgabe 2), Herbst 2016, Seite 247–275, DOI: 10.1093/hgs/dcw043.
  9. Vgl. Schüle, Annegret: J. A. Topf & Söhne. Ein Erfurter Familienunternehmen und der Holocaust. Erfurt 2014, S. 97f.
  10. Bis dahin, dass gesellschaftliche Stereotypen und soziale Ungleichheiten reproduziert werden. Mehr zum Thema data bias siehe Lopez, Paola: Diskriminierung durch Data Bias. Künstliche Intelligenz kann soziale Ungleichheiten verstärken. In: WZB-Mitteilungen, Quartalsheft für Sozialforschung. – (2021), Heft 171, mit 5 Beiträgen als Online-Supplement: Von Computern und Menschen. die digitalisierte Gesellschaft, Seite 26-28.
  11. Siehe Wolfram, Stephen: Wolfram|Alpha as the Way to Bring Computational Knowledge Superpowers to ChatGPT, veröffentlicht am 09.01.2023, URL: https://writings.stephenwolfram.com/2023/01/wolframalpha-as-the-way-to-b… (letzter Zugriff am 21.02.2023).

Erstveröffentlichung: Der Text wurde bereits am 07. März 2023 bei Hochschulforum Digitalisierung veröffentlicht.

Save the Date: Eröffnung des Scholarly Makerspace am 14.11.2022

Am 14. Novemver 2022 wird der Scholarly Makerspace als neues Service- und Supportangebot der Universitätsbibliothek für die geistes- und kulturwissenschaftliche Forschung an der Humboldt-Universität zu Berlin eröffnet. Zu diesem Anlass laden wir Sie herzlich ins Auditorium des Grimm-Zentrums ein.

Programm

10:00 Uhr: Begrüßung

  • Andreas Degkwitz (Direktion Universitätsbibliothek)
  • Martin Lee (Direktion Universitätsbibliothek)
  • Torsten Hiltmann (Lehrstuhl Digital History)
  • Robert Jäschke (Lehrstuhl Information Processing and Analytics)

10:30 Uhr: Der Scholarly Makerspace stellt sich vor

13:00 Uhr und 15:00 Uhr: Einführungen in den Scholarly Makerspace

16:00 Uhr: Ende der Veranstaltung

In den Zwischenzeiten gibt es Gelegenheit zum ausführlichen Gespräch und Experimentieren…

Nach dem Motto „just drop in“ freuen wir uns auf Ihr zahlreiches Kommen!

Das Team des Scholarly Makerspace

Veranstaltungsort:
Auditorium im Grimm-Zentrim
Zugang über: Geschwister-Scholl-Str. 3, 10099 Berlin

Eine Anmeldung ist nicht erforderlich.

Was ist der Scholarly Makerspace

Die Universitätsbibliothek der Humboldt-Universität betreibt im Rahmen des DFG-geförderten Projekts “Future e-Research Support in the Humanities II” in Zusammenarbeit mit den Lehrstühlen für Digital History am Institut für Geschichte und für Information Processing and Analytics am Institut für Bibliotheks- und Informationswissenschaften einen prototypischen Scholarly Makerspace für zunächst drei Jahre (2022–25). Ausgehend von der Beobachtung, dass sämtliche Aspekte kultureller Produktion und wissenschaftlicher Prozesse bereits digital remediiert sind und inspiriert von der maker culture und der Idee der Makerspaces, die in einigen Bibliotheken bereits etabliert sind (Späth, Seidl, und Heinzel 2019), stellen wir das experimentierende Tüfteln (making) mit Computern und digitalen Artefakten in das Zentrum hermeneutischer und epistemologischer Zugänge (Sayers 2017). Der Scholarly Makerspace stellt dafür die Infrastruktur aus Raum, computergestützten Werkzeugen und Erfahrungen in den Digital Humanities zur Verfügung, um gemeinsam mit Forschenden in allen Phasen ihrer Karrieren die Herausforderungen der Digitalität für die Geistes- und Kulturwissenschaften experimentell anzugehen.

Der Scholarly Makerspace adressiert die zentralen Versprechen der Digitalität und der Digital Humanities: Teilhabe an der Digitalität durch computationelle Methoden, kritische Reflexion über ein neues epistemisches Paradigma und genuin neue Erkenntnisse für die Geistes- und Kulturwissenschaften. Unser Ziel ist die Hilfe zur Selbsthilfe bei der Bildung von digital citizens durch den experimentierenden Erwerb von digitaler tool literacy (verkürzt als Werkzeugkompetenz wiedergegeben), die, im Sinne Johanna Druckers (2021), in zwei Dimensionen gedacht wird. Zum einen geht es um das ganz konkrete Erlernen von Werkzeugen und computergestützten Verfahren: Wie kann ich ein Korpus von Digitalisaten mit Methoden des distant reading analysieren? Was ist eine Netzwerkanalyse? Was sind die Möglichkeiten der Datenvisualisierung? Wie kann ich die Disinformationskampagnien rechter Trollfarmen in Social Media sinnvoll analysieren? Zum anderen wird tool literacy aber mit dem Fokus auf Werkzeuge und Methoden als Gegenstand der Untersuchung weiter gedacht und mit Critical Code Studies (Marino 2020) und den Science and Technology Studies in Beziehung gesetzt: von der Reflexion über die hermeneutischen und epistemologischen Folgen bestimmter Werkzeuge und Zugänge zu digitalen Daten bis zu den ethischen und ökologischen Folgen im Bereich der künstlichen Intelligenz bzw. des maschinellen Lernens, wie z.B. dem massiven Einsatz endlicher natürlicher Resourcen und die verschiedenen Biases ihrer Schöpfer*innen perpetuierende Algorithmen und Modelle.

Literatur

Drucker, Johanna. 2021. The Digital Humanities Coursebook: An Introduction to Digital Methods for Research and Scholarship. Abingdon: Routledge. https://doi.org/10.4324/9781003106531.

Marino, Mark C. 2020. Critical Code Studies. Cambridge: MIT Press.

Sayers, Jentery, Hrsg. 2017. Making Things and Drawing Boundaries: Experiments in the Digital Humanities. Debates in the Digital Humanities 3. Minneapolis: University of Minnesota Press. https://dhdebates.gc.cuny.edu/projects/making-things-and-drawing-boundaries.

Späth, Katharina, Tobias Seidl, und Viktoria Heinzel. 2019. „Verbreitung und Ausgestaltung von Makerspaces an Universitäten in Deutschland”. o-bib. Das offene Bibliotheksjournal 6 (3): 40–55. https://doi.org/10.5282/o-bib/2019h3s40-55.

Öffentlicher Veranstaltungskalender zu Digital Humanities

Wir haben einen Kalender eingerichtet, in dem wir Veranstaltungen zu Themen rund um Makerspaces, Labs, Digital Humanities, Digital Methods and Research in den Geisteswissenschaften primär in Berlin und Brandenburg sammeln. 

Dieser ist öffentlich verfügbar und kann von jeder/jedem Interessierten abonniert werden. Perspektivisch werden wir den Kalender auch auf der Website des Scholarly Makerspace zugänglich machen.

Der Kalender ist mit einem der folgenden Links einzubinden:

Welche URL zu benutzen ist, hängt von der verwendeten Kalender-App ab. Hier eine Auswahl:

  • Thunderbird: CalDAV- oder WebDAV-ICS-URL
  • Outlook, Apple, Google Kalender: WebDAV-ICS-URL
  • HU-SOGo-Kalender: WebDAV-ICS-URL

Wichtig beim Hinzufügen des Kalenders ist, diesen aus dem „Netzwerk“ (manchmal auch „Internet“, „Web“ oder „URL“) zu beziehen. Falls es Fragen zur Einrichtung gibt, bietet der Kalenderservice vom CMS Unterstützung.

Der Veranstaltungskalender darf gerne geteilt werden. Wir freuen uns auch über weitere Veranstaltungshinweise und -vorschläge.