Aurel Daugs, Katharina Josipovic und Holle Meding: Evaluation großer Sprachmodelle für die Geschichtswissenschaft: Das SPIEGEL-RAG-System im Test
Wie lassen sich Sprachmodelle geschichtswissenschaftlich evaluieren – und welche Hürden sind dabei zu überwinden? Der Blogbeitrag von Aurel Daugs, Katharina Josipovic und Holle Meding zeigt anhand des SPIEGEL-RAG-Systems, wie der Einsatz von LLMs und Retrieval-Augmented Generation (RAG) neue Forschungsansätze ermöglicht und warum eigene Evaluierungsmethoden unerlässlich sind. Zu diesem Zweck wurde die Entwicklung eines „Silberstandards“ nachskizziert, der als Referenzwert für die Ausgaben der Sprachmodelle und des Retrievals diente. Die Ergebnisse dieser Evaluation wurden anschließend im größeren Rahmen der Geschichtswissenschaft reflektiert.``
# Einleitung
Wie verändern große Sprachmodelle die Geschichtswissenschaften? In der gleichnamigen Übung wurden unter dieser zentralen Fragestellung die Potenziale und Grenzen großer Sprachmodelle für die historische Forschung praktisch untersucht und diskutiert. Das thematische Fundament bildete dabei der Diskurs im Nachrichtenmagazin _DER SPIEGEL_ um die Dekolonisierung in Asien und Afrika zwischen den 1940er- und 1970er-Jahren. Neben der Anwendung zweckmäßiger promptbasierter Methoden wurde in der Übung ein _Retrieval-Augmented Generation Framework_ (Abrufgestütztes Generierungsframework, RAG) (LINK M5 RAG Text) erprobt, um große Textkorpora systematisch und nachvollziehbar zu erschließen.
Diese in den Geisteswissenschaften noch relativ neue Herangehensweise wurde mithilfe eines systematischen Fragenkatalogs getestet, empirisch evaluiert und kritisch reflektiert. Ziel war es, zu untersuchen, inwieweit Large Language Models (LLMs) trotz bestehender methodischer und epistemologischer Herausforderungen zur Erweiterung historischer Forschungsansätze beitragen können.
Der nachfolgende Blogbeitrag skizziert dabei die Erfahrungen und Ergebnisse der Implementierung eines RAG-Systems und fasst die durchgeführten Evaluationsschritte zusammen.
# Vorbereitung der Evaluation
Angesichts der Tatsache, dass der Output eines Sprachmodells stets auf einer stochastischen Next-Token-Vorhersage basiert (Link) und damit inhärente Unsicherheiten und Herausforderungen für die sachgemäße Nutzung von LLMs verbunden sind (Link), ist eine kritische Evaluation jeder einzelnen generierten Ausgabe grundsätzlich unerlässlich. Nur so lässt sich feststellen, ob die methodische Integration großer Sprachmodelle in den Forschungsprozess tatsächlich von Nutze sein kann.
Gleiches gilt für das RAG-System: Passen die infolge des sog. _Retrievals_ abgerufenen Kontextinformationen nicht zur formulierten Frage, kann die vom LLM generierte Antwort zwar sprachlich überzeugend wirken und sogar einen Quellennachweis enthalten, aber dennoch am eigentlichen Thema vorbeigehen. Entscheidend ist daher nicht nur die Qualität der generierten Antwort, sondern auch die Relevanz der vom RAG-System dem Sprachmodell bereitgestellten Informationen. In einen historischen Anwendungs- und Forschungskontext bedeutet das, dass sowohl die Auswahl der Artikel als auch die Kohärenz und Validität der Antworten sorgfältig überprüft werden müssen.
Für den weiteren Verlauf wurde hierzu der intern erstellte Korpus aller _DER SPIEGEL_ -Artikel aus den Jahren 1949 bis 1979 als externe Wissensbasis definiert, auf die das RAG-System letztlich zugreifen soll.[1]
# _Retrieval_ und Silberstandard
Um das RAG-System – insbesondere das _Retrieval_ – fundiert zu evaluieren, bedarf es zunächst eines Bezugswerts, an dem die Qualität der Ergebnisse gemessen werden kann. In einer idealen Evaluationspraxis würde dieser Bezugswert als _Ground Truth_ dienen – also als absolut verlässlicher, objektiver und vollständig validierter Referenzstandard. In der Realität ist es in den Geschichtswissenschaften jedoch meist nicht möglich, eine derart umfassende und in den meisten Fällen überhaupt existierende _Ground Truth_ zu erstellen. Denn es ist grundsätzlich unmöglich, Geschichte standpunktunabhängig, also ohne kulturelle oder persönliche Vorannahmen und ohne die Subjektivität des jeweiligen Historikers in seiner Zeit, zu rekonstruieren. Historische Wahrheit bzw. Objektivität bleibt demzufolge nur theorieförmig erhalten.
Im vorliegenden Fall wurde als Lösungsansatz ein „ _Silberstandard_ “ in Form eines händisch erstellten Fragekatalogs entwickelt. Dieser dient im Rahmen der Bewertung von LLMs und des RAG-Systems als umsetzbare und praktikable Alternative. Zu diesem Zweck wurden zunächst ein thematischer Fokus sowie konkrete Fragestellungen zu bereits identifizierten SPIEGEL-Artikeln formuliert. Grundsätzlich bildet der „ _Silberstandard_ “ ein Mindestmaß an relevanter Artikeln sowie zentraler Aussagen und Informationen ab, die zur Beantwortung der jeweiligen Fragen als relevant gelten. Auf dieser Grundlage lassen sich sowohl die Qualität des Retrievals als auch die inhaltliche Angemessenheit der vom LLM generierten Antworten vergleichen.
Um dabei eine möglichst breite Evaluationsgrundlage zu gewährleisten und die Leistungsfähigkeit des RAG-Systems in verschiedenen Kontexten zu testen, wurden in der Übung verschiedene Fragekategorien besprochen. Durch diese Differenzierung konnte gezielt analysiert werden, in welchen Bereichen das System besonders zuverlässig arbeitet und wo mögliche Schwächen bestehen:
* Informationsfrage: Wie werden Fakten, Daten oder Ereignissen in einem Artikel dargestellt?
* Bewertungsfrage: Wie werden Akteure, Ereignisse oder Prozesse der Dekolonialisierung inhaltlich eingeordnet und bewertet?
* Darstellungsfrage: Wie werden Personen, Gruppen oder Ereignisse sprachlich oder stilistisch dargestellt?
* Kontextualisierungsfrage: Wie werden Ereignisse, Personen oder Gruppen in größere politische, soziale oder kulturelle Kontexte bzw. Diskurse eingeordnet?
* Methodenfrage: Welche journalistischen Mittel und Strategien werden bei der Darstellung der Dekolonialisierung angewandt?
* Vergleichsfrage: Welche Unterschiede oder Gemeinsamkeiten gibt es in der Darstellung (synchron oder diachron) der Texte?
Abb. 1: Evaluation des RAG-Frameworks zur Analyse historischer Texte aus dem SPIEGEL-Archiv (1940er–1970er Jahre) [2]
# Erstellung eines Evaluationsset – Beispiel Algerienkrieg
Im Folgenden wird eine Forschungsfrage anhand eines in der Übung erarbeiteten Beispiels vorgestellt, das als Grundlage für den Test des RAG-Systems und der Antworten ausgewählter Sprachmodelle dient. Das analysierte Thema fokussierte sich hierbei auf den Machtübernahmeprozess von Charles de Gaulle im Jahre 1958 und die damit verbundenen Auswirkungen auf den Algerienkrieg sowie auf die vor Ort lebenden Menschen.[3] Konkret bezieht sich das Beispiel auf den vorgefundenen _SPIEGEL_ -Artikel „DE GAULLE, DER GOTTGESANDTE“ (Nr. 36, 1958). In diesem Artikel berichtet François Mauriac – Literatur-Nobelpreisträger und späterer Biograf von Charles de Gaulle – in einem Interview über dessen Machtübernahme.
Für den „Silberstandard“ wurde unter anderem folgende Darstellungsfrage und Antwort erstellt:~~~~
Darstellungsfrage:
Wie beschreibt François Mauriac die Algerier*innen im Zusammenhang mit der Machtübernahme Charles de Gaulles? Mit welchen sprachlichen Mitteln und semantischen Begriffen werden die Algerier*innen insgesamt dargestellt?
Plausible Antwort:
Die muslimischen Algerier*innen werden von Mauriac mit rassistischen und patriarchal-kolonialistischen Kollektivbeschreibungen entmenschlicht. Die französischen Algerier*innen werden als die eigentliche Gefahr im Krieg sowie insgesamt als eine Gefahr für die Demokratie dargestellt.
Kontext / Zitate aus dem Artikel:
„Die Moslem sind nicht viel mehr als eine hin- und herflutende, gestaltlose Masse unterernährter und unwissender Unglücklicher, von denen die meisten nur einen Gedanken haben: daß der Krieg endlich aufhört, daß man sich um sie kümmert, daß man sie ernährt, und daß man ihnen Arbeit gibt.“ // „Das algerische Drama besteht darin, daß auf der einen Seite die unbeugsame muselmanische Befreiungsfront, auf der anderen Seite die Franzosen Algeriens stehen, deren Kraft viel größer ist, als wir ahnten.“
# Testphase – _Retrieval_
Zuallererst erfolgte das _Retrieval_ , das anschließend evaluiert wurde. Hierfür wurde für die _Query_ , d.h. Suchanfrage, zum Erhalt der relevantesten Dokumente der Quellenbegriff „algerische Muselmanen“ verwendet. Ziel war es dabei, dass das System aus dem vordefinierten _SPIEGEL_ -Artikel zehn relevante Textpassagen, die sog. _Chunks_ , als Kontext für die Beantwortung der Darstellungsfrage bereitstellt.
Obwohl das System tatsächlich relevante Abschnitt fand, traten in unserer vorläufigen Umsetzung drei zentrale Probleme auf:
1. Wiederholungen: Die gelieferten Passagen waren größtenteils identisch. Von den zehn Ergebnissen unterschieden sich maximal zwei inhaltlich voneinander.
2. Unvollständige Sätze: Das Chunking hat, trotz der Verwendung eines _recusive-chunking Verfahrens_ öfter Textpassagen ausgegeben, die keine sinnvolle inhaltliche Einheit ergaben. Trotz des _Overlapping_ ging teilweise der Sinninhalt des Satzes und in manchen Fällen der gesamten Passage verloren.
3. Fehlzuordnung: Bei anderen Suchanfragen wurden zwar zum Teil passende Passagen gefunden, aber zusätzlich auch irrelevante Abschnitte aus anderen Artikeln, die dann fälschlicherweise als relevanter Kontext beigefügt wurden.
Abb. 2: Retrieval-Ausgabe der gefundenen Textpassagen (Chunks)
Der erste Teil unserer Evaluation hat damit gezeigt, dass unser Chunking und das darauf aufbauende Retrieval noch deutlich verbesserbar sind – was die Bedeutung unseres Vorgehens nur noch einmal unterstreicht.
# Testphase – Sprachmodell
Dennoch wurden auch die von uns gesuchten Chunks gefunden, die dann in den Kontext des Prompts für die zu untersuchenden Sprachmodelle integriert werden. Auf dieser Grundlage lassen sich nun die Antworten ausgewählter Sprachmodelle überprüfen. Hierfür wurden unter anderem das interne HU-LLM-3 und OpenAIs GPT-4o als Vergleichsgrundlage evaluiert. Ein vordefinierter Systemprompt, der Frage-Prompt – beispielsweise hier die Darstellungsfrage –, und die vom RAG-System gefundenen Kontextabschnitte wurden dann über die jeweilige Programmierschnittstelle an die Modelle übergeben. Auf die Darstellungsfrage wurde folgende Antwort vom HU-LLM-3-Modell generiert:
Abb. 3: Generierte Antwort des HU-LLM-3-Modell
Das Sprachmodell beantwortet die Frage im Vergleich zum „Silberstandard“ insgesamt zufriedenstellend. Zwar erfolgte keine genauere Differenzierung zwischen den Darstellungen der französischen und der muslimischen Algerien*innen, doch werden die Begriffe insgesamt schlüssig in einen breiteren kolonialhistorischen Kontext eingeordnet – auch trotz der inhaltlich begrenzten Chunk-Auswahl. Positiv hervorzuheben ist zudem, dass eine potenziell verzerrte Darstellung durch die einseitige französische Perspektive zumindest erwähnt wird. Dies ist insofern bemerkenswert, als dass nicht nur eine vom Modell generierte anfängliche Quellenkritik erkennbar ist, sondern auch die Notwendigkeit der Betrachtung algerischer Quellen als nächster Schritt für eine historische Analyse angedeutet wird.
# Reflexion
Die Implementierung eines RAG-Frameworks in Kombination mit einem Large Language Model zeigte, dass sich umfangreiche historische Datensätze wie der _SPIEGEL_ -Korpus einerseits automatisiert erschließen lassen und andererseits die Ausgaben eines LLM durch beigefügte Kontextinformationen besser nachvollziehbar werden. Das RAG-System bietet hierbei den Vorteil, dass die für die Antworten verwendeten Quellen explizit mit ausgegeben werden. Dies ermöglicht es Forschenden, die bereitgestellten Informationen kritisch zu prüfen, die Originalquelle zu konsultieren und so die Faktizität der Aussagen eigenständig zu verifizieren. Im Sinne der geschichtswissenschaftlichen Heuristik erleichtert dies sowohl die Sichtung als auch die erste Einordnung von Quellen erheblich.
Darüber hinaus ist positiv zu beurteilen, dass das RAG-System themenagnostisch einsetzbar ist, d.h. es ist nicht nur ein bestimmtes Thema beschränkt, sondern kann je nach Query den _SPIEGEL_ -Korpus flexibel durchsuchen. Grundsätzlich sollte es somit möglich sein, auch andere Korpora in das RAG-System einzupflegen, sofern diese entsprechend aufbereitet sind.
Nichtsdestotrotz werden auch die Grenzen der Methode schnell deutlich. Zwar wird der Input durch die gezielte Anreicherung mit externen Quellen optimiert, doch beseitigt der Einsatz von RAG weder das fundamentale Problem der Faktizität noch das Risiko von Halluzinationen bei LLMs: Wenn das _Retrieval_ irrelevante, verzerrte oder fehlerhafte Informationen liefert, kann das LLM scheinbar überzeugende, aber dennoch inhaltlich unzutreffende Antworten generieren. Im schlimmsten Fall verstärkt das RAG-System die Illusion von Faktizität, indem es halluzinierte Aussagen mit vermeintlichen Belegen aus dem _Retrieval_ absichert, die tatsächlich nicht zur gestellten Frage passen. Daher bleibt eine kritische Überprüfung der Ergebnisse in Form einer Evaluation unerlässlich, insbesondere im historischen Forschungskontext, wo Quellenauthentizität und inhaltliche Präzision von zentraler Bedeutung sind.
Die Qualität des _Retrievals_ hängt zudem vom eigenen historischen Verständnis des Korpus ab. Um relevante Kontextpassagen auf Basis der _Query_ zu finden, ist es entscheidend, sowohl die im ursprünglichen Quellenmaterial verwendeten Begriffe als auch die sprachlichen Konventionen zu kennen und gezielt einzusetzen (z. B. „Muselmanen“ statt „Muslime“ in den _SPIEGEL_ -Artikeln).
Letztlich zeigt sich, dass RAG-Systeme in Verbindung mit Large Language Models zwar den Zugang zu umfangreichen historischen Korpora erleichtern können, doch die kritische Reflexion und das fachliche Urteilsvermögen von Historiker*innen weiterhin unverzichtbar bleiben, um Verzerrungen, Fehlinterpretationen und die Grenzen automatisierter Ansätze zu erkennen und einzuordnen.
* * *
[1] Für einen tieferen historischen Einblick des Wandels des Nachrichtenmagazins DER SPIEGEL unter Rudolf Augstein siehe: Von Lucke, Albrecht: _Seismograph Augstein. DER SPIEGEL als Produkt und Produzent der Liberalisierung – und der neue Ruck nach rechts_ , in: Lilienthal, Volker (Hrsg.): _„Sagen, was ist“: Journalismus für eine offene Gesellschaft – Rudolf Augstein zum 100. Geburtstag_. Köln 2024, S. 115-131.; sowie zur allgemeinen Entwicklung des Zeitschriftenwesens in Deutschland nach 1945: Koszyk, Kurt: _Presse unter alliierter Besatzung_ , in: Wilke, Jürgen (Hrsg.): _Mediengeschichte der Bundesrepublik Deutschland_. Köln/Wien 1999, S. 31-58.
[2] Eigene Darstellung, Holle Meding und Aurel Daugs.
[3] Vgl. als Überblickswerke unter anderem: Bouchène, Abderrahmane (Hrsg.): _Histoire de l’Algérie à la période coloniale._ Paris 2012; Riegler, Thomas:_Die Schlacht um Algier und die ‚französische Doktrin‘: Eine Wirkungsgeschichte_ , in: Zeitgeschichte 35 (2008) 3, S. 138–152; sowie: Stora, Benjamin: _Le mystère De Gaulle: son choix pour l’Algérie_. Paris 2009.
* * *
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (15. Juli 2025). Aurel Daugs, Katharina Josipovic und Holle Meding: Evaluation großer Sprachmodelle für die Geschichtswissenschaft: Das SPIEGEL-RAG-System im Test. _Digital History Berlin_. Abgerufen am 15. Juli 2025 von https://dhistory.hypotheses.org/11176
* * *
* * * * *
Aurel Daugs, Katharina Josipovic und Holle Meding: Evaluation großer Sprachmodelle für die Geschichtswissenschaft: Das SPIEGEL-RAG-System im Test Wie lassen sich Sprachmodelle geschichtswissensch...
#Aus #den #Kursen #LLM
Origin | Interest | Match
