Arbeiten mit historischen Dokumenten

Die Recherche in historischen Dokumenten erfordert die Aufarbeitung großer Mengen handschriftlicher Aufzeichnungen, archivierter Unterlagen und vereinzelter Informationen.

Wie arbeiten Historiker und Forscher eigentlich ihre jahrzehntelangen Dokumentenbestände durch, um das Wesentliche herauszufinden?

In dieser Folge von AiCR spricht Joe Furlong mit Dr. Jonathan DeCoster, Kathleen Miller und Miles Gabrielli-Burke von der University of New England über die Recherche in historischen Dokumenten, gemeindebasiertes Lernen und die Herausforderungen bei der Arbeit mit Archivmaterial. Im Gespräch wird erläutert, wie Forscher an historische Aufzeichnungen herangehen, wie Studierende an Projekten aus der Praxis mitwirken und warum die Strukturierung von Informationen oft einer der schwierigsten Aspekte des Prozesses ist.

•  Wie Historiker an die Quellenforschung und die Arbeit mit Archiven herangehen
•  Die Herausforderungen bei der Arbeit mit handschriftlichen und historischen Dokumenten
•  Gemeinschaftsbasierte Forschungsprojekte und studentisches Engagement
•  Wie der Arbeitsablauf bei historischen Dokumenten im Alltag tatsächlich aussieht

Die AiCR bietet Gespräche mit führenden Vertretern aus den Bereichen Hypotheken und Finanzdienstleistungen über Dokumentenworkflows und technologische Entscheidungsfindung.

Man könnte meinen, das Extrahieren von Text aus historischen Dokumenten sei längst gelöst. Das ist es jedoch nicht. Digitalisierte Dokumente durchsuchbar, strukturiert und für Forschungszwecke nutzbar zu machen, ist heute eine der größten Herausforderungen in der Archivarbeit. 

In Folge 8 vonAiCR spricht Joe Furlong mit Dr. Jonathan DeCoster, Professor für Geschichte an der University of New England, Kathleen Miller, Bibliothekarin und Archivarin, sowie Miles Gabrielli-Burke, einem Geschichtsstudenten, darüber, wie die Recherche in historischen Dokumenten tatsächlich abläuft, wie gemeinschaftsorientiertes Lernen in der Praxis aussieht und was passiert, wenn man Tools zur Dokumentenextraktion an handschriftlichen Gerichtsakten aus dem 18. Jahrhundert testet. 

Mit welchen Arten von historischen Dokumenten arbeiten Forscher eigentlich? 

Die Dokumente, die bei der lokalen Geschichtsforschung auftauchen, sind vielfältig und oft unerwartet. Miles Gabrielli-Burke arbeitete an einem Digitalisierungsprojekt, bei dem es um Hotelmenükarten aus dem Jahr 1939 ging, die von einem Lokalhistoriker aus Biddeford, Maine, gesammelt worden waren, dessen Familie tief in der Region verwurzelt war. Ein weiteres Projekt betraf Fotografien von Artefakten aus dem Abbey Museum, zu denen nur sehr wenige Unterlagen vorlagen. Die Herausforderung ist in all diesen Fällen dieselbe: ein physisches Dokument oder Bild so aufzubereiten, dass es durchsuchbar, strukturiert und für Forschungszwecke nutzbar ist. Diese Lücke zwischen der bloßen Existenz eines Dokuments und seiner tatsächlichen Nutzbarkeit ist der Bereich, in dem der Großteil der Arbeit tatsächlich stattfindet. 

Warum ist die Digitalisierung historischer Dokumente so schwierig? 

Ein Dokument zu fotografieren ist einfach. Den Text jedoch so aufzubereiten, dass er extrahierbar, durchsuchbar und nutzbar ist, ist eine ganz andere Herausforderung. Jonathan DeCoster beschreibt die Extraktion von Text aus handschriftlichen historischen Aufzeichnungen als eine der schwierigsten Aufgaben, die er je bewältigt hat. Die Herausforderung wird noch größer, wenn man es mit Handschriften aus vor Hunderten von Jahren zu tun hat, mit uneinheitlicher Formatierung, Abkürzungen, deren Interpretation historisches Wissen erfordert, und Dokumenten, die nie dafür gedacht waren, von einer Maschine gelesen zu werden. Ein Forscher, der Trends in Hunderten von Gerichtsverfahren erkennen möchte, kann dies nicht tun, indem er jeden einzelnen Fall einzeln liest. Der Text muss extrahiert, strukturiert und in großem Umfang organisiert werden. 

Wie gut funktionieren Tools zur Dokumentenextraktion bei historischen Unterlagen? 

Jonathan DeCoster führte einen Live-Vergleich an einem handschriftlichen Gerichtsregister aus dem Jahr 1770 durch, wobei er vier Tools einsetzte: die in Apple integrierte OCR, Adobe Acrobat, das Konvertierungstool von Google Drive undAiCR. Das Tool von Apple lieferte schlechte Ergebnisse. Adobe Acrobat konnte nicht einmal erkennen, dass Text vorhanden war. Google Drive schnitt etwas besser ab, war aber immer noch eingeschränkt.AiCR deutlich bessere Ergebnisse: Es extrahierte erfolgreich Namen, identifizierte die Rollen von Kläger und Beklagten, selbst wenn diese nur als Abkürzungen auftraten, und erkannte Ortsnamen. Es war nicht perfekt, und Jonathan vermerkte die Korrekturen, die er durch den Vergleich mit dem Originalbild vornehmen musste. Doch der Unterschied in der Ausgabequalität war erheblich, und die Möglichkeit, Hunderte von Datensätzen statt nur einen nach dem anderen zu verarbeiten, macht den Forschungswert erst wirklich deutlich. Ein separates Dokument, ein Ladenregister einer Textilfabrik mit einer Größe von acht Gigabyte und 360 Seiten voller dichter handschriftlicher Einträge, erwies sich als zu große Herausforderung, als dass es von irgendeinem Tool sauber verarbeitet werden konnte. 

Wie gehtAiCR Halluzinationen bei der Beantwortung von Fragen zu DokumentenAiCR ? 

Die Dokument-Q&A-FunktionAiCRermöglicht es Forschern, Fragen direkt zum Inhalt ihrer Dokumente zu stellen, anstatt alles manuell durchzugehen. Das System ist so konzipiert, dass es, wenn es die Antwort anhand des Dokumentinhalts nicht kennt, dies auch angibt, anstatt eine Antwort aus externen Quellen zu generieren. Die Wissensbasis beschränkt sich auf den extrahierten Dokumentinhalt. Eine Konfidenzbewertung bietet den Nutzern Transparenz darüber, wie sicher sich das System ist, wenn es einen Wert zurückgibt. Joe Furlong beschreibt das Designprinzip so, dass ein „falsches Negativ“ – bei dem das System angibt, dass es die Antwort nicht kennt – einer „Halluzination“ – bei der das System eine Antwort erfindet – vorgezogen wird. Für Forschungsanwendungen, bei denen Genauigkeit und Quellenintegrität entscheidend sind, ist dieser Unterschied von entscheidender Bedeutung. 

Wie stehen Bibliothekare und Archivare zu KI-Tools? 

Kathleen Miller, Bibliothekarin und Archivarin an der University of New England, beschreibt ihre derzeitige Haltung als skeptisch, aber offen. Ihre Bedenken konzentrieren sich darauf, wie KI-Tools in großem Umfang eingesetzt werden, auf Fragen zum geistigen Eigentum sowie auf die Zuverlässigkeit der Ergebnisse, die nach wie vor eine umfangreiche Überprüfung und Korrektur durch Menschen erfordern. Sie hat KI-Tools zur Transkription von Oral-History-Aufnahmen genutzt und fand sie nur bedingt nützlich: Sie kamen ihr zwar einem brauchbaren Transkript näher, erforderten aber durchgehend eine sorgfältige Überprüfung der Fakten. Als sie die Hotelmenüs aus dem Digitalisierungsprojekt durchAiCR laufen ließ, fand sie die Ergebnisse für getippten Text wirklich beeindruckend, da nur geringfügige Formatierungsanpassungen erforderlich waren. Ihrer Ansicht nach unterscheiden sich dokumentspezifische KI-Tools mit begrenzten Wissensdatenbanken und transparenter Konfidenzbewertung wesentlich von breit angelegten Anwendungen mit großen Sprachmodellen und stellen einen besser vertretbaren Ansatz für Archiv- und Forschungsarbeit dar. 

Wie gehen Professoren mit dem Einsatz von KI in der wissenschaftlichen Arbeit um? 

Jonathan DeCoster setzt sich mit dem Einsatz von KI in der akademischen Arbeit auseinander, indem er Projekte entwirft, bei denen Studierende Aufgaben übernehmen müssen, die KI nicht bewältigen kann. Gemeinschaftsbasierte Forschung, die den Umgang mit physischen Dokumenten, Interviews mit Mitgliedern der Gemeinschaft und den Aufbau von Datenbanken umfasst, die auf realen Forschungsentscheidungen beruhen, ist von Natur aus resistent gegen KI-Abkürzungen. Das eigentliche Lernen in der historischen Forschung liegt nicht in der Transkription. Es liegt im Lesen, Nachdenken, im Gespräch mit Menschen, im Verstehen, wer das Publikum ist, und in der Entscheidung, was das Ergebnis leisten soll. KI-Tools, die die mechanischen Teile dieser Arbeit beschleunigen, geben den Studierenden die Freiheit, sich auf die Teile zu konzentrieren, die tatsächlich Urteilsvermögen erfordern. 

Häufig gestellte Fragen zur Recherche in historischen Dokumenten 

Was ist der Unterschied zwischen Digitalisierung und der Durchsuchbarkeit von Dokumenten? 

Digitalisierung ist der Prozess der Umwandlung eines physischen Dokuments in ein digitales Bild. Um ein Dokument durchsuchbar zu machen, muss der Text aus diesem Bild extrahiert werden, damit er abgefragt, analysiert und in Forschungsdatenbanken genutzt werden kann. Viele historische Dokumente existieren nur als digitale Bilder ohne extrahierten Text, was bedeutet, dass Forscher sie nach wie vor manuell lesen müssen. Erst die Text-Extraktion in großem Maßstab ermöglicht Trendanalysen und historische Forschung in großem Umfang. 

Warum ist es so schwierig, Text aus handschriftlichen historischen Dokumenten zu extrahieren? 

Historische Handschriften weichen von den einheitlichen Buchstabenformen ab, auf die OCR-Tools trainiert wurden. Ältere Dokumente verwenden andere Abkürzungen, Formatierungsregeln und einen anderen Wortschatz. Der physische Zustand des Dokuments, verblasste Tinte, Papierverfall und die Scanqualität beeinflussen allesamt, wie gut der Text lesbar ist. Die meisten gängigen OCR-Tools versagen bei handschriftlichen Aufzeichnungen aus dem 18. Jahrhundert völlig, da sie nicht für diese Art von Dokumenten konzipiert wurden. 

WieAiCR Fragen und Antworten zu Dokumenten, ohne dabei falsche Informationen zu liefern? 

Die Dokument-Q&A-FunktionAiCRbeschränkt die Wissensbasis des Systems auf den extrahierten Inhalt der zu verarbeitenden Dokumente. Es greift nicht auf externe Quellen zurück, um Antworten zu generieren. Wenn das System unsicher ist oder die Informationen nicht im Dokument enthalten sind, gibt es einen niedrigen Konfidenzwert zurück oder gibt an, dass es die Antwort nicht kennt, anstatt eine Antwort aus Allgemeinwissen zu generieren. Durch diese Konzeption lassen sich die Q&A-Ergebnisse auf das Quelldokument zurückverfolgen.