Lavorare con documenti storici

La ricerca di documenti storici richiede l'organizzazione di grandi quantità di documenti manoscritti, fascicoli d'archivio e informazioni sparse.

In che modo gli storici e i ricercatori riescono effettivamente a districarsi tra decenni di documenti per individuare ciò che conta?

In questa puntata di The AiCR , Joe Furlong incontra il dott. Jonathan DeCoster, Kathleen Miller e Miles Gabrielli-Burke dell’Università del New England per discutere della ricerca sui documenti storici, dell’apprendimento basato sulla comunità e delle sfide legate all’analisi dei materiali d’archivio. La conversazione approfondisce il modo in cui i ricercatori affrontano i documenti storici, come gli studenti partecipano a progetti concreti e perché l’organizzazione delle informazioni è spesso una delle parti più complesse del processo.

•  Come gli storici affrontano la ricerca documentaria e gli archivi
•  Le difficoltà legate all'utilizzo di documenti manoscritti e storici
•  Progetti di ricerca basati sulla comunità e coinvolgimento degli studenti
•  Come si svolgono concretamente, giorno per giorno, i flussi di lavoro relativi ai documenti storici

AiCR propone una serie di colloqui con i principali esponenti del settore dei mutui e dei servizi finanziari, incentrati sui flussi di lavoro documentali e sui processi decisionali in ambito tecnologico.

Si potrebbe pensare che l'estrazione del testo da un documento storico sia un problema ormai risolto. Ma non è così. Rendere i documenti digitalizzati ricercabili, strutturati e utilizzabili per la ricerca è oggi una delle sfide più ardue nel campo dell'archivistica. 

Nell'ottava puntata di "TheAiCR , Joe Furlong incontra il dottor Jonathan DeCoster, professore di storia all'Università del New England, Kathleen Miller, bibliotecaria e archivista, e Miles Gabrielli-Burke, studente di storia, per discutere di come funziona concretamente la ricerca sui documenti storici, di come si concretizza nella pratica l'apprendimento basato sul coinvolgimento della comunità e di cosa succede quando si testano strumenti di estrazione di dati su atti giudiziari manoscritti del XVIII secolo. 

Con quali tipi di documenti storici lavorano effettivamente i ricercatori? 

I documenti che emergono nelle ricerche storiche locali sono di vario genere e spesso inaspettati. Miles Gabrielli-Burke ha lavorato a un progetto di digitalizzazione riguardante i menu di un hotel del 1939, raccolti da uno storico locale di Biddeford, nel Maine, la cui famiglia aveva profonde radici nella zona. Un altro progetto riguardava fotografie di reperti provenienti dall'Abbey Museum con una documentazione esistente minima. La sfida in tutti questi casi è la stessa: prendere un documento fisico o un'immagine e trasformarlo in qualcosa di ricercabile, strutturato e utilizzabile a fini di ricerca. È proprio in quel divario tra l'esistenza di un documento e la sua utilizzabilità che si svolge la maggior parte del lavoro. 

Perché la digitalizzazione dei documenti storici è così difficile? 

Scattare una foto di un documento è semplice. Rendere il testo estraibile, ricercabile e utilizzabile è tutta un'altra storia. Jonathan DeCoster descrive l'estrazione del testo da documenti storici manoscritti come una delle cose più difficili che abbia mai fatto. La sfida si complica quando si ha a che fare con una grafia risalente a centinaia di anni fa, una formattazione incoerente, abbreviazioni che richiedono conoscenze storiche per essere interpretate e documenti che non sono mai stati concepiti per essere letti da una macchina. Un ricercatore che voglia individuare delle tendenze in centinaia di casi giudiziari non può farlo leggendo ogni singolo caso. Il testo deve essere estratto, strutturato e organizzato su larga scala. 

Qual è il rendimento degli strumenti di estrazione dei dati sui documenti storici? 

Jonathan DeCoster ha effettuato un confronto in tempo reale su un registro giudiziario manoscritto del 1770 utilizzando quattro strumenti: l'OCR integrato di Apple, Adobe Acrobat, lo strumento di conversione di Google Drive eAiCR. Lo strumento di Apple ha prodotto risultati scadenti. Adobe Acrobat non è riuscito nemmeno a identificare la presenza del testo. Google Drive ha funzionato leggermente meglio, ma era comunque limitato.AiCR risultati sostanzialmente migliori, estraendo con successo i nomi, identificando i ruoli di attore e convenuto anche quando apparivano solo come abbreviazioni e riconoscendo i nomi delle città. Non era perfetto e Jonathan ha annotato le correzioni che ha dovuto apportare confrontando il risultato con l’immagine originale. Ma la differenza nella qualità dell'output era significativa, e la capacità di elaborare centinaia di documenti anziché uno alla volta è ciò che conferisce valore alla ricerca. Un documento separato, un registro di magazzino di una fabbrica tessile di otto gigabyte e 360 pagine di fitte annotazioni scritte a mano, si è rivelato troppo impegnativo per essere gestito in modo pulito da qualsiasi strumento. 

In che modoAiCR le allucinazioni nelle domande e risposte sui documenti? 

La funzione "Domande e risposte sui documenti"AiCRconsente ai ricercatori di porre domande direttamente sul contenuto dei propri documenti, anziché dover esaminare tutto manualmente. Il sistema è progettato in modo tale che, se non conosce la risposta sulla base di quanto contenuto nel documento, lo dichiari apertamente anziché generare una risposta attingendo da fonti esterne. La base di conoscenza è limitata al contenuto estratto dal documento. Il punteggio di affidabilità offre agli utenti trasparenza sul grado di certezza del sistema quando restituisce un valore. Joe Furlong descrive il principio di progettazione come la preferenza per un falso negativo, in cui il sistema dice di non sapere, piuttosto che per un'allucinazione in cui il sistema inventa una risposta. Per le applicazioni di ricerca in cui l'accuratezza e l'integrità della fonte sono importanti, questa distinzione è fondamentale. 

Qual è il punto di vista dei bibliotecari e degli archivisti sugli strumenti di intelligenza artificiale? 

Kathleen Miller, bibliotecaria e archivista presso l’Università del New England, descrive il suo atteggiamento attuale come scettico ma aperto. Le sue preoccupazioni riguardano l’ampio impiego degli strumenti di IA, le questioni relative alla proprietà intellettuale e l’affidabilità dei risultati, che richiedono ancora un notevole lavoro di revisione e correzione da parte dell’uomo. Ha utilizzato strumenti di IA per aiutare a trascrivere registrazioni di storia orale e li ha trovati di scarsa utilità: le hanno permesso di avvicinarsi a una trascrizione utilizzabile, ma hanno richiesto un’attenta verifica dei fatti durante tutto il processo. Quando ha elaborato i menu degli hotel del progetto di digitalizzazione tramiteAiCR, ha trovato i risultati davvero impressionanti per il testo digitato, con solo piccole modifiche di formattazione necessarie. La sua opinione è che gli strumenti di IA specifici per i documenti, con basi di conoscenza limitate e punteggi di affidabilità trasparenti, siano significativamente diversi dalle applicazioni di modelli linguistici ampi e generici, e rappresentino un approccio più difendibile per il lavoro di archiviazione e ricerca. 

In che modo i docenti affrontano la questione dell'uso dell'intelligenza artificiale nel lavoro accademico? 

Jonathan DeCoster affronta il tema dell'intelligenza artificiale nel lavoro accademico ideando progetti che richiedono agli studenti di svolgere compiti che l'IA non è in grado di svolgere. La ricerca basata sulla comunità, che comporta la gestione fisica di documenti, interviste ai membri della comunità e la creazione di banche dati modellate su decisioni di ricerca concrete, è intrinsecamente immune alle scorciatoie offerte dall'intelligenza artificiale. Il vero apprendimento nella ricerca storica non sta nella trascrizione. Sta nel leggere, pensare, parlare con le persone, capire chi è il pubblico e decidere cosa deve realizzare il risultato finale. Gli strumenti di IA che velocizzano le parti meccaniche di quel lavoro liberano gli studenti, permettendo loro di concentrarsi sulle parti che richiedono effettivamente un giudizio. 

Domande frequenti sulla ricerca di documenti storici 

Qual è la differenza tra la digitalizzazione e la possibilità di effettuare ricerche nei documenti? 

La digitalizzazione è il processo di conversione di un documento cartaceo in un'immagine digitale. Per rendere un documento consultabile è necessario estrarre il testo dall'immagine, in modo che possa essere oggetto di ricerche, analizzato e utilizzato nelle banche dati di ricerca. Molti documenti storici esistono solo sotto forma di immagini digitali senza alcun testo estratto, il che significa che i ricercatori devono ancora leggerli manualmente. L'estrazione di testo su larga scala è ciò che consente l'analisi delle tendenze e la ricerca storica su vasta scala. 

Perché è così difficile estrarre il testo dai documenti storici scritti a mano? 

La grafia storica non segue le forme delle lettere standardizzate su cui sono stati addestrati gli strumenti OCR. I documenti più antichi utilizzano abbreviazioni, convenzioni di formattazione e un vocabolario diversi. Le condizioni fisiche del documento, lo sbiadimento dell'inchiostro, il deterioramento della carta e la qualità della scansione influiscono tutti sulla leggibilità del testo. La maggior parte degli strumenti OCR standard fallisce completamente nel riconoscimento dei documenti manoscritti del XVIII secolo, poiché non sono stati progettati per quel tipo di documento. 

In che modoAiCR le domande e risposte sui documenti senza fornire risposte errate? 

La funzione di domande e risposte sui documentiAiCRlimita la base di conoscenza del sistema al contenuto estratto dai documenti in fase di elaborazione. Non attinge a fonti esterne per generare le risposte. Quando il sistema è incerto o le informazioni non sono presenti nel documento, restituisce un punteggio di affidabilità basso o indica di non conoscere la risposta, anziché generarla attingendo a conoscenze generali. Questa struttura rende possibile risalire al documento di origine per ogni risposta fornita.