TNA genomförde en granskning av de tillgängliga verktygen för att kunna välja ut tre till fem stycken som de kunde testa på djupet med en uppsättning egna företagsregister. Planen var att ta reda på hur verktygen klarar av att identifiera vilka register som bör eller inte bör väljas ut för permanent bevarande. Dessutom ville TNA hjälpa myndigheterna att använda AI för sorteringsprocessen. Detta innebar ett arbete av att identifiera var dessa tekniker kunde implementeras i processen eller arbetsflödet för att de sedan skulle kunna välja ut vilka digitala register som skulle överföras till Riksarkivet.
Ett väletablerat partnerskap
Iron Mountain har redan en lång och väletablerad relation med TNA, liksom flera av den brittiska regeringens största avdelningar, efter att ha hjälpt dem med digitalisering och att överföra en mängd pappersregister under ett antal år. Företaget erbjuder också InSight™-tjänster, vilka inkluderar intelligent dokumenthantering där man kombinerar Iron Mountains innehållsanalys, datahantering och informationsstyrningsexpertis med funktioner som maskininlärning (ML) och artificiell intelligens (AI). Iron Mountain valdes ut för att delta i projektet AI for Digital Selection för att förstå effektiviteten hos AI gällande digital sortering.
Möjlighet att hantera flera filformat
Iron Mountains verktyg kan hantera ett brett urval av medieformat, vilket var viktigt i detta fall eftersom det fanns fler än 100 olika filtyper som skulle bearbetas i proof-of-concept-studien, till exempel ljud-, video- och textbaserade dokument. Några av de mest obskyra formaten åsidosattesi själva testet, men det faktiska antalet filer som inte ingick i studien var väldigt lågt – lägre än 10 %. Filerna som ingår i proof-of-concept laddades sedan upp i Iron Mountains innehållstjänstplattform för att analyseras.
Vad innebar lösningen?
Fastställa vad som behövde överföras
Som en del av projektet tillhandahöll TNA Iron Mountain med märkta och omärkta datauppsättningar för att demonstrera de AI-funktioner som finns i InSight™ för att identifiera vilka register som är relevanta för sorteringsprocessen.
Ta bort känslig information
Även när det gäller filer som görs tillgängliga för allmänheten måste det finnas en tidpunkt då känslig information som inte är godkänd för utlämnande kan tas bort. I en pappersbaserad värld sker redigeringen av information av en fysisk process som är en del av en mänskligt ledd granskning – dokumenten markeras eller redigeras alltså för hand. Digitala kriminaltekniska verktyg använder sig av ett annat tillvägagångssätt – de döljer ord eller meningar och krypterar innehåll där det behövs.
En väg mot framgång
Under testet laddade Iron Mountain först upp de 17 000 testdokumenten i Googles lagringsmoln. Dokumenten bearbetades med hjälp av optisk teckenigenkänning för att göra dem fullt sökbara. InSight™ Intelligent Document Processing-plattformen klassificerade dem sedan i 20 fördefinierade kategorier med hjälp av naturlig språkbehandling (natural language processing – NLP) – en programvaruprocess som kan uttolka innehållet i ett dokument och de kontextuella nyanserna i det språk som används. Detta gjorde det möjligt för plattformen att på ett korrekt sätt extrahera informationen i filerna och skapa associationer för exempeluppsättningen för att säkerställa att det var möjligt att genomföra en meningsfull sökning.
InSights™ maskininlärningsfunktioner gjorde det möjligt för projektteamet att träna modellen i en iterativ process under projektet. I slutändan uppnådde verktyget en F1-score på över 85 %. Man kunde även se följande resultat:
- Dubletter kunde identifieras och tas bort
- Kandidatregister kunde identifieras för permanent bevarande
- Enheter inklusive organisationer och personer kunde extraheras
- Filanalys inklusive innehållssammanfattning, ålderssammanfattning m.m.
- Genomsnittliga Precision- och Recall-scores
Bevisat framgångsrikt koncept
InSight™ levererade den nivå av funktionalitet, dokumentklassificering och dubblettdetektering som krävdes. Iron Mountain är glada att kunna hjälpa Riksarkivet med detta arbete som är av nationellt intresse. Lösningen kan nu användas inom hela regeringen för att påskynda övergången av dokument från alla myndigheter via enkla ramupphandlingsförfaranden.
