Matematik, maskiner og metadata

Af Christian Boesgaard, datalog, DBC.

Metadata til materiale, der ellers ikke ville have fået det - og nye måder for mennesker og maskiner at arbejde sammen på. Det er nogle af perspektiverne i machine learning på biblioteksområdet.

Hvis man antager, at der er en sammenhæng mellem teksten i et materiale og metadata for materialet, kan man så ikke få computere til – på baggrund af teksten – at foreslå metadata?

På DBC har vi udviklet et system, der har til opgave at foreslå emneord og klassemærke på baggrund af fuldtekster. Systemet baserer sig på machine learning, og datagrundlaget er et antal artikler i fuldtekst, der allerede er tildelt metadata.

Ideen bag systemet bygger på den simple antagelse, at tekster, der ligner hinanden, har samme metadata. For at foreslå metadata til en tekst, finder systemet derfor tekster i datagrundlaget, der ligner denne, og foreslår så de samme metadata, som disse har.

I systemet repræsenteres teksterne af en delmængde af de ord, der indgår i teksterne, og teksterne sammenlignes baseret på de ord, de har til fælles. Ordene er vægtet ud fra en statistisk analyse af alle ord i alle de tekster, der indgår i datagrundlaget, og vægtene indgår i sammenligningen.

Vores foreløbige resultater viser, at resultaterne er brugbare, men at kvaliteten ikke overraskende er lavere end for manuelt produceret metadata. Det er ikke muligt at lave en præcis maskinel evaluering, da tildelingen af metadata i sidste ende er en subjektiv proces, hvor der kan være flere rigtige muligheder. En mere udførlig vurdering vil derfor først komme i forbindelse med brug af systemet. Vi starter med at tage systemet i brug som et supplerende værktøj for de medarbejdere, der katalogiserer.

Systemet skal integreres i katalogiseringsværktøjet på sigt, men det er allerede tilgængeligt som et selvstændigt system, således at man kan se forslag til emneord og klassemærke på artikler, der skal indekseres.

Fremadrettet vil vi forbedre systemet ud fra de erfaringer, vi får fra praktisk brug, men vi vil også afprøve mere avancerede machine learning-tilgange med en forventning om at forbedre resultaterne.

Det vil være oplagt at tage systemet i brug til den del af Nationalbibliografien, som ikke bibliotekskatalogiseres, og hvor der findes fuldtekster. Men en mere avanceret løsning til automatisk tildeling af metadata kan åbne nye muligheder, sådan at det bliver muligt at give metadata til praktisk talt ubegrænsede antal materialer, f.eks. alle danske online-medier eller websider.

Metadata og søgning

Formålet med metadata er at gøre det muligt for biblioteksbrugere at søge, og vi har da også kigget på, hvordan vi kan bruge analyse af metadata til at forbedre søgemulighederne. Den del af vores arbejde har dog mere eksperimentel karakter.

Noget af det, vi har arbejdet med, er at skabe relationer imellem DBC’s emneord. Disse er som udgangspunkt uden struktur, og man kan f.eks. ikke se, at emneordene ’hund’ og ’gravhund’ er relaterede, eller at ’historie’ er et bredt begreb, mens ’poker’ er et mere specifikt begreb.

Med relationer mellem emneordene ville et søgesystem kunne bruge relationerne til at give brugerne bedre mulighed for at navigere i søgeresultaterne og søge videre. For eksempel kunne relationer mellem mere og mindre specifikke emneord bruges til at foreslå en bruger en bredere eller mere specifik søgning. Det første er især interessant, da det vil gøre det muligt at søge videre fra en søgning, der ikke gav resultater, fordi den var for specifik. Men det kunne også bruges til at give overblik over emneordene i et hierarki, som man kunne browse rundt i.

For at demonstrere mulighederne har vi i første omgang beregnet en primitiv ’bredde’ for alle emneord, et tal, der angiver, hvor mange forskellige andre emneord emneordet forekommer sammen med.

Figuren nedenfor er en måde at illustrere bredden af de forskellige emneord, der forekommer sammen med emneordet ’kunstig intelligens’. Stor skrift betyder, at det pågældende emneord bruges sammen med mange andre forskellige emneord, mens mindre skrift betyder, at det bruges sammen med færre andre emneord. En søgegrænseflade ville kunne vise resultatet af en søgning på ’kunstig intelligens’ med en tilsvarende figur, og en bruger ville så kunne søge videre ved at vælge et eller flere emneord på figuren.

Visuel præsentation af emneord, der forekommer sammen med emneordet ’kunstig intelligens’. Skriftstørrelsen angiver, hvor mange andre forskellige emneord, et emneord bruges sammen med. Figuren er fra worditout.com.

Ved at afdække relationer mellem metadata tror vi på store muligheder for at stille bedre søgemuligheder til rådighed, og det er derfor noget, vi vil arbejde videre med.

Mennesker og maskiner i fremtidens metadataskabelse

På baggrund af vores tværgående arbejde med metadataskabelse, statistik og machine learning tør vi allerede nu konkludere, at DBC i fremtiden vil kunne skabe mere værdi ud fra vores data ved at analysere dem systematisk.

Der er ikke noget, der tyder på, at maskiner kommer til at erstatte mennesker i arbejdet med metadata. Mennesket er stadig langt foran maskinen, når det gælder vores evne til at forstå indholdet i et materiale. Men vi tror på, at det engang i fremtiden vil være muligt at inddrage bibliografiske kompetencer på en ny måde – sammen med machine learning – så vi kan indeksere automatisk med meget høj kvalitet.

Denne artikel er en forkortet version af artiklen med samme navn i ’Veje til viden. Bibliotekssamarbejde i 75 år’, udgivet september 2014 i anledning af 75 året for Folkebibliotekernes Bibliografiske Kontor. Læs hele artiklen.