Publicatie:Linked Data Event Streams
Linked Data Event Streams (LDES) is een API-technologie (application programming interface) die door IDLab van de Universiteit Gent (UGent) ontwikkeld werd om datasets die onderhevig zijn aan verandering als machineleesbare linked open data te publiceren op het web. De toepassing ervan in een erfgoedcontext werd voor het eerst getest in het project Collectie van de Gentenaar (CoGhent).
| Titel | Linked Data Event Streams (Voorkeurstitel) |
| Locatie | META nummer 2023/1 |
| Uitgever | |
| Jaar van uitgave | 2023 |
| Rechten | CC-BY-SA |
| Persistent ID |
Auteurs
Sam Donvil (meemoo, Vlaams instituut voor het archief) en Pieter Colpaert (UGent)
API’s en datadumps
Op welke manier geef je toegang tot je erfgoeddata? Via de standaard API van je collectiebeheersysteem of met behulp van een datadump? Zo’n API is een soort doorgeefluik waarlangs gebruikers je databank voor specifieke doeleinden kunnen bevragen. De ontwikkelaars van LDES stellen dat geen van beide oplossingen een goed antwoord biedt op de diverse noden van de gebruikers van je data.
De kans is klein dat de API van je collectiebeheersysteem zelf alle noden van verschillende types datagebruikers oplost. Bovendien bieden niet alle collectiebeheersystemen linked data aan, en is het zelf omzetten van je data naar linked data en ze publiceren als datadump misschien wel eenvoudiger. Maar datadumps zijn mogelijk ook geen goede oplossing. Eenmaal de data gepubliceerd zijn, verouderen ze immers snel. Al heeft een datadump wel het voordeel dat een combinatie met eender welke andere dataset mogelijk is, omdat de verwerking volledig lokaal bij de datagebruiker gebeurt.
LDES als alternatief
LDES probeert het beste van beide aanpakken te combineren door via de LDES-service continu up-to-date (linked) datadumps te publiceren die elke gebruiker op zijn eigen computer kan verwerken. In de systeemarchitectuur van CoGhent worden de collectiedata bij de bron via de API van het collectiebeheersysteem (Adlib) uitgelezen. Een extract, transform, load (ETL) pipeline extraheert dagelijks de laatste versie van de data uit het collectiebeheersysteem en transcodeert ze aan de hand van een mapping naar linked data, die vervolgens in een databank opgeladen worden. Op die databank draait de LDES-service waarlangs gebruikers de data kunnen opvragen of waarop ze applicaties kunnen bouwen.
Enkele voordelen van LDES
Data in erfgoedcollecties zijn onderhevig aan verandering. Het kan interessant zijn om de historiek en herkomst van je dataset te capteren en alle versies onveranderlijk aan te bieden. Dat is mogelijk met LDES, omdat die bestaat uit een set van onveranderlijke versies van een record en de datagebruiker alle versies van de stream kan opvragen.
De datagebruiker kan bovendien de LDES-service samen met andere databronnen (van bijvoorbeeld andere instellingen, overheidsdiensten enzovoort) gecombineerd bevragen in de voor LDES ontwikkelde Comunica-omgeving.
Verder laat de LDES-technologie jou als data-uitgever toe om de druk op je servercapaciteit te verlagen. LDES maakt immers gebruik van Linked Data Fragments. Fragmentatie laat toe om grotere datasets op te vragen en te doorzoeken door zoekvragen op te splitsen in meerdere eenvoudigere query’s. Net als bij een website worden de data in documenten gepubliceerd, en het opvragen ervan vraagt weinig capaciteit van je server.
Meer informatie
Meer informatie vind je op bit.ly/LinkedDataEventStreams