Publicatie:Best practices voor de archivering van sociale media in Vlaanderen en Brussel
Sociale media vervullen vandaag een belangrijke rol in de communicatie over diverse maatschappelijke onderwerpen door een brede waaier van actoren. Ondanks hun belang als bron voor (wetenschappelijk) onderzoek, worden ze nog steeds weinig gearchiveerd. Dit project ontwikkelt best practices voor het capteren, archiveren en ontsluiten van sociale media in Vlaanderen en Brussel en wordt ondersteund door de Vlaamse Overheid.
Titel | Best practices voor de archivering van sociale media in Vlaanderen en Brussel (Voorkeurstitel) |
Locatie | |
Uitgever | |
Jaar van uitgave | 2021 |
Rechten | CC-BY-SA |
Persistent ID |
project | archiefcollecties | digitaal geboren materiaal | digitaal archiveren | rechtenbeheer | metadata | tekst | bewegende beelden | rasterbeelden | Standaard:WARC | Software:Browsertrix-crawler | Software:Brozzler | Software:ArchiveWeb.page | Software:Instaloader | Software:Twarc | Software:Youtube-dl | Software:Tartube
Het is opgedeeld in volgende fasen:
- Fase 1: captatie en archivering van individuele social media accounts (1 september 2020 - 31 augustus 2021)
- Fase 2: captatie en archivering van social media met behulp van API’s en tools voor derden (1 september 2021 - 31 augustus 2022)
- Fase 3: toegang tot en hergebruik van gearchiveerde social media (1 september 2022 - 31 augustus 2023)
Hieronder vind je een overzicht van de gepubliceerde deliverables.
Fase 1: captatie en archivering van individuele social media accounts
Voorbereiding van de captatie van individuele accounts
We maakten een selectie van verschillende API's en tools voor captatie en stelden workflows op voor het capteren van sociale media. We hielden hierbij rekening met de noden van de contentpartners van het project en maakten handleidingen zodat iedere contentpartner zelf sociale media accounts kon archiveren:
- D1: Workflows voor de captatie van individuele accounts
- D2: Handleidingen voor zelfarchivering van individuele accounts
Er werden ook voorbereidende gesprekken opgestart i.v.m. de ingest van de te capteren sociale media streams en een workflow opgezet voor het opnemen van de sociale media archieven in het digitaal depot:
Pilootprojecten: captatie van individuele accounts
In de elf pilootprojecten capteerden de contentpartners sociale media accounts van Instagram, Twitter, Facebook en Youtube.
Ingest en preservering
Specificaties voor SIP's en AIP's voor de langetermijnbewaring van sociale media werden ontwikkeld. Meemoo en KADOC stelden elk een eigen specificatie op.
- D5: Specificaties voor SIPs en AIPs voor de archivering van sociale media accounts (aangevuld februari 2022)
Voorbereidend onderzoek in functie van het capteren van sociale media
Dit omvat de analyse van de API's en tools voor derde partijen om sociale media te capteren.
Volgende tools werden onderzocht:
- ArchiveSocial
- Archive-it
- Mirrorweb
- Bino Post Scraper
- Erado
- Pagefreezer
- Intradyn
- Socialex
Daarvan werden Pagefreezer, Archive-it en Intradyn geselecteerd om verder te testen in projectfase 2 (september 2021-augustus 2022). Er wordt ook een onderzoek uitgevoerd naar de mogelijkheden van captatie rechtstreeks via de Twitter API (bv. Academic Research API).
Meer informatie is terug te vinden in het rapport van projectfase 1.
Eindrapport fase 1
Fase 2: captatie en archivering van social media met behulp van API’s en tools voor derden
Voorbereiding van de captatie van individuele accounts en social media streams op basis van trefwoord (event based activity streams)
Het omvat het in kaart brengen van noden, bijsturing van de evaluatiecriteria, administratie voor de opstart van de test, opzetten van infrastructuur voor de test en selectie van de te capteren data streams.
Er werd een formulier opgesteld dat bij de pilootprojecten gebruikt kon worden om de gecapteerde sociale media accounts te evalueren: D1: Sjablonen van evaluatieformulieren.
Tevens werd er documentatie verzameld over de captatietools: D2: Publicatie handleidingen en documentatie over aangewende tools
Onderzoek juridisch kader en voorbereiding fase 3 toegang tot en hergebruik van gearchiveerde social media
De juridische voorwaarden voor captatie en archivering werden verder uitgediept. Om fase 3 voor te bereiden, werd een initieel onderzoek naar ontsluitingsmogelijkheden en mogelijke use cases opgestart.
- D3: Tussentijds verslag betreffende juridische voorwaarden voor captatie en archivering (niet publiek toegankelijk)
Pilootprojecten: captatie van accounts en social media streams op basis van trefwoord m.b.v. betaalde tools en API’s
Tijdens de pilootprojecten testten de contentpartners de geselecteerde betaalde tools. Zowel accounts als hashtags op Facebook, Instagram, Twitter en YouTube werden gecapteerd. Tevens werd onderzocht of het mogelijk is om een representatief archief te bekomen door de API van de verschillende platformen te gebruiken.
Evaluatie en vergelijking van methodieken uit fase 1 en 2
De verschillende methodieken uit fase 1 en fase 2 werden met elkaar vergeleken. In een rapport schuiven we een aantal methodieken naar voor die voor de beste resultaten zorgen, rekening houdend met de feedback van de contentparnters op de verschillende tools.
Ontwikkeling van een duurzaam model voor de captatie en archivering van social media in Vlaanderen
Het omvat het in kaart brengen van mogelijke workflows of samenwerkingsmodellen voor captatie, het verder uitwerken van geprefereerde workflows en samenwerkingsmodellen en een bevraging van het brede veld betreffende de mogelijke uitrol van deze workflows en samenwerkingsmodellen.
Fase 3: Toegang tot en hergebruik van gearchiveerde social media
Literatuuronderzoek naar praktijkvoorbeelden van toegang en hergebruik en interviews met erfgoedinstellingen
Er werd een diepgaand onderzoek uitgevoerd naar de praktijken van toegang en hergebruik van gearchiveerde sociale media in vergelijkbare erfgoedinstellingen in binnen- en buitenland.
Gebruikersonderzoek en onderzoek naar tools om aan de verwachtingen te kunnen voldoen
In dit werkpakket werden de noden op het vlak van ontsluiting van socialemediaberichten voor diverse gebruikers van erfgoedinstellingen verder uitgediept.
Onderzoek juridische aspecten
De juridische aspecten rond captatie, archivering en ontsluiting van sociale media werden verder onderzocht en gesynthetiseerd.
- D2: Eindrapport juridische aspecten m.b.t. de captatie, archivering en ontsluiting van sociale media
- Advies formulering missie / visie statement
- Voorbeeld overeenkomst archiefvormers
- Voorbeeld klachtenprocedure
Uitwerking van pilootprojecten betreffende toegang en hergebruik
In diverse pilootprojecten werden sociale media archieven ontsloten en hergebruikt voor verschillende doeleinden en doelgroepen, met name toegang en hergebruik door archiefvormers, academische onderzoekers, het brede publiek, onderwijzers en erfgoedwerkers zelf in het kader van gezichtsherkenning.
- D3: Verslag van de pilootprojecten betreffende toegang tot en hergebruik van gearchiveerde sociale media
- Handleiding voor het raadplegen van gearchiveerde websites en sociale media (HTML, WARC, WACZ)