Publicatie:Esthetische waarde van beelden beoordelen met Visual Recognition Software
Dit pilootproject maakt deel uit van het project Operationalisering van beeldherkenning in de registratiepraktijk.
| Titel | Esthetische waarde van beelden beoordelen met Visual Recognition Software (VRS) (Voorkeurstitel) |
| Locatie | |
| Uitgever | |
| Jaar van uitgave | 2020 |
| Rechten | CC-BY-SA |
| Persistent ID |
Projectbeschrijving
Problematiek
De communicatiedienst van MoMu heeft regelmatig nood aan kwaliteitsvol, esthetisch beeldmateriaal uit hun digitale beeldarchief (lees: goed belicht, mooie compositie etc.). De beeldbank van MoMu bevat 500.000 beelden, waaronder tal van (werk)foto’s van medewerkers, die voornamelijk documentaire waarde hebben, en dus niet voor publicatie dienen. In de beeldbank bestaat de mogelijkheid om de kwaliteit van foto’s aan te geven d.m.v. een sterrenquotering, gaande van één tot vijf sterren. Omwille van de omvang van de beeldbank is het manueel quoteren van de beelden moeilijk haalbaar en wordt het in de praktijk zelden toegepast. Daardoor wordt de beeldbank onderbenut door de communicatiemedewerkers van het MoMu.
Mogelijke oplossing door VRS
De beelden worden door een VRS beoordeeld op esthetische kwaliteit. De toegekende beoordeling wordt omgezet naar een formaat dat overeenstemt met de ‘sterrenquotering’ en in de beeldbank geïmporteerd. Op deze manier kan de collectie anders doorzoekbaar worden gemaakt. Er wordt in eerste instantie een filter toegepast zodat de ‘onesthetische’ foto’s wegvallen. Daarna kunnen deze foto’s getagd worden op bepaalde (esthetische) kwaliteitscriteria.
Methodologie
| Collectie | Documentair beeldmateriaal |
| Doel | Beelden filteren of sorteren op kwaliteit |
| Methode |
|
| Tools |
|
| Resultaat | 5558 foto’s gelabeld |
Testsets verzamelen
De beelden en metadata van MoMu zijn beschikbaar in het DAMS van het museum.(software: ResourceSpace).
- In ResourceSpace werden de te verwerken beelden samengebracht in een virtuele collectie.
- Metadata van al deze beelden, zoals identifier en beschrijvende metadata, werden uitgelezen.
- De gegevens werden verder bewerkt om een publieke URL te verkrijgen die bruikbaar was voor de API van de VRS.
- De gegevens werden opgeslagen in een MongoDB-databank.
Optioneel trainen van VRS
Voor dit proces was geen training vereist
Technische uitvoering
- Resultaten van het vorige proces werden uitgelezen uit de databank.
- Een GET request werd uitgestuurd naar de API van de Esthetics service van Everypixel
- Everypixel geeft voor een beeld (User Generated Content) een score tussen 0 en 1.
- Deze score werd omgezet naar een quotering van 0 tot 5 sterren:
- 0.0 ≤ ... < 0.1: 0 sterren
- 0.1 ≤ ... < 0.2: 1 ster
- 0.2 ≤ ... < 0.4: 2 sterren
- 0.4 ≤ ... < 0.6: 3 sterren
- 0.6 ≤ ... < 0.8: 4 sterren
- 0.8 ≤ ... ≤ 1.0: 5 sterren
Evaluatie
- Gegevens werden ter validatie gepubliceerd in een Google Sheet en een image browser (zie illustratie).
- De beoordeling werd visueel uitgevoerd door een communicatiemedewerker van MoMu. Kwaliteit is niet echt meetbaar, maar de algemene indruk was dat het toekennen van een kwaliteitsscore toelaat sneller kwalitatieve beelden op te sporen.
.png)
Import in beeldbank
- De gegevens werden omgezet naar een CSV-bestand.
- Het CSV-bestand werd door de applicatiebeheerder van MoMu geïmporteerd in het DAMS. De gegevens werden in een afzonderlijk veld opgeladen, zodat het onderscheid met kwaliteitsscores die door mensen zijn toegekend duidelijk blijft.
- Het nieuwe veld werd ingesteld dat het als filter kan worden gebruikt in het zoekvenster.
Bevindingen
Het gebruik van een VRS dat beeldkwaliteit beoordeelt, levert een meerwaarde voor het doorzoekbaar maken van de collectie. Het is vooral geschikt voor die beelden waarvan de kwaliteit niet op een andere manier kan worden beoordeeld - bijvoorbeeld amateurbeelden, overbelichte beelden, slecht gekadreerde beelden, etc.. De quotering van het VRS is lang niet feilloos, maar in combinatie met andere criteria kan het er voor zorgen dat gebruikers (bv. communicatiemedewerkers) de collectie beter benutten.
Alternatieve use cases
Voor elke content partner werd individueel gepeild naar de gebruikersbehoeften. Uit de problematieken die naar boven kwamen werden steeds twee à drie mogelijke usecases geformuleerd waarbij VRS een oplossing zou kunnen bieden. Na sample onderzoek door Datable werd er gekozen voor één specifieke usecase per partner, rekening houdende met factoren zoals haalbaarheid en diversiteit. Hieronder vindt u de andere mogelijke usecases die tijdens de voorbereiding werden onderzocht.
Tagging van collectie aan de hand van training via Europeana Fashion
Problematiek
De digitale collectie op de Beeldbank van het MoMu is niet geordend en daardoor erg slecht doorzoekbaar.
Mogelijke oplossing door VRS
Er wordt gebruik gemaakt van de bestaande beeldbank Europeana Fashion en de bijbehorende thesaurus om de VRS te trainen op het herkennen van objecten, catwalkbeelden, tekeningen, … . Dit getrainde model wordt dan toegepast op de collectie van het MoMu om deze te taggen op trefwoorden. Op deze manier wordt de collectie doorzoekbaar aan de hand van deze trefwoorden.
Afbeeldingen en prenten uit modetijdschriften herkennen
Problematiek
Er zijn meer dan 100.000 pagina’s uit modetijdschriften gedigitaliseerd en er is OCR (optical character recognition) op toegepast. Men weet echter niet wat voor afbeeldingen er in de modetijdschriften staan.
Mogelijke oplossing door VRS
Via de ruwe XML Output van de OCR-bestanden kunnen de coördinaten van de afbeeldingen worden achterhaald en zo trachten we ze te isoleren. Aan de hand van VRS kan er worden gezien op welke pagina’s er afbeeldingen staan en wat er op deze afbeeldingen staat (bv. man, kostuum, hoed).