Publicatie:TroniesAI: kan artificiële intelligentie tronies herkennen in het oeuvre van Rubens?
Met het project ‘VKC Enriched’ zet de Vlaamse Kunstcollectie samen met UGent (GhentCDH en Imec IDLab) in op verschillende mogelijkheden van artificiële intelligentie.
In het deelproject TroniesAI doet Alec Van den broeck onderzoek naar de mogelijkheid om zogeheten tronies te detecteren aan de hand van artificiële intelligentie. Contentpartners in dit deelproject zijn het KMSKA, het Rubenshuis en het Rubenianum.
Een tronie is een studie van een hoofd of een kopstuk (geen portret) dat moest dienen als model voor herhaald hergebruik in schilderijen met vele personages. Voor deze casestudy kijken we naar het oeuvre van Peter Paul Rubens. Als evaluatie gebruiken we het standaardwerk over tronies in het atelier van Rubens Corpus Rubenianum Ludwig Burchard Part XX (2) – Study Heads van Nico Van Hout (KMSKA).
| Titel | TroniesAI: kan artificiële intelligentie tronies herkennen in het oeuvre van Rubens? (Voorkeurstitel) |
| Locatie | |
| Uitgever | |
| Jaar van uitgave | 2023 |
| Rechten | CC-BY |
| Persistent ID |
Met het project ‘VKC Enriched’ zet de Vlaamse Kunstcollectie samen met UGent (GhentCDH en Imec IDLab) in op verschillende mogelijkheden van artificiële intelligentie.
In het deelproject TroniesAI doet Alec Van den broeck onderzoek naar de mogelijkheid om zogeheten tronies te detecteren aan de hand van artificiële intelligentie. Contentpartners in dit deelproject zijn het KMSKA, het Rubenshuis en het Rubenianum.
Een tronie is een studie van een hoofd of een kopstuk (geen portret) dat moest dienen als model voor herhaald hergebruik in schilderijen met vele personages. Voor deze casestudy kijken we naar het oeuvre van Peter Paul Rubens. Als evaluatie gebruiken we het standaardwerk over tronies in het atelier van Rubens Corpus Rubenianum Ludwig Burchard Part XX (2) – Study Heads van Nico Van Hout (KMSKA).
Gezichtsherkenning op kunstwerken
Omdat bestaande gezichtsherkenningssoftware (zoals bvb. Microsoft Azure Face API en Google Cloud Vision) getraind is op realistische foto’s genomen vanuit een frontaal perspectief, levert dit op schilderijen een vrij pover resultaat op. Hierdoor was het nodig om zelf een oplossing te zoeken voor gezichtsherkenning op kunstwerken. Alec Van den broeck gebruikt hiervoor de Keypoint Estimation of Pose Estimation-technieken.
Eenvoudig gesteld trachten dergelijke technieken geautomatiseerd sleutelpunten (zoals ogen, wenkbrauwen, neus, mond, kin, …) in het gezicht te detecteren. Enkele voorbeelden hiervan kan je terugvinden in Figuur 1, waar de rode punten aanduidingen zijn van de sleutelpunten.
De volgende stap in de workflow bestaat eruit om op basis van deze sleutelpunten de belangrijkste kenmerken geautomatiseerd uit het gezicht te snijden. Hoe dit eruit ziet, wordt geïllustreerd in Figuur 2.
Het is de bedoeling dat deze belangrijkste sleutelpunten uit verschillende hoofden daarna met elkaar worden vergeleken om de statistische mogelijkheid van de detectie van een tronie te kunnen afwegen.
Proefset
Aan de hand van een proefset van tronies uit het standaardwerk van Nico Van Hout proberen we de vooropgestelde workflow uit. Kan artificiële intelligentie even goed tronies herkennen als een menselijke expert? En zo ja, is artificiële intelligentie sterk genoeg om tronies te ontdekken die het menselijk oog nog niet heeft gedetecteerd? Dat onderzoeken we in het verdere verloop van het project.
Meer informatie
Bekijk de projectpagina op de website van meemoo voor meer informatie over VKC Enriched.