Publicatie:YouTube video's archiveren met Tartube

Samenvatting

In het kader van het project Best practices voor de archivering van sociale media in Vlaanderen en Brussel werden verschillende tools getest om verschillende sociale media platformen te archiveren. Deze handleiding beschrijft de tool Tartube, een grafische gebruikersinterface voor het archiveren van YouTube-video's. De code van websites en tools verandert voortdurend. Het is daarom mogelijk dat op een bepaald moment de tool niet meer werkt.

Referentie

Titel	YouTube video's archiveren met Tartube (Voorkeurstitel)
Locatie
Uitgever	meemoo - Vlaams instituut voor het archief
Jaar van uitgave	2021
Rechten	CC-BY-SA
Persistent ID

Trefwoorden

handleiding | archiefcollecties | digitaal archiveren | geluid | bewegende beelden | Software:Ffmpeg | Software:Youtube-dl

Tartube is een opensource grafische gebruikersinterface gebouwd op de code van youtube-dl. De tool is compatibel werkt op Windows, Linux en macOS. Met Tartube is het mogelijk om YouTube video's te archiveren op basis van de URL van specifieke videos, YouTube-kanalen, afspeellijsten en live-streams.

Installatie

Voor Windows en Linux zijn er officiële executables, Tartube voor macOS dient manueel geïnstalleerd te worden via de command line

Windows

Ga naar de website van Tartube, download en installeer de 64bit installer.

macOS

De onderstaande instructies zijn verschillend per type Mac computer afhankelijk van het soort processor dat er in je computer zit. Zoek eerst uit welke processor er in je computer zit. Intel of ARM (Apple M1).

Mac Computer met ARM processor (Apple M1)

Volg de onderstaande instructies om Tartube te installeren op een Mac computer met een ARM Chip ook wel Apple M1 genoemd. De instructies komen van de Tartube Github repository staan, vertaald en overgenomen op 07/09/2023. Leest u dit meer als 6 maanden later is het best om Github te raadplegen voor up to date instructies en ons te emailen als er hier updates nodig zijn.

Start! Voer de onderstaande instructies uit in de Terminal

• Installeer eerst Python 3 via deze handleiding

• Installeer cairo pkg-config python

brew install cairo pkg-config python

• Installeer Gtk 3:

pip3 install pycairo

install gobject-introspection gtk+3

• Installeer de Python Requests module

pip install requests

• Installeer youtube-dl of yt-dlp

pip install youtube-dl

pip install yt-dlp

• Installeer het thema voor de iconen in Tartube:

brew install adwaita-icon-theme

• Installeer vervolgens ffmpeg:

brew install ffmpeg

• Installeer Tartube

pip3 install tartube

Mac computer met Intel processor

Deze instructies zijn voor Mac computer met een intel processor. De instructies zijn gebaseerd op de documentatie van Tartube vertaald en overgenomen op 07/09/2023 om deze handleiding te updaten. Leest u dit meer als 6 maanden later is het best om Github te raadplegen voor up to date instructies en ons te emailen als er hier updates nodig zijn.

Voer de onderstaande instructies uit in de Terminal

• Installeer eerst Python 3 via deze handleiding

• Kopieer en plak de volgende commando's in een nieuw terminal venster:

brew install pkg-config

brew install cairo

brew install python

• Installeer Gtk 3:

pip3 install pycairo
brew install gobject-introspection
python3 -m pip install PyGObject
brew install gtk+3

• Installeer de Python Requests module

pip install requests

• Installeer youtube-dl of yt-dlp

pip install youtube-dl

pip install yt-dlp

• Installeer het thema voor de iconen in Tartube:

brew install adwaita-icon-theme

• Installeer vervolgens ffmpeg:

brew install ffmpeg

• Installeer Tartube

pip3 install tartube EN pip3 install PyGObject

Klaar!

Problemen? Probeer de troubleshooting tips in de Tartube documentatie

Linux

Voor linux platformen zijn er verschillende opties.

Er zijn ook enkele DEB / RPM-pakketten gemarkeerd met STRIKT. In deze pakketten zijn updates voor youtube-dl vanuit Tartube uitgeschakeld.

Debian

Voor distributies gebaseerd op Debian, zoals Ubuntu, Linux Mint en BSD is er een .deb package beschikbaar.

• Ga naar de Tartube GitHub releases pagina en download de python3-tartube_x.x.x.deb release naar een logische plek bijvoorbeeld /home/jouwgebruikersnaam/Documents/tools/

• Doe een rechtermuisklik op het python3-tartube_x.x.x.deb-bestand en selecteer Install Package.

Of installeer het packet met het volgende command dpkg -i ~/Documents/tools/python3-tartube_x.x.x.deb (vervang de naam "python3-tartube_x.x.x.deb" met de werkelijke bestandsnaam)

• installeer ffmpeg indien het nog niet geïnstalleerd is via het commando sudo apt install ffmpeg.

• Tartube vereist een installatie van youtube-dl. Als youtube-dl nog niet is geïnstalleerd is:
  • start Tartube
  • klik op Operations en selecteer Update youtube-dl.

RHEL

Linux distributies gebaseerd op RHEL zoals Fedora kunnen het RPM pakket gebruiken.

• Ga naar Tartube Downloads en download het Tartube-installatiebestand voor RHEL gebaseerde distributies.

• Download het bestand naar de Downloads folder, en voer het volgende commando uit om Tartube te installeren: sudo rpm –i tartube-2.3.110.rpm.

Youtube-dl, ffmpeg en pip dienen geïnstalleerd te zijn. Zonder youtube-dl kan Tartube geen video's van Youtube downloaden; ffmpeg is nodig voor post-processing. Zonder pip kan youtube-dl niet geïnstalleerd worden.

Installeer deze met de volgende commando's in een nieuw terminal venster.

• Installeer pip met dnf -y install python3-pip
• Installeer youtube-dl met pip3 install youtube-dl
• Installeer ffmpeg
  • sudo dnf -y install https://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-$(rpm -E %fedora).noarch.rpm
  • sudo dnf -y install https://download1.rpmfusion.org/nonfree/fedora/rpmfusion-nonfree-release-$(rpm -E %fedora).noarch.rpm
  • sudo apt-get install ffmpeg

Arch

Distributies gebaseerd op Arch, zoals Manjaro, kunnen gebruik maken van het semi-officiële AUR pakket.

Open een nieuw terminal venster en voer de volgende command's uit:

• git clone https://aur.archlinux.org/tartube.git
• cd tartube
• makepkg -si

Installatie van ffmpeg is aangeraden

• installeer ffmpeg met het volgende commando: sudo pacman -S ffmpeg

Meer

Ga naar de Tartube website voor meer distributies en installatieprocedures, zoals Gentoo en no-root via PyPI.

Tartube configureren

Eerste start

Start Tartube en selecteer een folder waar de video's moeten worden opgeslagen die via Tartube worden gedownload.

Selecteer een downloader, yt-dlp wordt aangeraden door tartube.

Klik op de "Install and update downloader" om de yt-dlp versie up te daten of te installeren.

Dit kan even duren:

Als de update klaar is, klik op "Next".

klik op de knop "Install FFmpeg", om er voor te zorgen dat video's kunnen geconverteerd worden.

Als de installatie faalt, klik opnieuw op de knop "Install FFmpeg".

Als alles goed is zou nu FFmpeg moeten geïnstalleerd zijn. Klik op "Next" om de setup af te ronden.

Klik op "Ok" om Tartube te starten.

Het handige aan Tartube is dat je al de instellingen kan kiezen op voorhand in een grafische user interface in plaats van configuratie bestanden zoals bij youtube-dl moet gebeuren om hetzelfde te bereiken en dat alle video's die moeten worden gearchiveerd in de toekomst onderheven zijn aan die instellingen.

Met Tartube open, selecteer "Edit" en vervolgens, "General Download Options". Het volgende menu "Name" laat toe om de programma instellingen op te slaan onder een naam, bijvoorbeeld alle instellingen voor deze handleiding krijgen de naam "archivering". Als er door conflicterende instellingen problemen bij het downloaden/processing zouden ontstaan, kan je met de onderste knop de instellingen terug naar standaard zetten. Voor verder te gaan, klik op de knop "Show advanced download options".

Bestanden

Met het venster "General Download Options" open, navigeer naar de tab "Files". Deze opties hebben betrekking tot de uiteindelijke bestandsnaam van de gearchiveerde video en bijhorende bestanden. Er zijn verschillende mogelijkheden, de vooringestelde combinaties zoals hieronder te zien op de afbeelding.

Gebruik de menus en de "add" knoppen om zelf een sjabloon samen te stellen voor de benaming van de gearchiveerde video's.

De volledige lijst van benamingsopties is [via de youtube-dl documentatie] te raadplegen. Voor deze handleiding is er na overleg gekozen voor het volgende sjabloon %(upload_date)s-%(id)s.%(ext)s.

In de tab "Write/Move Files", selecteer alle opties onder "File write options" normaliter is dat standaard al het geval. De opties onder "File move options" zorgen ervoor dat de bestanden in subfolders terecht komen, de extra bestanden (video-miniaturen/thumbnails, video beschrijving/description) worden weggeschreven naar generieke sub-mappen/sub-folders ".data" en ".thumbs" in de download locatie, terwijl het metadata bestand nog altijd zonder subfolder wordt weggeschreven. Door deze onregelmatigheden van de tool is het voorlopig niet aangeraden de opties te gebruiken omdat het zorgt voor een onoverzichtelijk bestandsopslag, dit kan veranderen in de toekomst.

Navigeer naar de tab "Keep files" en selecteer alle opties, op deze manier worden alle bestanden, zoals de beschrijving, metadata bestand, description bestand en de miniatuur opgeslagen samen met de video in de download map.

Formaat selecteren

Het is mogelijk om een preferentie lijst van video formaten te maken in Tartube. Tartube gaat deze lijst aflopen en altijd proberen om het formaat dat op de eerste plaats staat te downloaden, als het eerte formaat niet beschikbaar is download Tartube de volgende in de lijst, enzovoort. Met Tartube open, klik op "Edit" en vervolgens op "General download options...".

Verplaats de gewenste formaten naar het rechtervak, selecteer vervolgens "mkv" bij "If a merge is required after post-processing, output to this format". Als er streams moeten worden samengevoegd converteer de streams naar 1 mkv container.

Selecteer de tab "Advanced" en vink de volgende opties aan. Als dit menu niet zichtbaar is, klik op de knop "Show advanced download options" in het "Files" menu.

"From the preffered list, download the first format that's available for all videos" gaat er voor zorgen dat voor elke video die via Tartube gedownload wordt het eerste formaat gezocht wordt indien beschikbaar, zo niet, probeert Tartube het volgende formaat in de rij te downloaden. Deze instelling geld voor alle video's.

De optie "Prefer free video formats, unless one is specified above" onder "Other format options", is optioneel. Kortweg, zorgt deze optie ervoor dat open-source video formaten worden geprefereerd. In het geval dat bijvoorbeeld een webm stream en een mp4 stream beschikbaar zijn, zal de webm stream gedownload worden. Enkel in het geval dat de bitrate van webm hoger is dan de mp4 stream, als dat niet het geval is, en de webm stream heeft een lagere bitrate zal de mp4 stream gedownload worden.

Post-processing

In het "Post-processing" menu selecteer de volgende opties.

De opties zorgen er voor dat wanneer er post-processing nodig is van de video streams er altijd MKV zal gekozen worden als eindformaat. Net zoals het invoegen van de ondertitels wanneer nodig.

Subtitles

Open de ondertitel instellingen via de "Subtitles" tab, selecteer onder de tab "Options" de volgende opties.

Tijdens het testen van Tartube zijn er een aantal onregelmatigheden naar boven gekomen, door een bug in Tartube zal de optie "Download subtitles for these languages" altijd de engelse ondertitels downloaden. Andere talen lijken voorlopig genegeerd te worden. Als het de bedoeling is om andere ondertitels te downloaden selecteer de optie "Download all available subtitles", deze optie, gaat alle beschikbare ondertitels downloaden. Ga naar de tab "More options"

Vink de optie "During post-processing, merge subtitles file with video" aan. Ondertitels worden niet bij in de MKV container toegevoegd.

Gebruik

Het gebruik van Tartube is voor aparte video's, kanalen, afspeellijsten en live-streams hetzelfde.

Mappen

Gebruik het map icoontje in het hoofdvenster om een map toe te voegen, deze zal worden aangemaak op de plaats die werd gekozen bij de eerste keer dat Tartube werd opgestart. Het is mogelijk om je bestandsbeheer volledig via Tartube te beheren, het maken van submappen en nieuwe alleenstaande mappen.

• All Videos toont alle video's die via Tartube zijn gedownload

• Bookmarks toont de video's die je hebt gebookmarked
• Favourite Videos toont de video's die je als favoriet gemarkeerd hebt
• "Livestream" map geeft een overzicht van de lopende live-streams, als de live-streams afgelopen zijn komen ze in de gekozen map terecht worden ze verwijderd uit deze map.
• Missing Videos laat alle video's zien die gedownload zijn maar verwijderd zijn door de uploader van de online bron/youtube-kanaal
• New Videos laat alle video's zien die gedownload zijn maar nog niet bekeken.
• Recent Videos toont alle video's die gedownload of gecheckt werden de laatste keer dat youtube-dl werd gebruikt
• Waiting Videos toont video's die nog moeten bekeken worden, erna worden de video's verwijderd uit de map maar niet uit de databank.
• Temporary Videos bevat tijdelijke video's en wordt leeggemaakt iedere keer dat Tartube opgestart wordt.
• Unsorted Videos is de map waar andere videos in opgeslagen kunnen worden die nergens anders bij horen.

Nieuwe map maken

Klik op het folder icoon om te starten en volg de instructies op de screenshot hieronder

De optie om de nieuwe folder aan te maken als een subfolder van een al bestaande map zit onder de optie (Optional) Add this folder inside another folder.

Video's downloaden

Tartube kan zowel aparte video's, YouTube-kanalen, afspeellijsten en live-streams downloaden op basis van de URL.

Het downloaden van live-streams is pas compleet als de live-stream stopt. Dan wordt het bestand finaal geschreven en opgeslagen in het systeem.

YouTube-Video archiveren

Klik op de map waar de video naar moet gedownload worden en klik op het camera knop links-boven, plak de url van de video, of afspeellijst in het dialoog venster van Tartube.

Druk vervolgens op de download knop bovenaan om het downloaden te starten

Of gebruik de knop "Download all" onderaan de mappenlijst.

Als alles goed is, is de youtube video opgeslagen met aangepaste bestandsnaam (Datum-ID-.mkv), samen met de beschrijving in de vorm van een .description bestand, een metadata.json bestand, de thumbnail.

De ondertitels, de metadata met onder andere de video URL, beschrijving en titel zijn ingevoegd in het MKV bestand.

In VLC-Player ziet dat uiteindelijk er zo uit.

YouTube-kanaal archiveren

Ga naar het YouTube kanaal dat dient gearchiveerd te worden en kopieer de URL. Bijvoorbeeld het YouTube-kanaal "Computerphile" fzy als URL "https://www.youtube.com/user/Computerphile" heeft

1. Klik op de "Add a new channel" knop links-boven.
2. Vul de naam van het kanaal in
3. Plak de URL van het YouTube-kanaal
4. Selecteer een map waar de video's naartoe moeten gedownload worden, er zal standaard een nieuwe map worden aangemaakt met de naam van het kanaal.
5. Klik op "Ok"

Druk vervolgens op de download knop bovenaan om het downloaden te starten

Of gebruik de knop "Download all" onderaan de mappenlijst.

Live-stream archiveren

Live-streams toevoegen werkt op dezelfde manier als aparte video's.

Klik op de map waar de video naar moet gedownload worden en klik op het camera knop links-boven, plak de url van de video, YouTube-kanaal of afspeellijst in het dialoog venster van Tartube.

Livestreams die nog niet gestart zijn kunnen worden toegevoegd, Tartube checkt om de zoveel minuten of de livestream al gestart is en begint als dat het geval is met downloaden.

• Livestreams die gestart zijn krijgen een groene achtergrond, als de livestream is afgelopen veranderd die naar een standaard grijze achtergrond.
• Een livestream die nog niet begonnen is heeft een rode achtergrond.
• Het "premiere" en "debut" gedeelte van een YouTube livestream wordt weergegeven in cyaan wanneer de livestream speelt en oranje voor de "Premiere" begint.

Het uiteindelijke bestand is pas "klaar" wanneer de livestream is afgelopen, de download afbreken leid tot een bestandsnaam.mp4.part bestand, een onaf bestand.

Archiveren/Download plannen

Voor archiveringsdoeleinden is het handig om Tartube in de achtergrond nieuwe YouTube-video's te laten archiveren.

Ga naar "Edit" en vervolgens naar "System preferences", geef de planning instellingen een naam en klik op "Add" een volgend venster gaat open om de opties van de planning aan te passen.

Pas de opties naar wens aan, onder het "Media" is het mogelijk om de instellingen enkel toe te passen op een bepaald kanaal.

Selecteer het kanaal in het menu rechtsonder dat onderheven moet zijn aan de geplande download instellingen en klik vervolgens op "Add".