Publicatie:Spraak-naar-tekst transcriptie met NoScribe
Dit is de handleiding voor Noscribe. NoScribe is een gratis open source tool ontwikkeld door Kai Dröge om audio- en videomateriaal te transcriberen of te voorzien van ondertitels.
| Titel | Spraak-naar-tekst transcriptie met NoScribe (Voorkeurstitel) |
| Locatie | |
| Uitgever | |
| Jaar van uitgave | 2024 |
| Rechten | CC-BY |
| Persistent ID |
Inleiding
De tool combineert verschillende opensource technologieën in een grafische gebruikersinterface om kwaliteitsvolle transcripties te maken. Er wordt in de achtergrond Whisper AI gebruikt ontwikkeld door OpenAI en faster-whisper ontwikkeld door Guillaume Klein en Pyannnote ontwikkeld door Hervé Bredin voor de sprekersidentificatie functionaliteit.
Het is mogelijk om verschillende sprekers te identificeren met S00, S01, S02 etc. Er worden tijdscodes toegevoegd aan de transcriptie. Stopwoorden en gelach en "Euhm's" worden overgeslaan en pauzes worden gemarkeerd met "(..)". Sommige onderdelen van een opname kunnen dus verloren gaan, voor sommige onderzoeker zijn dezel elementen belangrijk het is daarom belangrijk om de transcripties te overlopen en eventueel aan te passen op fouten, geen enkele automatische transcriptie is foutloos. Na het transcriberen is het mogelijk om de transcriptie te bewerken in een ingebouwde tekstverwerker met de mogelijkheid om de audio te beluisteren in de achtergrond om de transcriptie te vergelijken met de opname.
NoScribe kan worden geinstalleerd op Windows, Mac of Linux. De automatische transcripties gebeuren offline, er is geen internet verbinding nodig na de installatie. Een potentieel nadeel is dat het transcriberen heel traag kan gaan op oude of niet performante computers. Hoe krachtiger de computer hoe sneller de transriptie zal gaan. Op een relatief krachtige laptop was het mogelijk om een audio opname van 10 minuten met verschillende sprekers in het Nederlans te transcriberen in 6 minuten. NoScribe wordt op het moment van schrijven actief verder ontwikkeld dus bugs zijn niet uit te sluiten. Op windows kan het bijvoorbeeld gebeuren dat de "Start" knop niet zichtbaar is bij het openen van het programma, het volstaat gelukkig om het venster naar onder te vergroten om het onderdeel zichtbaar/bruikbaar te maken. Whisper AI het automatische transcriptie systeem in de achtergrond kan de neiging hebben om te hallucineren tijdens stiltes, door dat het de achtergrond interpreteerd als tekst. Meertalige audioopnames worden niet ondersteund. De Sprekersidentificatie functie is niet 100 % accuraat en kan soms meerdere sprekers noteren dan er in werkelijkheid zijn.
Installatie
NoScribe werkt op Windows, MacOs en Linux.
Windows
Op Windows zijn er 2 keuzes, afhankelijk of je een computer hebt met een geintegreerde grafische kaart (GPU) of een aparte Nvidia grafische kaart. NoScribe kan de transcriptie sneller uitvoeren met behulp van je Nvidia GPU, enkel Nvidia grafische kaarten worden ondersteund. Om te checken of je computer een aparte nvidia grafische kaart heeft open taakbeheer met ctrl+shift+esc en navigeer naar het "Performance" menu.
Zoek hier naar een GPU van het merk Nvidia EN check of het video geheugen of VRAM 6GB is of hoger, gevonden? Ga verder met de installatieinstructies vanaf hier.
Zo niet ga verder met onderstaande installatieinstructies.
Voor computers met een geintegreerde gpu
Ga naar en klik op de link onder "The general purpose version for normal PCs without a NVIDIA graphics card" Normaal gezien is dat een "drive.switch" link naar een online folder.
Klik daar op de "noScribe_setup_0_5_1.exe" link, een download zou moeten starten.
Na het downloaden (wat even kan duren) installeer vervolgens noscribe zoals andere software. Het starten van installatie kan even duren. Als je een melding krijgt "Windows protected your PC" klik op "Run anyway". Windows vind open source software wel vaker verdacht in dit geval is het een false positive en is noscribe veilig om te gebruiken.
- Er is een aparte bug bij deze versie van noscribe waar je potentieel tegenaan kan lopen, gelukkig is het gemakkelijk op te lossen.
Het start scherm van noscribe wordt soms verkeerd geschaald waardoor het scherm er zo uit ziet:
In plaats van zo:
- Klik en sleep het onderste gedeelte van het noscribe venster om de start knop zichtbaar te maken.
(Dit probleem is gemeld op de noScribe github, de ontwikkelaars zijn op de hoogte van het probleem)
Tot hier de installatie van noscribe
Voor computers met een aparte gpu
Volg deze link en klik op de de link onder "A special version using CUDA acceleration on NVIDIA graphics cards with at least 6 GB of VRAM:".
- Klik op de beide bestanden op de website "noScribe_Setup_0_5_cuda.exe" en "noScribe_setup_0_5_cuda.nsisbin" om ze te downloaden.
Dit kan lang duren, vooral het het nsisbin bestand is groot.
- Om succesvol gebruik te maken van de aparte grafische kaart bij het transcriberen moet ook een correcte installatie van Nvidia CUDA toolkit aanwezig zijn. Dit zorgt er voor dat noScribe de kracht van de GPU kan benutten om het transcriptieproces te versnellen.
- Om de juiste CUDA versie te installeren moeten we de GPU Driver versie vinden.
- Zoek naar "Nvidia control panel" en open het programma en druk op enter om het programma te openen.
- Klik vervolgens op "Help" en dan op "System Information
- In het volgende menu "System information"
- Onder "Details" staat er een lijn "Driver version:"
- Vergelijk nu het Driver nummer met deze tabel om te weten te komen wel CUDA versie compatibel is met jouw grafische kaart.
- Ga vervolgens naar deze website om de juiste versie te downloaden.
Wanneer alle noscribe bestanden en de CUDA toolkit bestanden gedownload zijn...
- Installeer eerst de Nvidia CUDA toolkit.
- Herstart je computer
- Met het noScribe_setup_0_5_1.exe setup bestand en de nsisbin bestand in dezelfde map, start te installatie van noscribe.
- Dubbelklik het noScribe_setup_0_5_1.exe bestand, het kan even duren eer de setup start, geduld.
Wanneer de installatie van noscribe is afgerond, open noscribe.
* Er is een aparte bug bij deze versie van noscribe waar je potentieel tegenaan kan lopen, gelukkig is het gemakkelijk op te lossen.
Het start scherm van noscribe wordt soms verkeerd geschaald waardoor het scherm er zo uit ziet:
In plaats van zo:
- Klik en sleep het onderste gedeelte van het noscribe venster om de start knop zichtbaar te maken.
(Dit probleem is gemeld op de noScribe github, de ontwikkelaars zijn op de hoogte van het probleem)
Tot hier de installatie van noscribe.
Mac
Afhankelijk van het soort processor en de versie van je besturingssysteem (MacOs) dien je een specifiek installatie bestand te downloaden en insatllatieprocedure te volgen. Identificeer de processor van je computer, klik op het Appel icoontje, linksboven en selecteer "About this mac".
In het volgende menu naast "Chip" of "Processor" zou er een model moeten staan. Voor een Mac met een "Apple MX" chip:
Als je computer een Apple MX chip heeft start hier met de insatllatieprocedure hier
Als je mac wat ouder is (ouder dan 2020) is de kans groot dat je een "Intel Processor" vermelding zal vinden.
In het geval dat je mac uitgerust is met een intel processor. Kijk ook welke macOS versie loopt op je computer. Voor intel computers met macOS Sonoma (14) of Sequoia (15) start hier met de insatllatieprocedure
Als er je computer macOS macOS 11 (Big Sur), 12 (Monterey) of 13 (Ventura) gebruikt start hier met de installatie procedure
Voor nieuwe macs met een M1, M2, M3 of M4 processer (CPU).
- Dubbelklik op het gedownloade dmg-bestand en sleep noScribe en noScribeEdit naar de link naar uw toepassingsmap (met het label 'drag both here to install').
- Je hebt Apple Rosetta2 Intel Emulator nodig (meer info) omdat ffmpeg, een onderdeel in noscribe niet of nog niet compatibel is met de Mx CPU's. Ffmpeg wordt door noScribe gebruikt om video en audio bestanden te converteren naar het .WAV formaat om de transcriptie te faciliteren.
- Installeer Rosetta2 manueel,
- Open de terminal met cmd + spatie, zoek vervolgens naar "Terminal" en druk op enter. Of navigeer naar de map /Applications/Utilities/ en open de "Terminal.app".
- Met de terminal open kopieer het volgende commando
softwareupdate --install-rosetta or softwareupdate --install-rosetta --agree-to-licenseen druk op enter om het commando uit te voeren. - Volg vervolgens de instructies op het scherm om de rosetta2 software van apple te installeren.
- Dubbelklik tenslotte op noScribe applicatie in de Applicaties folder om het noScribe programma te starten.
Voor oudere macs met een intel CPU en macOS Sonoma (14) of Sequoia (15)
Ga naar deze pagina om de correcte installer (noScribe_0.5.0b_x86_64_unsigned.dmg) te downloaden.
Bericht van de ontwikkelaars: "Helaas kunnen we het x86_64-pakket momenteel niet correct ondertekenen, dus u krijgt een waarschuwing dat noScribe en noScribeEdit van niet-geregistreerde ontwikkelaars zijn. U moet handmatig toestaan dat noScribe en noScribeEdit worden uitgevoerd als uw Gatekeeper actief is."
Dus je moet je computer geruststellen dat de software veilig genoeg is om te openen en te gebruiken.
- Dubbelklik op het gedownloade dmg bestand
- Sleep noScribe en noScribeEdit naar de link naar je Applicatie folder gelabeld "drag both here to install", je kan ook in een nieuw finder venster je Applicatie folder open zetten en beide bestanden daar in slepen.
- Dubbelklik nu op noScribe in je applicatie folder alsof je het programma zou starten.
- Er gaat een error tevoorschijn komen met de melding dat noScribe van een niet-geregistreerde ontwikkelaar komt
- Ga naar Systeem Instellingen, Privacy en Beveiliging/Privacy and Security, Scroll naar beneden tot je een bericht ziet dat het starten van noscribe werd vermeden en klik op "Open toch" of "Open anyway".
- Doe hetzelfde met noScribe Editor, Dubbelklik en normaal zou je ook een melding moeten krijgen
- Ga weer naar hetzelfde onderdeel in Systeem Instellingen, Privacy en Beveiliging/Privacy and Security, Scroll naar onder tot je het bericht ziet dat noscribe edit niet gestart werd en klik op "Open toch" of "Open anyway".
Vanaf nu zouden beide programmas gewoon moeten openen als je ze opstart.
Voor oudere macs met een intel CPU en macOS 11 (Big Sur), 12 (Monterey) and 13 (Ventura)
Open deze link en download het installatiebestand (noScribe_0.5.0_x86_64_unsigned_legacy.dmg).
Bericht van de ontwikkelaars: "Helaas kunnen we het x86_64-pakket momenteel niet correct ondertekenen, dus u krijgt een waarschuwing dat noScribe en noScribeEdit van niet-geregistreerde ontwikkelaars zijn. U moet handmatig toestaan dat noScribe en noScribeEdit worden uitgevoerd als uw Gatekeeper actief is."
Dus je moet je computer geruststellen dat de software veilig genoeg is om te openen en te gebruiken.
- Dubbelklik op het gedownloade dmg bestand
- Sleep noScribe en noScribeEdit naar de link naar je Applicatie folder gelabeld "drag both here to install", je kan ook in een nieuw finder venster je Applicatie folder open zetten en beide bestanden daar in slepen.
- Dubbelklik nu op noScribe in je applicatie folder alsof je het programma zou starten.
- Er gaat een error tevoorschijn komen met de melding dat noScribe van een niet-geregistreerde ontwikkelaar komt
- Ga naar Systeem Instellingen, Privacy en Beveiliging/Privacy and Security, Scroll naar beneden tot je een bericht ziet dat het starten van noscribe werd vermeden en klik op "Open toch" of "Open anyway".
- Doe hetzelfde met noScribe Editor, Dubbelklik en normaal zou je ook een melding moeten krijgen
- Ga weer naar hetzelfde onderdeel in Systeem Instellingen, Privacy en Beveiliging/Privacy and Security, Scroll naar onder tot je het bericht ziet dat noscribe edit niet gestart werd en klik op "Open toch" of "Open anyway".
Vanaf nu zouden beide programmas gewoon moeten openen als je ze opstart.
Linux
Er zijn nog geen officiele installatieinstructies voor Linux, Voorlopig zijn er deze instructies voor Ubuntu: opgesteld door iemand die noScribe aan de praat heeft gekregen op Ubuntu.
Opmerking: De procedure hieronder maakt gebruik van een Python virtuele omgeving. Zorg ervoor dat Python en pip geïnstalleerd zijn.
- Download en pak de laatste NoScribe broncode uit van https://github.com/kaixxx/noScribe/releases.
- Download en pak de laatste NoScribeEdit broncode uit van https://github.com/kaixxx/noScribeEditor.
- Zet de NoScribeEditor-map in de NoScribe-map die je eerder hebt gedownload en hernoem de NoScribeEditor-map naar noScribeEdit.
- Open een terminal en ga naar de NoScribe-map (cd in de NoScribe-map).
- Voer de volgende commando's uit:
python3 -m venv .venv # je moet mogelijk python3 vervangen door python, afhankelijk van de versie van Python die geïnstalleerd is.
source .venv/bin/activate
pip install -r environments/requirements_linux.txt
pip install -r noScribeEdit/environments/requirements_macOS.txt # Ja, het zegt macOS, maar er is op dit moment geen Linux vereistenbestand.
- Download alle bestanden van https://huggingface.co/guillaumekln/faster-whisper-large-v2/tree/main en zet ze in de map models/faster-whisper-large-v2 binnen je NoScribe-map.
- Download alle bestanden van https://huggingface.co/guillaumekln/faster-whisper-small/tree/main en zet ze in de map models/faster-whisper-small binnen je NoScribe-map.
- Bewerk het bestand noScribe.py zoals volgt om NoScribeEditor te kunnen openen vanuit NoScribe:
- Bewerk regel 566 zodat deze er als volgt uitziet:
program = os.path.join(app_dir, 'noScribeEdit', "noScribeEdit.py")
- Bewerk regel 578 zodat deze er als volgt uitziet:
Popen(['python3', program, file], **kwargs) # je moet misschien python in plaats van python3 gebruiken, afhankelijk van je omgeving
- Bewerk regel 580 zodat deze er als volgt uitziet:
Popen(['python3', program], **kwargs)
NoScribe starten:
- Open een terminal en ga naar de directory waar de NoScribe-bronbestanden zich bevinden.
- Activeer je virtuele omgeving met:
source .venv/bin/activate
- Voer het volgende commando uit:
python3 noScribe.py
HiDPI probleem:
Als je een HiDPI-scherm hebt, kunnen het NoScribe-venster en de tekst erg klein zijn.
Je kunt de volgende regels toevoegen aan het bestand noScribe.py na regel 70:
ctk.set_widget_scaling(2) # widgetdimensies en tekstgrootte / pas de waarde aan zoals gewenst
ctk.set_window_scaling(2) # venstergeometrie / pas de waarde aan zoals gewenst
Opmerking: Soms, wanneer je een bestandsnaam selecteert om op te slaan, ontbreekt de punt voor de extensie standaard, wat een fout veroorzaakt. Voeg de punt handmatig toe.
Gebruik
Open noScribe, dit kan op zich al even duren eer je een interface ziet, even geduld, als noScribe start of je de blauwe "Start" knop kan zien , zo niet, maak het venster wat groter naar onder toe.
- "Audio file:", Klik op het blauwe mapje om je audio of video bestand te selecteren dat getranscribeert moet worden, video bestanden zullen automatisc in de achtergrond geconverteerd worden naar .wav (zonder het originele bestand te overschrijven).
- "Save Transcript as:", Klik op het blauwe mapje om de doelmap van je transcriptie te selecteren, en selecteer het formaat, html om je transcriptie te bewerken in de ingebouwde editor, .txt om je transcriptie op te slaan als een standaard tekstbestand of .vtt om een ondertitel bestand te maken.
- "Start (hh:mm:ss):", Geef hier aan vanaf wanneer in het bronbestand de transcriptie moet starten, hh= uur, mm= minuten, ss= seconden.
- "Stop (hh:mm:ss):", Geef aan tot wanneer in het brongbestand de transcriptie moet uitgevoerd worden, een transcriptie maken van enkel de eerst 5 minuten, kan in dit veld met bijvoorbeeld: "00:05:00".
- "Language:", Selecteer de gesproken taal van het bronbestand, gebruik de optie "Auto" om Whisper te laten analyseren welke taal er gesproken wordt. Er worden 100 talen ondersteund door Whisper. Niet elke taal zal een even accurate transcriptie opleveren.
- "Quality:", Geef aan hoe accuraat de transcriptie moet gebeuren, "Precise" duurt langer maar is meer accuraat, "Fast" gaat sneller maar het transcript gaat meer fouten bevatten.
- "Mark pause:", markeer pauzes langer dan x aantal seconden. De opties zijn, "None", geen pauzes markeren, 1sec+, langer dan 1 seconden, 2sec+, langer dan 2 seconden, 3sec+, langer dan 3 seconden. Pauzes worden getranscribeerd als ronde haakjes met één punt per seconde ertussen, bijvoorbeeld '(..)' voor een pauze van twee seconden. Pauzes langer dan 10 seconden worden uitgeschreven als '(XX seconden pauze)' of '(XX minuten pauze)'. U hebt de mogelijkheid om pauzes van één seconde en meer ('1sec+'), twee seconden en meer ('2sec+') of alleen de langere pauzes van drie seconden en meer ('3sec+') te markeren. Kies 'geen' om deze functie volledig uit te schakelen.
- "Speaker detection:", Opties om op voorhand een paar dingen in te stellen over het aantal sprekers in het brongbestand, het op voorhand aangeven van het aantal sprekers kan het gemakkelijker maken voor Pyannnote om de sprekers te identificeren. De "Auto" optie gaat proberen het aantal sprekers te identificeren, geen enkele optie hier is feilloos. Het is mogelijk om het aantal spreakers op "None" te zetten indien de functie van het identificeren van sprekers niet nodig is waardoor de transcriptie tijd gehalveerd wordt, het transcript wordt een doorlopende blok text.
- "Overlapping Speech:", Geef aan of er sprekers in het brongbestand door elkaar spreken of niet, als deze optie aan staat probeert noScribe momenten te markeren waarin twee mensen tegelijkertijd spreken met //dubbele slashes//. (dit is een experimentele functie.)
- "Timestamps:", Wanneer ingeschakeld, verwerkt noScribe tijdstempels in het formaat [hh:mm:ss] in het transcript, hetzij bij elke wisseling van spreker of elke 60 seconden.
- "Start", De Start knop, of "Cancel" knop wanneer er een transcript wordt gemaakt, deze knop heeft de neiging om niet zichtbaar te zijn bij het starten van noScribe.
- "Editor", De knop om de ingebouwde tekstverwerker te openen en zo nodig het transcript aan de hand van de audio aan te passen.
- "Logvenster", Een venster dat u informatie geeft over de versie van noscribe, de link naar de Github pagina. Hier zal ook de vooruitgang te zien van de transcriptie.
Transcriberen starten
- Navigeer naar een audio of videobestand dat je wilt transcriberen. Via de open "Audio file:" optie.
- Na het selecteren van het bronbestand, selecteer het formaat van de transcriptie. en druk op "Save" of "Opslaan".
Selecteer .html als je de transcriptie wilt bewerken in de ingebouwde tekstverwerker.
- Geef via de Start en of Stop optie aan welk deel van het bronbestand je wilt transcriberen, laat de opties voor wat ze zijn als je heel het bestand wilt transcriberen.
- Selecteer de taal, in het geval dat je de taal weet.
- Kies voor de kwaliteit van de transcriptie "Quality:"
- Beslis of de pauzes langer dan x aantal seconden moeten worden genoteerd
- Als je weet hoeveel sprekers er zijn in het bronbestand, geef hier het aantal aan.
- Wanneer er overlappende sprekers zijn in het bronbestand of geen kan dit aangeven in de "Overlapping Speech:" optie.
- Geef aan of je tijdscodes wilt zien in het transcript.
- Klik vervolgens op "Start".
- De transcriptie zal nu starten, dit kan even duren afhankelijk van hoe krachtig je computer is, hoe lang het audio/video bestand en hoeveel sprekers, hoe precies de transcriptie moet zijn. De vooruitgang zou zichtbaar moeten zijn in het logvenster met een progressbar in het rood onderaan
Transcriptie aanpassen
- Als het automatische transcriptie process klaar is zie je het volgende scherm.
- Normaal gezien gaat de editor automatisch open in het geval dat niet gebeurd klik op de grijze "Editor" knop rechts onder in het logvenster.
- In de editor kan je de transcriptie aanpassen. Het is mogelijk om ergens in de tekst te klikken en het relevante stuk audio af te spelen door op de "Play/Pause Audio" knop te klikken.
- De tekst zal worden gemarkeerd tijdens het afspelen van de audio.
- De aangepaste tekst opslaan na het bewerken
Eerder gemaakte transcriptie aanpassen in de editor
Dit werkt enkel als je de eerder transcriptie hebt opgeslaan als html.
- Open de noScribe editor, dit is een apart stukje software. Op Mac zit dit in de Application folder
- Op windows zoek je naar "noScribe Editor" via het start menu.
- In de editor gebruik het map icoontje linksboven, en selecteer een eerder gemaakte transcriptie.
- Het kan even duren voor een transcript geladen is, afhankelijk van de grootte
- Als je niet het originele bronbestand hebt staan op de originele plek gaat de functie van de audio afspelen tegelijkertijd met de transcriptie niet werken. Als het bronbestand niet verplaatst is geweest zal er audio afspelen in de achtergrond als je op de "Play/Pause Audio" knop klik.
Tot hier de handleiding voor noScribe, het is belangrijk omg nog is te melden dat de software in volle ontwikkeling is en de handleiding is geschreven in een vroeg stadium van dat proces. De informatie in de handleiding kan dus verouderd zijn, check de bronnen via de officiele Github van noscribe, je kan altijd een account maken op Projectcest om bij te dragen aan de handleidingen zoals deze. Als je problemen ondervind met noScribe laat het weten op de issues pagina van de Github pagina van noScribe. Vermeld welke computer je gebruikt, met welke versie van je besturingssysteem en de kans is groot dat de ontwikkelaars je probleem kunnen oplossen of je vragen beantwoorden.