Publicatie:Capteren van data van 3,5-inch en 5,25-inch diskettes
In 2017 en 2018 kreeg PACKED vzw van drie organisaties, Liberaal Archief, ADVN en HeK (House for Electronic Arts), de vraag om data te capteren van diskettes.
De ontvangen collectie van Liberaal Archief bestond uit 165 Macintosh geformatteerde 3,5-inch diskettes en 30 MS-DOS geformatteerde 5,25-inch diskettes. ADVN bezorgde ons 14 5,25-inch diskettes die gebruikt waren op een Windows/MS-DOS computer. Bij HeK ging het om de kunstwerken Raoul A. Pictor cherche son style (1993) van Hervé Graumann en Über Sehen (1993) van Studer / Van den berg. In totaal waren dit 9 high density diskettes waarvan sommige voor Mac en andere voor Windows gemaakt waren.
Het grootste deel van de diskettes die we ontvingen van de drie instellingen waren gebruikt in de periode eind jaren tachtig tot midden jaren negentig. De instellingen beschikten niet over de juiste leestoestellen om de data van de diskettes af te halen. PACKED vzw werkte een workflow uit om de data van diskettes te capteren en op een hedendaagse gegevensdrager te bewaren.
| Titel | Capteren van data van 3.5-inch en 5.25-inch diskettes (Voorkeurstitel) |
| Locatie | |
| Uitgever | |
| Jaar van uitgave | 2018 |
| Rechten | CC-BY-SA |
| Persistent ID |
Samenvatting
In 2017 en 2018 kreeg PACKED vzw van drie organisaties, Liberaal Archief, ADVN en HeK (House for Electronic Arts), de vraag om data te capteren van diskettes.
De ontvangen collectie van Liberaal Archief bestond uit 165 Macintosh geformatteerde 3,5-inch diskettes en 30 MS-DOS geformatteerde 5,25-inch diskettes. ADVN bezorgde ons 14 5,25-inch diskettes die gebruikt waren op een Windows/MS-DOS computer. Bij HeK ging het om de kunstwerken Raoul A. Pictor cherche son style (1993)[1] van Hervé Graumann en Über Sehen (1993)[2] van Studer / Van den berg. In totaal waren dit 9 high density diskettes waarvan sommige voor Mac en andere voor Windows gemaakt waren.
Het grootste deel van de diskettes die we ontvingen van de drie instellingen waren gebruikt in de periode eind jaren tachtig tot midden jaren negentig. De instellingen beschikten niet over de juiste leestoestellen om de data van de diskettes af te halen. PACKED vzw werkte een workflow uit om data van diskettes te capteren en op een hedendaagse gegevensdrager te bewaren.
Auteur
Nastasia Vanderperren (PACKED vzw)
Probleemstelling
Diskettes zijn gegevensdragers met een capaciteit van 80 kB (de eerste generatie) tot 2,88 MB (de laatste generatie) waarop door middel van magnetisme gegevens worden opgeslagen. Ze waren alomtegenwoordig in de jaren tachtig tot de opkomst van de cd-r en USB-stick eind jaren negentig/begin jaren 2000.
Diskettes bestaan in verschillende soorten en varianten die niet compatibel zijn. Vele types vereisen een eigen leestoestel, waarmee andere types diskettes niet kunnen worden beschreven of gelezen.[3] Diskettes kunnen verschillen in o.m.:
- grootte: de eerste diskettes, uitgevonden in de late jaren zestig door IBM, hadden een diameter van 8 inch. Voor de homecomputermarkt werd er midden jaren zeventig de 5,25-inch diskette op de markt gebracht. Vanaf 1988 werd de 3,5-inch diskette het meest populaire medium voor dataopslag. Daarnaast bestonden ook nog diskettes van 2, 2,5, 3, 3,25 en 4 inch, maar die zijn nooit volledig doorgebroken.
- het aantal tracks en sectoren: gegevens worden op diskettes geordend in tracks en sectoren. Tracks zijn concentrische ringen rond het centrum van de diskette waartussen ruimte gelaten wordt. In die ruimte wordt niet geschreven. Sectoren zijn blokken die bestaan uit een constante grootte (uitgedrukt in bytes) en die elk een identificatienummer krijgen zodat het besturingssysteem de gegevens op de diskette kan terugvinden. Diskettes kunnen verschillen in het aantal tracks per kant[4], het aantal tracks per sector, het aantal tracks per inch en het aantal bytes per track.
- het aantal beschrijfbare kanten: er bestaan single-sided (één kant) en double-sided (beide kanten) diskettes. Een diskettelezer die enkelzijdige diskettes kan lezen, kan niet noodzakelijk dubbelzijdige diskettes lezen en omgekeerd.
- densiteit: dit gaat over de efficiëntie waarmee data op een magnetische drager opgeslagen kan worden. Hoe hoger de densiteit, hoe meer data op een diskette bewaard kan worden. Een grotere densiteit werd verkregen door o.a. verbeteringen aan de codering voor de opslag van data, de magnetische kracht waarmee data weggeschreven kan worden en het gebruikte materiaal. Er bestaan single density (SD of 1D), double density (DD of 2D), quad density (QD of 4D), high density (HD), extra-high density (ED) en triple density (TD) diskettes.
- logisch formaat: het logisch formaat is het schema dat bepaalt hoe de data weggeschreven wordt op de drager. De meest voorkomende formaten zijn FM (voor single density diskettes die DOS geformatteerd zijn), MFM (voor double density diskettes die DOS geformatteerd zijn en high density diskettes) en GCR, dat bestaat in een Applevariant en een Commodorevariant. Daarnaast heb je ook nog aparte formaten voor o.a. Atari en Amiga.
Het gevolg van al die verschillen is dat bijvoorbeeld een 3,5-inch diskettestation niet iedere 3,5-inch diskette kan lezen.
De vele varianten maken het een uitdaging om data van diskettes te capteren. De huidige diskettelezers met een USB-aansluiting zijn meestal enkel in staat om high density diskettes van 1.44MB te lezen. Dat was namelijk het meest populaire formaat vanaf midden jaren negentig. Bovendien zijn diskettes fragiele dragers. Ze zijn gevoelig voor stof, condensatie en temperatuurschommelingen. Ze mogen ook niet in de buurt van magneten of magnetische apparaten worden bewaard. Beschadiging kan ze onleesbaar maken en het afhalen van de data bemoeilijken en onmogelijk maken.
Afbeeldingen 1 en 2: een 5,25-inch en 3,5 inch-diskette.
Status
In totaal hebben we in de periode april-juli 2018 van 218 diskettes een disk image gemaakt. Het ging om 204 3,5 inch diskettes en 44 5,25 inch diskettes. In een volgende fase werden ook de bestanden van de disk image gehaald en geïdentificeerd.
Methode
Voor het capteren van de data beslisten we om disk images te maken. Disk images zijn bit-voor-bitkopieën van de diskettes. Niet enkel de bestanden op de drager worden ermee bewaard, maar ook alle systeeminformatie. Op die manier wordt de informatie op de drager zo compleet mogelijk gekopieerd en blijft de kopie zo dicht mogelijk bij het origineel. Daarna kun je de bestanden van de disk image halen en ze identificeren. Disk images kunnen gemaakt worden met software die checksumcontrole doet op de bron (de inhoud van de originele disk) en de disk image (de kopie van de originele disk).[5] Dat verzekert je dat er geen fouten gebeurd zijn bij het maken van de disk image, en dat de disk image een identieke kopie is van het origineel.
De gekopieerde dragers werden opgenomen in een rekenblad met de volgende kolommen:
- UI (unieke identifier): voor aanmaak van de unieke identifier vertrokken we van de code die de archiefinstelling aan de schenking of het archief, waar de diskettes deel van uitmaakten, gegeven had. Hij bestond meestal uit een jaartal gevolgd door een getal van drie cijfers. Daaraan voegden we vervolgens voor iedere drager een doorlopende nummering van drie cijfers toe die startte bij 1 (001). Bijvoorbeeld de unieke identifier 2008_199_001 verwijst naar de eerste drager die behandeld werd van het archief met nummer 2008/199.
- Instelling: de naam van de archiefinstelling, bv. Liberaal Archief.
- Dragertype: het type van de diskette, bv. 3,5-inch floppy DS DD.[6]
- Dragerformaat: het logische formaat van de diskette. We gebruikten hier de naam die de software Kryoflux[7] aan het formaat geeft omdat er verschillende varianten van eenzelfde logisch formaat bestaan. Apple DOS 400k/800K werd bijvoorbeeld ingevuld in plaats van GCR. Zowel Commodore als Apple hebben immers elk een eigen GCR-type ontwikkeld en die zijn incompatibel met elkaar.
- Informatie op de drager: alle informatie op het label op de diskette.
- Functioneel? Als de disk image geopend en de bestanden eraf gehaald konden worden, dan werd de diskette als functioneel beschouwd.
- Foutloos gekopieerd? Dit veld duidt aan of er een disk image gemaakt kon worden zonder dat de diskimagesoftware aangaf dat er fouten waren tijdens het lezen van de drager.
- MD5 checksum: van iedere disk image werd een MD5-checksum gemaakt.
- Notities: in deze kolom werd relevante informatie over de drager opgenomen, bv. het was een lege diskette, niet alle bestanden konden van de diskette gehaald worden of de foutmeldingen die we kregen wanneer we de disk image wilden openen.
Om te vermijden dat onze computer bestanden zou wegschrijven op de externe dragers, maakten we gebruik van een write blocker. Zowel 3,5-inch diskettes als 5,25-inch diskettes beschikken over een write blocker op de drager die de diskette alleen-lezen maakt. Bij de 3,5 inch-diskette is dat de schuifknop in de linkerbenedenhoek; bij de 5,25-inch is dat de inkeping rechtsboven die je met tape moet afdekken.
Afbeeldingen 4 en 5: de write blocker op een 5,25-inch diskette.
In het kader van het project Resurrection Lab hebben we leesapparatuur voor diskettes verzameld. Voor 3,5-inch diskettes beschikken we over drie leestoestellen met een USB-aansluiting, en over oudere diskettestations die met een floppydatakabel aangesloten moeten worden op een floppy disk controller. Voor 5,25-inch diskettes hebben we één station dat met een floppydatakabel aangesloten moet worden.
Disk images maken van 3,5-inch diskettes
Bij het testen van de leestoestellen met een USB-aansluiting stelden we vast dat geen van de drie toestellen de 3,5-inch double density diskettes van Liberaal Archief kon lezen. De apparatuur werd uitgetest op zowel een MacBook Pro uit 2015 met als besturingssysteem Mac OS X El Capitan als op een Dell XPS 13-MLK uit 2017 met de besturingssystemen Windows 10 en Ubuntu 16.04. Nochtans werkte de apparatuur, want 3,5 inch high density diskettes konden wel gelezen worden. Van deze high density diskettes konden we vervolgens via forensische software zoals FTK Imager[8] of Guymager[9] een disk image maken. Het voordeel aan deze forensische software is dat er automatisch metadata van het captatieproces gecreëerd en weggeschreven wordt in een tekstbestand en een checksum gegenereerd wordt.
Omdat het niet mogelijk was om de USB-diskettelezers voor de 3,5-inch diskettes van Liberaal Archief te gebruiken, beslisten we om gebruik te maken van KryoFlux[10]. KryoFlux bestaat uit een floppy disk controller[11] en software, ontwikkeld door de Software Preservation Society[12], die allerhande varianten 8-inch, 5,25-inch en 3,5-inch diskettes kan lezen en er disk images van kan maken. KryoFlux heeft enkele voordelen ten opzichte van een USB-diskettelezer:[13]
- hij kan verschillende disketteformaten lezen en kan gebruikers helpen om het juiste logische formaat te identificeren. KryoFlux ondersteunt 29 formaten en kan onder meer diskettes gebruikt op o.a. Amiga, Atari, oudere Commodoremodellen, CP/M, Macintosh en Windows/MS-DOS lezen en capteren.
- wanneer het logische formaat niet gekend of gevonden wordt, kan KryoFlux een streambestand maken. KryoFlux leest dan de magnetische flux uit en bewaart die in een streambestand. Achteraf kan je dat streambestand omzetten naar een disk image. Zo vermijd je dat je verschillende keren een diskette moet uitlezen omdat je het logische formaat niet kent.
- het heeft een hogere succesgraad bij het maken van disk images van beschadigde diskettes.
- het beschikt over een ingebouwde write blocker die vermijdt dat een besturingssysteem bestanden wegschrijft op de externe drager.[14]
Omdat de documentatie van KryoFlux beperkt is, volgden we de aanwijzingen van de Archivist’s Guide to KryoFlux. Dat is een onofficiële KryoFluxhandleiding die geschreven werd voor en door archivarissen.
Om de diskettes met KryoFlux te kunnen lezen, dienden we een diskettestation via een floppydatakabel aan te sluiten met het KryoFluxboard[15]. Het board konden we dan met een USB-aansluiting verbinden met een hedendaagse laptop. We gebruikten daarvoor de MacBook Pro uit 2015. Het board werkte niet met alle diskettestations waarover we beschikken. Pas na testen met verschillende diskettestations bekwamen we een opstelling waarmee we met de KryoFluxsoftware het station in werking kregen.
Eens de apparatuur aangesloten is en een diskette in het diskettestation geplaatst is, kan de KryoFluxsoftware gebruikt worden om een disk image te maken. Die disk image kun je vervolgens gebruiken om de bestanden afkomstig van de diskette te lezen of te exporteren. De software heeft zowel een grafische gebruikersomgeving als een command line interface. Om een disk image te maken, selecteer je eerst het logische formaat van de diskette; als je het logische formaat niet kent, kun je een streambestand maken dat vervolgens gebruikt kan worden om een disk image van te maken.
De 3,5-inch diskettes van Liberaal Archief waren Macintosh geformatteerd en hadden double density. Daaruit konden we afleiden dat het vermoedelijk ging om diskettes met Apple GCR als logisch formaat.[16] HeK had twee high density diskettes die gebruikt waren op een Macintoshcomputer. Dat hield in dat MFM vermoedelijk het logisch formaat was.[17] Ook de zeven high density diskettes van HeK die gebruikt waren op een Windowscomputer hadden zeer waarschijnlijk MFM als logisch formaat. Om te vermijden dat we bij een foutief vermoeden een diskette meerdere keren zouden moeten lezen, maakten we altijd eerst een streambestand. Dat konden we vervolgens via de KryoFluxsoftware omzetten naar een disk image. Na afloop werden de streambestanden verwijderd.
Onze vermoedens bleken correct te zijn. Het ging in het geval van de double density diskettes over GCR-geformatteerde diskettes; de high density diskettes waren gecodeerd in MFM.
Omdat KryoFlux, in tegenstelling tot forensische disk image software, geen checksum maakt, maakten we van iedere disk image zelf een checksum. We maakten gebruik van de command line tool md5 om het proces te automatiseren.[18]
Zo zijn we erin geslaagd om van alle 3,5-inch diskettes een disk image te maken. We stelden wel vast dat slechts in een minderheid van de gevallen de diskettes foutloos gekopieerd werden. Slechts 44 van de 174 diskettes (25%) konden foutloos gecapteerd worden. 108 van de 174 diskettes waren functioneel (62%).[19]
Disk images maken van 5,25-inch diskettes
In tegenstelling tot bij 3,5-inch diskettes bestaan er voor 5,25-inch diskettes geen leestoestellen met een USB-aansluiting. De enige optie was een floppy controller zoeken waarop een oud diskettestation aangesloten kan worden. We gebruikten daarom ook hier KryoFlux om een 5,25-inch diskettestation aan te sluiten op de MacBook Pro uit 2015. Na het creëren van de disk image werd van iedere image een checksum gemaakt via de command line tool md5.
De 5,25-inch diskettes van ADVN hadden double density en waren, op één na, dubbelzijdig. Ze werden gebruikt op een Windows/MS-DOS computer. Vermoedelijk ging het dus om diskettes met MFM als logisch formaat. De diskettes van Liberaal Archief waren moeilijker te identificeren omdat er niet altijd informatie op de drager stond. Op de meeste diskettes stond dat ze double density hadden, maar van sommige kenden we de densiteit niet. Daarnaast wisten we ook niet of ze op een Apple of MS-DOS computer gebruikt waren. De diskettes konden bijgevolg FM, MFM of Apple GCR als logisch formaat hebben.
Uit de resultaten van de Kryofluxsoftware stelden we vast dat alle diskettes MFM gecodeerd waren. We botsten echter op een eigenaardigheid. Bij iedere oneven track gaf de software aan dat de track ongeformatteerd was. Uit de Archivist’s Guide to KryoFlux bleek dat dat erop wijst dat de diskettes uit 40 tracks bestaan in plaats van de gebruikelijke 80. Door in de settings van KryoFlux het profiel te veranderen, konden we de diskettes correct capteren.
Tot slot waren er nog drie diskettes van Liberaal Archief waarbij KryoFlux aangaf dat de formattering niet correct was. Ook na testen met alle andere logische formaten die ingebouwd zijn in de KryoFluxsoftware, kwamen we niet tot een goed resultaat. Na wat opzoekwerk op het KryoFluxforum vonden we dat dat kon betekenen dat het high density diskettes zijn die gemaakt werden met een toerental van 360 per minuut. Dat betekende ook dat ze 80 tracks hadden in plaats van 40.[20] Na dat in te stellen in de software, slaagden we erin om van één van die drie diskettes een image te maken. Van de andere twee lijkt het logische formaat nog steeds niet correct te zijn. Gek genoeg was de disk image die we maakten van één van die twee wel functioneel, en zijn we erin geslaagd om de bestanden er af te halen. Vermoedelijk gaat het dus wel om een formattering met een rotatie van 360 per minuut, maar zijn er nog parameters die gewijzigd moeten worden.
Op die manier zijn we erin geslaagd om van 43 van de 44 5,25-inch diskettes (98%) een functionele disk image te maken. In 29 van de 44 gevallen (66%) is het capteren foutloos gelukt. Soms werkte de apparatuur niet meer en moesten we ze afkoppelen en terug aansluiten om ze weer in werking te krijgen.
Conclusie
In totaal hebben we 218 diskettes behandeld, waarvan 174 3,5-inch diskettes en 44 5,25-inch diskettes. Van die 218 konden we van 216 een goede disk image maken. Met de USB-diskettelezer konden we enkel de negen high density diskettes capteren. Voor de Macintosh double density 3,5-inch diskettes moesten we KryoFlux gebruiken. Doordat KryoFlux verschillende logische formaten ondersteunt, was het een erg nuttige tool voor het capteren van verschillende types diskettes. Daarmee konden we van alle Macintosh geformatteerde 3,5-inch diskettes een disk image maken. Ook van 42 5,25-inch diskettes konden we een disk image maken. Bij twee exemplaren zijn we er niet in geslaagd om de correcte formattering te vinden.
| Functioneel | Foutloos gekopieerd | Niet-functioneel | Niet foutloos gekopieerd | |
|---|---|---|---|---|
| 3,5 inch | ||||
| ADVN | 0 | 0 | 0 | 0 |
| HeK | 9 | 9 | 0 | 0 |
| Liberaal Archief | 97 | 35 | 68 | 130 |
| Subtotaal | 106 | 44 | 68 | 130 |
| 5,25 inch | ||||
| ADVN | 14 | 7 | 0 | 7 |
| HeK | 0 | 0 | 0 | 0 |
| Liberaal Archief | 29 | 22 | 1 | 8 |
| Subtotaal | 43 | 29 | 1 | 15 |
| Totalen | ||||
| ADVN | 14 | 7 | 0 | 7 |
| HeK | 9 | 9 | 0 | 0 |
| Liberaal Archief | 126 | 57 | 69 | 138 |
| Totaal | 149 | 73 | 69 | 145 |
In 149 van de gevallen (68%) was de disk image functioneel en slechts voor 73 exemplaren (34%) gebeurde het maken van de disk images foutloos. Bij de andere diskettes waren er steeds sectorfouten bij het uitlezen van de drager. Het verschil in succesgraad tussen de 3,5-inch en 5,25-inch diskettes is opvallend. Van de 3,5-inch diskettes is slechts 61% functioneel en is 25% foutloos gecapteerd, terwijl dit bij de 5,25-inch 98% en 66% is.
Met het maken van disk images werd de eerste fase van het capteren afgerond. De diskettes worden nu als digitale bestanden bewaard, maar die kunnen nog niet op iedere computer geraadpleegd worden. Disk images met een Macintoshbestandsindeling zullen niet standaard geopend kunnen worden op een Linux- of Windowscomputer. Ook als de diskettes een obsolete bestandsindeling bevatten, kunnen ze niet geopend worden met een hedendaags besturingssysteem.
Literatuur
- WAUGH, Dorothy, A Dogged Pursuit: Capturing Forensic Images of 3.5” Floppy Disks, https://practicaltechnologyforarchives.org/issue2_waugh/
- Archivist’s Guide to KryoFlux: https://github.com/archivistsguidetokryoflux/archivists-guide-to-kryoflux
Referenties
- ↑ Voor meer informatie, zie http://www.hek.ch/en/collection/collection-single/collection/raoul-a-pictor-cherche-son-style.html
- ↑ Über Sehen is een screensaver. Zie http://www.studervandenberg.ch/works.html
- ↑ Een niet-exhaustieve lijst van types diskettes: https://en.wikipedia.org/wiki/List_of_floppy_disk_formats
- ↑ Het meest voorkomende aantal tracks is 40 of 80.
- ↑ Dit kan je doen met software zoals Guymager en Isobuster
- ↑ DS staat voor double sided, DD voor double density.
- ↑ Kryoflux is software om gegevens van diskettes te capteren.
- ↑ Voor meer info, zie: http://marketing.accessdata.com/ftkimager4.2.0 en https://accessdata.com/product-download/ftk-imager-version-4.2.0
- ↑ Voor meer info, zie: http://guymager.sourceforge.net/
- ↑ Voor meer informatie, zie https://kryoflux.com/.
- ↑ Hardware die het mogelijk maakt dat een computer communiceert met een floppy disk drive of diskettestation.
- ↑ Voor meer informatie, zie http://softpres.org/
- ↑ Archivist’s Guide to Kryoflux: https://github.com/archivistsguidetokryoflux/archivists-guide-to-kryoflux
- ↑ Sommige besturingssystemen hebben de gewoonte om extra (onzichtbare) bestanden weg te schrijven op externe schijven, zoals het thumbs.db-bestand op Windows of .DS_Store en de AppleDoublebestanden (bestanden die beginnen met ‘._’) op Mac.
- ↑ Voor meer informatie, zie https://kryoflux.com/?page=kf_features.
- ↑ In KryoFlux heet dat profiel Apple DOS 400k/800k sector image.
- ↑ Voor meer informatie, zie https://en.wikipedia.org/wiki/Disk_density en https://en.wikipedia.org/wiki/List_of_floppy_disk_formats.
- ↑ Voor meer info, zie: https://www.fourmilab.ch/md5/
- ↑ Onder ‘functioneel’ verstaan we dat de diskette kon worden gelezen en de bestanden eraf gehaald konden worden. Maar dat gebeurde dus niet noodzakelijk foutloos.
- ↑ Voor meer informatie, zie https://en.wikipedia.org/wiki/List_of_floppy_disk_formats#Logical_formats
Contactgegevens
Nastasia Vanderperren: nastasia.vanderperren@meemoo.be