vu plus ultimo 4k Harddisk kopiëren - ervaringen

[ebhoorn]

Als je de oude receiver met opname mogelijkheid omwisselt voor een nieuwe, dan gaat dit gepaard met een nieuwe uitdaging: Je hebt opnames op de hard disk van de oude receiver staan die je  - zoals ik - over wil zetten op de nieuwe, grotere harddisk. Hier de ervaringen van iemand die een absolute knurft is op linux gebied.

 

Ultimo of Duo?

Goed, met de naderende DVB-T2 standaard in het vooruitzicht bleek de oude DUO2 de T2 stream niet te kunnen decomprimeren. Met dank aan de forumleden bleven de volgende opties over: de Duo 4K of de Ultimo 4K. Beide redelijk toekomstvast, beiden hebben FBC sattuners beschikbaar die DVB-S2X ondersteunen. De nieuwe Duo 4K heeft als pro's ten opzichte van de Ultimo 4K:

• Een snellere 2,1 GHz Broadcom quadcore processor;
• Een 100 Euro lagere aanschafprijs;
• Cradle voor een 2.5" harddisk waardoor open schroeven van de behuizing niet meer nodig is.

 

De Ultimo 4K heeft als pro's:

• Één extra positie voor insteektuners,
• Ondersteuning op één positie  de vorige generatie insteektuners
• 1 extra kaartlezer;
• 1 GB extra RAM;
• Inbouwmogelijkheid voor zowel 2.5 als 3.5 inch harddisks

 

Omdat ik in plaats van de huidige 1 TB een 4 TB schijf wil toepassen (UHD vraagt extra ruimte) wordt de Ultimo een lekker hapje: een 4 TB 2.5" schijf kost ruim 150,- een 3.5" HDD iets meer dan 100,- waardoor het prijsverschil voor de totaaloplossing teruggebracht wordt naar 50,-.  Een 3.5 inch schijf is wat lawaaieriger dan een 2.5 inch schijf, maar de opgegeven waarde van 24 dB tijdens het zoeken leek mij acceptabel.

 

Dus: vrijdag pakte ik een Ultimo 4K uit in plaats van een Duo 4K.

 

Inzet van de HDD duplicator

Voor rond de 46 Euro heb je - zoals TonskiDutch in een posting liet zien - een harddisk duplicator, die zowel 2.5- als 3.5 inch Sata schijven slikt. Je zet de bron- en doelschijf in de juiste sleuven en drukt op het knopje en klaar is Klara.  Even rekenen: de 2.5 "  WD blue haalt volgens een benchmark van "storage review" uit 2013 een sequentiele  leesnelheid van 108 MegaBytes per seconde, de nieuwe 3.5" 4TB Barracuda van Seagate haalt een sequentiele schrijfsnelheid volgens Hardware review uit 10 juli 2017 van rond de 152 Megabytes per seconde.

 

Snel rekenend, en er van uitgaand dat de duplicator "dom" cylinder voor cylinder, sector voor sector 1:1 over zou zetten naar de nieuwe schijf zou dit betekenen dat het klusje binnen 2,7 uur gereed zou kunnen zijn. Geen flauw idee of er op fysiek niveau ook een soort allocatie tabel wordt gehanteerd waarin schijven, cylinders en sectoren worden bijgehouden , maar goed - reken een verlengingsfactor 3: binnen 8 uur zou de klus geklaard moeten zijn. 

Wel: 's middags om 18:00 begonnen, de volgende dag om 9:00 was de duplicator over de helft - zo gaven de knipperende lampjes aan. Ik moest weg die dag, 's avonds om 21:00 was alles gereed.

 

Wel: De nieuwe schijf met de kabeltjes aan de Ultimo 4K gekoppeld, met apparaatbeheer een mount actie uitgevoerd en...oeps: Linux ziet een 1 TB schijf in plaats van een stoere 4 TB schijf. En tegelijkertijd was er ook een 4 TB schijf zichtbaar.  Ik had de de 4 TB schijf bovendien in het ext3 formaat geformatteerd, maar zichtbaar was het ext4 formaat van de oude WD schijf. Conclusie: op fysiek niveau was alles 1:1 niveau overgezet, inclusief de formattering, inclusief de partitie info. Alle films waren wel keurig zichtbaar. Hm.

 

Wellicht zou ik met de juiste Linux tooling de 1 TB schijf kunnen omzetten naar een 4 TB schijf, maar welke tooling, en bovendien ... ik ben een Linux knurft. Bovendien had ik beloofd om de oude Duo2 maandag op de post naar een forumgenoot te versturen, dus ik had beperkte "klooi tijd".  Kloek besluit: we formatteren de Barracuda opnieuw en zetten alleen de films over die ik ècht van belang vind.

Film voor film overzetten via een USB 2.0 poort.

1. Ik heb dus de 2.5" schijf in de Duo2 gemonteerd, en met apparaatbeheer een mount uitgevoerd. Ook heb ik een externe HDD die in NTFS is geformatteerd (want: kan grotere bestanden dan 4 GB omvang aan)  in een USB poort geplaatst aan de achterzijde (USB1).

2. Via de Linux terminal heb ik ingelogd als "root" user, en via de nodige cd commando's kom ik uiteindelijk uit op de /hdd/movie directory.

3. Met het commando: cp -R *Millennium* /medium/hdd1  kopieerde ik alle files vanaf de movie waarin in de naam het woord "Millenium" voor kwam.

Zo ook voor andere bestandsnamen, zoals: cp -R *Annie Hall* /medium/hdd1 (kopieer alle bestanden waarin de deelstring "Annie Hall" voorkomt naar de externe schijf die op USB1 is aangesloten", enzovoorts)

4. De snelheid is zo rond de 440 MByte per minuut over USB 2.0. Per GB ben je dus ongeveer 2 minuten en 15 seconden bezig.

5. Na een 15 tal films aldus overgezet te hebben heb ik de drive via de apparaatbeheer tool ge-unmount (want: ik ben een Linux knurft nietwaar?)

 

Vervolgens heb ik de 3.5 inch lekker vastgeschroefd in de rubber ringetjes, en geplaatst in de Ultimo 4k. Vervolgens weer hetzelfde kunstje gedaan, maar dan omgekeerd:

1. Zowel de nieuwe 4 TB Barracuda als de externe schijf die ik via een USB poort heb gekoppeld aan de Ultimo heb ik via apparaatbeheer gemount

2. Ingelogd als root door middel van de Linux terminal, via de nodige cd command's ben ik uiteindelijk op de /media/hdd1/ directory uitgekomen (= de externe harde schijf)

3. Vervolgens het commando cp -R * /media/hdd/movie/ commando ingegeven (= kopieer alle bestanden van de externe schijf naar de interne harde schijf en wel in de "movie" directory) en ben vrolijk gaan slapen.

4. De volgende dag een keurige unmount gedaan van de externe schijf en klaar is Klara.

 

Terugkijkend
Even rekenend: zou ik met het cp commando en een USB 2.0 koppeling alles hebben overgezet van de DUO2 naar de externe schijf dan zou dit ongeveer (1024^2) /440 = 2400 minuten gekost hebben, oftewel 40 uur doorlooptijd.   Vervolgens zou de inhoud van de externe schijf via een snellere USB 3.0 koppeling op de Ultimo geplaatst kunnen worden. Of ik had de 3.5 Barracuda meteen met een USB ==> Sata interface kunnen volplempen, en deze vervolgens in de Ultimo 4K kunnen schroeven.

 

Het zou een goede zaak zijn als een linux tijger het traject voor knurften zoals ik uitspelt en op een wiki of op dit forum plaatst....

 

 

 

 

 

 

[Tripleboy]

Als beide ontvangers in je Netwerk zijn aangesloten is dat toch een makkie om de map movie over te zetten, en het gaat dan ook nog eens sneller dan USB 2.

 

 

[ebhoorn]

Da's een goeie. Zonder al te veel kennis kan je met windows verkenner met zowel de bron als het doel verbinding leggen en mappen met bestandsbeheer "verslepen". Via mijn draadloze netwerk kostte het in een simpel testje 9 minuten om 2 GB over te zetten. ongeveer 240..250 MB/minuut. Wel langzamer dan van schijf naar schijf - waarbij je moet rekenen dat ik zo onvoorbereid bezig was  dat ik daarna nogmaals een kopieslag te maken van een externe schijf naar de Ultimo 4K.

 

Door de beide VU-plussen met ethernet kabels via een switch met elkaar te verbinden gaat de snelheid aanmerkelijk omhoog.

 

 

[Tonskidutch]

Beste ebhoorn,

 

je gaat rekenen en maakt wel een correcte rekensom, maar ook een denkfout

met desbetreffend "docking station" de welke je aansluit op je pC, moet die pC* de data verwerken via die ene gekozen poort (usb of sata3)

van de ene HDD naar de andere HDD (of SSD)

 

let wel, die pC* is of je windows pC? of je Linux bak? of je linux receiver?

afhankelijk daarvan zal de snelheid zijn

wegens cache / geheugen / virusprotetion / indexing en natuurlijk de CPU

 

er zijn met een Docking Station (voor twee disks) dus vier wegen te bewandelen

a )

het clonen per block en cylinder is evenwel het veiligst indien je bestanden op de HDD hebt staan met gebruikersrechten, UID's GID's (vooral bij complexe meer user pC's aan te bevelen)

b )

de lege HDD in het Docking Station aan de receiver initialiseren en formateren en dan mounten (doet je image van de receiver automatisch)

het kopiëren van filmpjes kun je per filemanager (een plugin van het image) doen

c )

de Docking Station aan een Linux pC ( linux bak) hangen en copieren van

c-1) de receiver via ethernet naar de Docking Station

c-2) de twee in het Docking Station geplaatst en van HDD oud via USB/SATA naar de HDD nieuw

d )

de Docking Station aan een USB poort van je windows pC (met Filesystem EXT4 geschikte software) hangen en copieren

d-1) de receiver via ethernet en samba/cifs naar het Docking Station

 

of helemaal via ethernet hetgeen Tripleboy ook al schreef en dus al geprobeerd is.

je zult dan alleen met een krachtige Linux pC het snelste resultaat hebben daar er geen virusprotection over heen gaat en EXT 3 of EXT 4 compatibel gewerkt wordt

 

zonder Docking Station maar met pC en daarin meerdere Sata aansluitingen op het moederbord is op de Linux pC het allersnelst (excl. het schroeven en pluggen)

 

p.s. gebruik in vervolg het EXT4 filesystem voor je disc die terug in de receiver gaat

dat heeft voordelen

 

korte aanvulling

als je docking station met twee disk's erin gebruikt aan een USB of SATA3 poort

gaat => alle data via die ene poort <= heen en weer

dus lees - uit een hoeveelheid in pC

en

dan schrijf-weg een hoeveelheid naar die bestemming

 

12 januari 2019 aangepast door Tonskidutch
aanvulling

[Tonskidutch]

Tip

voor die het vaker gedaan hebben, men ziet een groot verschil in de snelheid bij het kopiëren van gemengde inhoud op uw hdd van kleine en grote bestanden

 

de map movie bestaat uit verschillende grote en heel kleine bestanden

- de film.ts is meestal groot en loopt relatief snel

- de film.cut en film.meta etc allemaal kleine bestanden zijn bij lezen en schrijven langzaam

 

de mix dus maakt je kopieer actie langzamer dan een hypothetische schrijfsnelheid!

je kunt eerst de grote .ts bestanden nemen en kopieren en dan alle andere kleinere middels een selectie op de Linux pC

 

(dat is een actie extra maar ook sneller in de lees en schrijfsnelheid)

 

[DeltaFM]

Och, och, wat is het leven makkelijk met Linux 😋

 

dd if=/dev/sdb of=/dev/sdc bs=10M

 

Beide HDD in je pc op de sata poorten aansluiten. Een live cd met daarop een bootable linux distributie opstarten (als je native linux heb draaien kun je die natuurlijk ook opstarten). Vervolgens met fdisk -l /dev/sda of fdisk -l /dev/sdb danwel fdisk -l /dev/sdc (a, b, c zijn de HDD's in je systeem) achterhalen welke HDD welke letter gekregen heeft (je kunt ook op je moederbord kijken welke HDD je op welke poort hebt aangesloten, poort 1 is a, 2 is b, etc.) en dan vervolgens Disk Duplicate: dd if=/dev/sdb of=/dev/sdc bs=10M  (if=input file in dit geval de originele disk op poort 2, of=output file, de nieuwe disk op poort 3, bs=block size, niet zo spannend, mag zelfs weggelaten worden, duurt het alleen wat langer). Hier is het wel belangrijk om dit goed te doen anders wordt Disk Duplicate, Disk Destroy, je kopieert dan namelijk een lege schijf naar je oude schijf... Afhankelijk van grootte kan dit een aantal uren in beslag nemen. KLAAR, je hebt nu een exacte kopie van je oude HDD naar de nieuwe (zelfs Windows heeft het niet in de gaten 😉).

 

Mocht de nieuwe schijf groter zijn dan kun je met gparted de grootte aanpassen (zonder dataverlies).

 

 

12 januari 2019 aangepast door DeltaFM

[ebhoorn]

@TonskiDutch: Nou...ik had een dockingstation met clone functie ingezet - dus: standalone, los van de pc. Want ik dacht hetzelfde als jij: zo min mogelijk tussenschakels. Viel dus vies tegen qua throughput. Kan natuurlijk zijn dat het een mickeymouse station was (geleend, een 50,- geval) met navenant trage firmware en hardware.

 

Mij gaat het er vooral om dat we hier de ervaringen delen met elkaar en liefst zo concreet mogelijk (welke methode, uitgespelde commands, gemeten doorlooptijden).

[Tonskidutch]

ja juist, begrijp dat je die ervaringen wilt delen en vragen stelt

opdat iedereen zijn voordeel ermee doet

maar daarom is het belangrijk te weten met welke hardware EN software je dat doet

alsmede welk soort clone of kopie!!!

 

uitgespelde commando's is weer een stapje verder

want zoals je aan de 4 methoden boven beschreven kunt zien is het merendeel via de applicatie / plugin gerelateerd puur klik werk en niet commando's typen

 

als je dat dan toch wilt weten zal ik (ken het ook nooit uit het blote hoofd) dat aanleveren

 

 

 

[Tonskidutch]

ik vergeet overigens een methode die ook leuk is

 

je kunt NFS schijven in je netwerk ook mounten via windows 10

omdat windows 10 inmiddels Linux onderhuids geïmplementeerd heeft

 

dat heb ik al eens beschreven : WSL 

 

maar elke situatie is anders en de voor en nadelen soms maatgevend / bepalend voor je doelstelling

[Nolan]

Ik zou de 4TB schijf in de ontvanger initialiseren en formatteren. De 1TB schijf via eSata extern aan de Ultimo4k hangen, of intern met Sata erbij aanhangen. Je kunt via filebrowser bestanden van de ene schijf naar de andere kopiëren. Kan nog beter met je pvr bestandspeler dan kun je opname voor opname kopiëren of verplaatsen. 1 opname bestaat uit 5 bestanden geloof ik. 

[DeltaFM]

Met dd is de ruwe HDD throughput van de langzaamste schijf de bottle-neck en daarmee kun je de doorlooptijd berekenen...

[ebhoorn]

@DeltaFM: Dit wordt een leuk draadje!

Maar jouw aanname blijkt niet te kloppen! De 3.5" Schijf had een throughput van 190 MB/s en de 2.5" bronschijf een throughput van 145 MB/s.  Dat zijn  kortstondige waarden.  Dus ik heb mij gebaseerd op testen uitgevoerd door derden. Wat blijkt? De gemeten waarden zijn een stuk lager: 152 MB/s en iets van 104 M/s respectievelijk.  Al met al kom je dan op basis van de 104 MB/s uit op 2,7 uur doorlooptijd.

In eerste instantie lijkt dat plausibel: je bent op fysiek niveau bezig, je kopieert sector voor sector, cylinder voor cylinder en je hebt geen pointers en FAT entries die ook weer extra schrijfacties vragen. Maar: de kopieerslag duurde langer. Veel langer. In ieder geval langer dan 15 uur (ik moest overdag weg, kon dus niet meten wanneer exact de kopieerslag gereed was).

En toen bedacht ik wat anders: ik kan mij levendig voorstellen dat de 3.5" schijf meer sectoren per cylinder heeft dan de 2.5" schijf. Dus echt 1:1 kopieren....ik zou niet weten hoe dat werkt in dat geval.  Anyway: hele hordes forummers zitten met hetzelfde probleem, dus ik dacht: laten we de inhoud en de praktijk (en mijn gestuntel) gewoon zien: wellicht doet er iemand zijn voordeel mee, en het is in ieder geval vermakelijk.

 

[DeltaFM]

Vergeet je niet de cache van de HDD? 😉

 

dd Neemt de gehele schijfstructuur over, dus inclusief partities. Mocht de doelschijf groter zijn dan de bronschijf, zal die na afloop van dd kleiner blijken (en je hebt nog wat lege ruimte over).

[ebhoorn]

Dat had ik al gemerkt, maar dat kan ongetwijfeld  met tooling na de kopieerslag rechtgezet worden!

 

[Tonskidutch]

ik mis een deel in dit draadje, iets wat misschien per PM gegaan is?