WPW Geplaatst: 12 januari 2009 Geplaatst: 12 januari 2009 Ik zoek weer es wat Het mag een ftp server/client zijn, maakt niet uit, als het maar hetvolgende doet: Server: hier draait een progje die een bestand ontvangt: Client: hier draait een progje die een bestand verstuurt naar de server. In dit proces moet de client elk data blok van 10kb(*) dubbel md5'en(**) en alleen de md5's oversturen, de server mot dan bepalen of dit blok eender is in de lokale copy en zonodig het gehele blok opvragen aan de client. Het is dus de bedoeling om 1 bestand van 430gb over te copieren via het netwerk waarbij alleen de binare verschillen overgestuurt worden. (*) voorgestelde waarde (**) voorbeeld crc Is er zoiets slims? Mag ook een linux/unix oplossing zijn. gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
theparasol Geplaatst: 13 januari 2009 Geplaatst: 13 januari 2009 probeer goodsync eens! Werkt ook over ftp en is zo in te stellen dat server en client eerst vergelijken via een zegmaar checksum en bij afwijking iets gaan doen (bv hele bestand overdragen). Prima te automatiseren. Kan geen directe link geven want is commercieel, maar inexpensive, powerfull and easy
WPW Geplaatst: 13 januari 2009 Auteur Geplaatst: 13 januari 2009 Mooi, net zoiets als dirsync, alleen doen ze geen continue compare, dus als mijn 430gb bestand van 300-310 alleen is geweizigd dan missen ze dat en gaat de hele zooi weer over de lijn ipv. alleen die 10gb... gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
theparasol Geplaatst: 13 januari 2009 Geplaatst: 13 januari 2009 Idd... ging uit van meerdere bestanden. Had dan één geschreven ipv een. Jouw situatie komt een beetje torrent achtig over maar dan met maar 1 peer Wellicht kun je wat code rippen van een torrent client/server source!
WPW Geplaatst: 13 januari 2009 Auteur Geplaatst: 13 januari 2009 Mja als ik zin had in proggen wellicht dat iemand dit kan maken (PM dan), hoeft niet voor niks. Het gaat vn. om VM bestanden die vaak in de TB's lopen maar waar relatief weinig in veranderd. gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
theparasol Geplaatst: 13 januari 2009 Geplaatst: 13 januari 2009 Wat nu als je zo'n lomp vm ware file inzipped in mode store en dan aangeeft netjes opslaan in blokjes van 2 Mb ofzo. Die kun je vervolgens wel vlot met een standaard progje comparen en door de lijn overfluiten bij afwijking. Gewoon splitter progje kan natuurlijk ook.
WPW Geplaatst: 13 januari 2009 Auteur Geplaatst: 13 januari 2009 Dat schiet niet op, op de target staan copieen en die moeten worden bijgewerkt, je snapt wel dat dit wel effe duurt... tenzij er een client/server diff ding tussen zit. Effe 1,5tb splitten of zo duurt ook te lang, kan je net zo goed alles copieeren gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
theparasol Geplaatst: 14 januari 2009 Geplaatst: 14 januari 2009 Het bestaat WPW... en bedankt voor het delen van je ingeving. Dit gaat mij ook goed van pas komen! rsync for windows En nog even een linkje naar een wiki: http://nl.wikipedia.org/wiki/Rsync
WPW Geplaatst: 14 januari 2009 Auteur Geplaatst: 14 januari 2009 Hij snapt het! 2 hints: DeltaCopy Unison En werruke dit spul! gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
theparasol Geplaatst: 14 januari 2009 Geplaatst: 14 januari 2009 Unison had ik ook inmiddels... maar deltacopy vind ik leuker
WPW Geplaatst: 14 januari 2009 Auteur Geplaatst: 14 januari 2009 Pecies wel compressie uitzette anders traag als dikke stront. gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
theparasol Geplaatst: 15 januari 2009 Geplaatst: 15 januari 2009 Hmmzz.. compressie doet nu juist vermoeden dat het nog ietsje sneller moet gaan. Dat ga ik bij thuiskomst eens even goed testen want het gaat tegen mijn logica in
WPW Geplaatst: 15 januari 2009 Auteur Geplaatst: 15 januari 2009 Dat dagt ik ook maar het tegendeel is het helaas, zoekende vind je veel snelheids problemen en de meeste zijn compressie of ssh gerelateerd, kzal vandaag ook verder gaan testen met egte grote bestanden. gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
WPW Geplaatst: 16 januari 2009 Auteur Geplaatst: 16 januari 2009 Klein bestandje teste, total: matches=73919 hash_hits=61024851 false_alarms=1981 data=110802720 sent 111113759 bytes received 603139 bytes 105145.32 bytes/sec total size is 5682479616 speedup is 50.86 5.682.479.616 bestand 5.6gb 111.113.759 diff 111mb 105.145 per sec 0,1mb/sec Wel super effecient(diff) maar nog traag met copieeren, met compressie is het nog trager... gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
WPW Geplaatst: 17 januari 2009 Auteur Geplaatst: 17 januari 2009 Nog wel een waarschuwing, zonder compressie aan de client zijde veroorzaakt corruptie! De server zijde met GUI werkt perfect, de client kan je beter via cmd besturen, de client GUI is anders veel trager. gr, WPW. -=[Deze ruimte is opzettelijk leeg gelaten]=-
Aanbevolen berichten
Maak een account aan of log in om te reageren
Je moet een lid zijn om een reactie te kunnen achterlaten
Account aanmaken
Registreer voor een nieuwe account in onze community. Het is erg gemakkelijk!
Registreer een nieuwe accountInloggen
Heb je reeds een account? Log hier in.
Nu inloggen