Text bestand tegelijkertijd openen door diverse scripts?

[Con]

Voor de liefhebbers en/of kenners.

 

Ik heb een tekstbestand bestaande uit csv-achtige inhoud.

 

Hoe gedraagt zich dat bestand als dit bestand door

diverse (3 in dit geval) scripts op hetzelfde moment

wordt geopend om te lezen?

 

Tot nu toe liet ik de scripts achtereenvolgend uitvoeren om

eventuele conflicten te voorkomen maar ik kom in tijdnood

in mijn cronjob.

 

Nu heb ik het al getest met 2 scripts en dat ging in ieder geval

2 x goed maar dat zegt helemaal niets natuurlijk.

Ieder script zal maximaal 10 seconden gebruik maken van het

tekstbestand.

 

Ik wil graag weten of dit kan maar vooral of dit mag.

 

Iets meer info, het betreft Linux (uiteraard) en het gaat om 2

gnuplotscripts en 1 pythonscript welke het tekstbestand leest.

19 november 2014 aangepast door Con

[Tonskidutch]

ter verduidelijking,

Als ik met drie verschillende programma' s 1 en hetzelfde bestand op een plek open... dan mag dat

op windows apple of linux altijd

 

ik kan driemaal een mp3 bestand openen

ik kan meermaals een foto openen met verschillende toepassingen

txt bestanden of andere data

 

read, lezen kan dus altijd

write, schrijven is afhankelijk van de GID, userID en PID (procesid wie was eerst)

denk dat scripts en routines natuurlijk niet zomaar gaan schrijven als een ander proces aan de gang is welke de inhoud en tijd wijzigt

[Con]

Nee, het gaat inderdaad alleen maar om het lezen van een log-bestand.

 

Wordt dat bestand dan ook, in dit geval 3 keer, tegelijkertijd geopend?

Of geldt, wie het eerst komt, die het eerst leest? Hoe werkt dat?

 

Of word(t)(en) er wellicht een (meerdere) schaduw-bestand(en) gemaakt?

19 november 2014 aangepast door Con

[Tonskidutch]

elk proces leest alle informatie uit een LOG bestand daar iedereen dus ook een specifiek proces gestart door iemand readonly is...

voor zover is dat dus door de methode van mounten en de toegepaste standaard opties altijd mogelijk

wijkt men af van de mount opties kunnen verschillen ontstaan in gebruik van een bestand die niet zo eenduidig te verklaren zijn.

de manpages leveren inzake Linux meestal wel duidelijkheid indien men afwijken "wil"

 

dat leest slecht en is te ingewikkelt

maar op je vraag

 

Of word(t)(en) er wellicht een (meerdere) schaduw-bestand(en) gemaakt?

Ja in het geheugen en CPU kunnen per proces gelijke datasets meervoudig voorkomen, zijn allemaal gescheiden door wie wat waar en wanneer.

19 november 2014 aangepast door Tonskidutch

[Con]

Dank. Helder (dat tweede), dan ga ik zonder zorgen lekker "multi-readen" met een triootje. 

[Big fellow]

Als je bang bent dat je problemen krijgt met het gelijktijdig openen, kan je een tweetal dingen doen;

- Een "semaphore" file aanmaken welke gebruikt wordt om aan te geven dat een ander script bezig is

- Als je zeker weet dat het max 10 seconden duurt, dan gebruik je het "sleep" commando in je bash script... (Of iets vergelijkbaars in python)

[Con]

Als je bang bent dat je problemen krijgt met het gelijktijdig openen, kan je een tweetal dingen doen;

- Een "semaphore" file aanmaken welke gebruikt wordt om aan te geven dat een ander script bezig is

- Als je zeker weet dat het max 10 seconden duurt, dan gebruik je het "sleep" commando in je bash script... (Of iets vergelijkbaars in python)

Ik heb in het slechtste geval 10 scripts in één minuut wat nu samengevat is in een cronjob.

Doordat je dus een bestand simultaan mag aanroepen om alleen te lezen is mijn grootste

zorg verdwenen. Ik heb er zelfs een diagram voor gemaakt voor het overzicht wat er nu

precies en vooral wanneer moet gebeuren. Om een idee te hebben hoe ik heb zitten stoeien

het diagram en daarna de cronjob, middernacht is het meest spannende moment, de sleeps

had ik al ingebouwd;

# Iedere minuut
* * * * *  sleep 00; python      log.py
* * * * *  sleep 15; gnuplot     cir.plt
* * * * *  sleep 15; gnuplot     uur.plt

# Ieder uur
@hourly    sleep 15; python      m-u.py
@hourly    sleep 20; gnuplot     dag.plt
@hourly    sleep 40; python   ftpuur.py

# Iedere nacht
0 0 * * *  sleep 20; python      u-d.py
0 0 * * *  sleep 25; gnuplot     mnd.plt
0 0 * * *  sleep 40; python filecopy.py
0 0 * * *  sleep 50; python   ftpmnd.py

19 november 2014 aangepast door Con

[Big fellow]

Als je bang bent dat je data inconsistent wordt, dan kan je ook gewoon een aantal kopieen maken van het logbestand, en deze voor de verschillende scripts gebruiken. Dan kan je aan het einde van het script de logfile gewoon weggooien...

[Con]

Niet nodig, ik draai nu al enkele dagen (24/7) en het werkt perfect.