Cronjob, datum of tijd meegeven in logfile.

[Con]

Beetje lullig van mij om zo laat te reageren.

Toen ik jouw voorzet zag heb ik dat wel gelijk

geprobeerd maar de tijd kwam op dezelfde plek

te staan.

 

Op zich kan ik dat wel h(a)(e)ndelen kwestie van

het vervolgscript aanpassen.

 

Maar het was wel logischer geweest als je

vooraf kunt bepalen waar (in dit geval) de tijd

komt te staan. Iig bedankt voor de suggestie.

[De_Perre]

De tijd zal steeds na het uitlezen van de data komen, dus ik ben even niet mee in het verhaal betreffende de positie.
 
In het code-voorbeeld in #10 heb je 3 maal het oproepen van de tijd staan. Vandaar dat in het output voorbeeld je deze ook 3x ziet: 1x voor het uitlezen en 2x na het uitlezen.
 
Ik heb geen idee hoe de output er effectief uitziet na de laatste code, maar mogelijk kan je met een ' echo "" ' eventueel nog verder qua uitlijning/positioneren:

( cu -l /dev/P1/meter -s 9600 --parity=none; echo ""; echo "Tijdstip: " $(date +%T) ) >> p1.txt &> /dev/null

maar mogelijk zal je iets zoals onderstaande moeten doen

#!/bin/sh

#start uitlezen en stuur naar de achtergrond 
( cu -l /dev/P1/meter -s 9600 --parity=none >> p1.txt &> /dev/null)&

#variable aanmaken om process ID in te stoppen
vPiD=$$

#wacht op achtergrond proces om te stoppen
wait vPiD

#schrijf tijdstip van afronden in log
echo "Tijdstip: " $(date +%T) >> p1.txt

exit 0

Bovenstaande kan je in een textfile stoppen, en als een script opslaan (bv. leesuit.sh) en dan telkens starten (niet vergeten de rechten goed te zetten rwxr-xr-x of rwxr-x---) via een cronjob.

 

Door het uitlezen te starten in de achtergrond en te wachten tot dat afgerond is, zou normaal het tijdstip pas na het afronden kunnen weggeschreven worden.

 

5 juni 2015 aangepast door De_Perre

[wiz]

#!/bin/bash
# Con's cron script om meter uit te lezen
# versie: 1.0
# datum:05-06-2015
#
# tijd in p1.txt schrijven
date +%T >> P1.txt
# streepjes voor duidelijkheid
echo "--------------" >> P1.txt
#echo data ophalen
cu -l /dev/P1/meter -s 9600 --parity=none >> P1.txt
# streepjes voor einde
echo "--------------" >> P1.txt

chmod a+x script.sh

 

dan:

* * * * * sleep 30; script.sh

en klaar denk ik?

[Con]

Beiden bedankt, ik ben en beetje klaar voor

(dus niet klaar MEE!!) het schrijven van bash-scripts.

 

Dus deze voorzetten ga ik lekker mee aan de slag.

 

Waar ik het over heb, het uitlezen van mijn meter,

werkt al 1,5 jaar maar vertoond soms fout(jes)(en).

 

Reden om het over een andere boeg te gooien en

minder met Python en meer met bash-script want Linux

is zeer rijk aan sterke commando's heb ik de laatste

tijd gelezen en... dan ben ik weer ff van de straat .

 

Dus, wordt zeker vervolgd, eindelijk weer eens GEEN

problemen maar slechts een leuke ontspannende uitdaging.

[Con]

Ik ben overigens een kalf!!! (zelfkennis)

 

Die procedure om P1 uit te lezen kan zomaar 10 seconden duren

vandaar dat de tijd er (bijna) altijd ervoor werd gezet alvorens

er respons van de meter was. (ik had dat moeten weten)

[De_Perre]

vandaar mijn voorbeeldje met een expliciete 'wait' om zoiets op te vangen...

 

Maar: al doende leert men en zoals je zelf aangaf: het houdt je van de straat

6 juni 2015 aangepast door De_Perre

[Con]

#!/bin/bash
# Con's cron script om meter uit te lezen
# versie: 1.0
# datum:05-06-2015
#
# tijd in p1.txt schrijven
date +%T >> P1.txt
# streepjes voor duidelijkheid
echo "--------------" >> P1.txt
#echo data ophalen
cu -l /dev/P1meter -s 9600 --parity=none >> P1.txt
# streepjes voor einde
echo "--------------" >> P1.txt

chmod a+x script.sh

 

dan:

* * * * * sleep 30; script.sh

en klaar denk ik?

 

Uh, nee niet helemaal, meestal krijg ik alleen streepjes te zien, soms ook met tijd.

Ik denk dat het script de meter uit blijft lezen (die telegrammen verschijnen iedere

10 seconden). Maar omdat er nóg een script loopt op iedere hele minuut die de

meter uitleest stopt script.sh denk ik.

 

script.sh krijgt een aantal keer een telegram binnen maar zet 1 x de tijd erbij.

Hieronder heb ik 2 keer op de cli script.sh ingevoerd.

Ook hier geldt dat de tijd één keer in het beging wordt weggeschreven en

het loggen gewoon doorgaat totdat er voor een tweede keer aanspraak wordt

gemaakt op de poort door mijn eigen Python script.

17:18:36
-------
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.022*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.049*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.00*kW)
1-0:2.7.0(0000.09*kW)
0-0:17.0.0(0999.0
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.022*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.049*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.00*kW)
1-0:2.7.0(0000.08*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.022*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.049*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.00*kW)
1-0:2.7.0(0000.08*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!Connected.
Connected.

Disconnected.
-------
17:19:48
-------
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.022*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.051*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.00*kW)
1-0:2.7.0(0000.08*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.022*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.051*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.00*kW)
1-0:2.7.0(0000.08*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!Connected.
Connected.

Disconnected.
-------

Dus ben ik verder gegaan met de voorzet van De_Perre.

 

Maar dat gaat ook niet goed, ik krijg sowieso een foutmelding;

 

"wait: vPiD: not a pid or valid job spec"

 

Daarom heb ik alleen "wait (vPiD)" toegepast (na enig surfen en lezen)

en &> /dev/null weggehaald want er werd niets gelogd als alleen de tijd

werd neergezet.

Zie hier wat er nu gebeurd;

Disconnected.
Tijdstip:  17:01:06
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.013*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.013*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.10*kW)
1-0:2.7.0(0000.00*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.013*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.013*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.10*kW)
1-0:2.7.0(0000.00*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.013*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.013*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.11*kW)
1-0:2.7.0(0000.00*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.014*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.013*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.11*kW)
1-0:2.7.0(0000.00*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
/ISk5\2MT382-1004

0-0:96.1.1(5A424556303035313439383933303133)
1-0:1.8.1(03285.014*kWh)
1-0:1.8.2(02199.782*kWh)
1-0:2.8.1(00964.013*kWh)
1-0:2.8.2(02256.928*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.11*kW)
1-0:2.7.0(0000.00*kW)
0-0:17.0.0(0999.00*kW)
0-0:96.3.10(1)
0-0:96.13.1()
0-0:96.13.0()
!
Connected.
Connected.

Disconnected.
Tijdstip:  17:02:08

En dat er geen 6 maar 5 logs zijn heeft dus te maken met een tweede script dat draait op

de hele minuut. Maar dat is geen probleem want de bedoeling is dat het bash-script mijn

oude python scriptjes gaat vervangen.

 

@wiz @De_Perre

Wel leuk om hiermee te stoeien en dank tot nu toe maar we zijn er nog niet helemaal...

6 juni 2015 aangepast door Con

[De_Perre]

Con,

 

ik zie al waarom er bij de 'wait ...' een fout gegeven wordt; er staat immers geen '$' voor vPid

 

Dus, moest dan zoals onderstaande worden:

#!/bin/sh

#start uitlezen en stuur naar de achtergrond 
( cu -l /dev/P1/meter -s 9600 --parity=none >> p1.txt )&

#variable aanmaken om process ID in te stoppen
vPiD=$$

#wacht op achtergrond proces om te stoppen
wait $vPiD

#schrijf tijdstip van afronden in log
echo "Tijdstip: " $(date +%T) >> p1.txt

exit 0

mocht je 'quick and dirty' willen testen, maak je beter even van p1.txt een tijdelijk bestandje.

Dan kan je het scriptje even laten starten en wachten tot het klaar is; vervolgens even uitlezen.

Zo kan je cronjob niet zomaar interfereren.

 

 

Want ik vind het gek dat er meerdere telegrammen zichtbaar komen in de log ook al wordt er slechts één x uitgelezen.

[De_Perre]

Con,

 

Welke output heb je eigenlijk als je op de cli  volgende uitvoert?

cu -l /dev/P1/meter -s 9600 --parity=none

Mocht deze al meerdere keren de output geven, dan zou daar nog een oplossing voor gezocht moeten worden.

Want voor zover ik kan oordelen, wordt er 5 keer dezelfde info weggeschreven... Volgens jou 4x door script dat ik je gegeven heb en 1 x door jouw cronjob.

[Con]

Hoewel ik voornoemde uiteraard (morgen) ga proberen eerst even

wat achtergrond hopende dat het geen "boring" verhaal wordt.

 

Natuurlijk staat internet vol van hoe je je meter uit moet lezen.

Het grote voorbeeld wat bija iedereen "geleend" heeft is van gejansen

en hij verdiend eigenlijk best wel een ereplekje: http://www.gejanssen.com/howto/Slimme-meter-uitlezen/index.html#mozTocId385728

 

Bijna de hele wereld (in Nederland:)) refereert naar hem in elk script

als het een Pythonscript betreft.

 

2 zaken die daar niet aan de orde komen zijn op de eerste plaats

loggen icm zonnepanelen en! wat ik zo belangrijk vind (blijkbaar

bijna niemand) loggen met een kortere frequentie. Niet eens per

minuut maar zoveel mogelijk.

 

Omdat ik het (bestaande) script erg lang vind met teveel voorwaarden

zocht ik een manier om sneller alleen te loggen en daarna pas de

gegevens te verwerken. (dit komt ook omdat ik buffer overruns heb)

Om zodoende zo min mogelijk opdrachten aan de cpu te geven, zovan

"lezen en opslaan" dan zie ik later wel verder.

 

De slimme meter genereert per 10 seconden een telegram zoals men dat

noemt. Mijn Inverter daarentegen sowieso 30 log's per minuut. Maar

dat is vooralsnog ff een ander verhaal. En laat ik voor later.

 

Dus ik wil continue (zo snel mogelijk) mijn P1 loggen en wegschrijven

en later die file gaan bewerken.

 

Nu heb ik inmiddels een hele leuke site gevonden met bash-commandos

in combinatie met voorbeelden en ondervind dat je "heel" eenvoudig

zaken kunt regelen, zo noem ik bijvoorbeeld als je logfile te groot

wordt; tail -1000 p1.txt > bak,txt | cp bak.txt p1.txt | rm bak.txt.

Eigenlijk had ik nog gehoopt iets eenvoudigers te vinden met "rotate"

maar dat was iets teveel gevraagd volgens mij na uren surfen...

Hierdoor (die site met bash-commando's) werd ik geinspireerd om het

over een andere boeg te gooien.

Dat is dan ook de reden dat ik nu hier ben met mijn script in de

cronjob wat inmiddels een bash-script is geworden wat wordt

aangeroepen door de cron.

 

Maar goed, loggen is nu het toverwoord. Het vervelende is dat ik

tijdens alle testen nog steeds een logsessie heb lopen, uiteraard

om mijn betaande database en grafeieken te voorzien. Maar soms staat

dit een beetje in de weg. En heb al gekeken om P1 te splitten maar

dat kan niet ongestraft, moet je electronisch oplossen (hardwarematig).

 

Dus wat dat betreft kan ik niet 100% maar gefragmenteerd testen.

 

Nou, dit was boring genoeg, morgen ga ik voorgaande testen en het

wordt vervolgd.

6 juni 2015 aangepast door Con

[Con]

Con,

 

Welke output heb je eigenlijk als je op de cli volgende uitvoert?

 

cu -l /dev/P1/meter -s 9600 --parity=none

Mocht deze al meerdere keren de output geven, dan zou daar nog een oplossing voor gezocht moeten worden.

Want voor zover ik kan oordelen, wordt er 5 keer dezelfde info weggeschreven... Volgens jou 4x door script dat ik je gegeven heb en 1 x door jouw cronjob.

Deze opdracht blijft onbeperkt doorgaan onder normale omstandigheden.

Nu ik ook een logscript continue heb draaien op de hele minuut stop

en crasht deze opdracht zodra mijn script (via cron) wordt aangeroepen.

Maar dat lijk mij logisch. (noem het "groepsex in de zelfde poort" )

 

Kortom, onder normale omstandigheden spuugt deze het telegram (zonder

de tijd uiteraard (wat wel erg jammer is)) 6 x per uur 24/7.

6 juni 2015 aangepast door Con

[De_Perre]

Boring zou ik het niet noemen, maar goed

 

Die link maakt alvast een en ander duidelijk; nog niet direct een idee hoe dit praktisch op te lossen wordt.

Wat je zou willen is commando 'cu .........' starten en ondertussen loggen; na 15 regels zou je 'cu ......' willen afbreken om dan de datum/tijdstip toe te voegen.

 

Het pythonscript laat dit redelijk vlot toe met behulp van die 'import sys' en 'import serial' maar dat loopt denk ik iets lastiger om dit via shell te gaan doen.

 

Even laten bezinken en over nadenken; ik kom er nog wel op terug

[Con]

Laat je niet teveel verleiden tot het python-script.

(dit script geeft bij mij a lot of input-overruns

dus wil ik er vanaf)

 

Uiteindelijk wil ik alle logs per minuut weer hebben.

Lukt het niet met de tijd dan is er bij het uitlezen

van het logbestand nog altijd een mogelijkheid.

 

Het jammere is nu dat ik niet tegelijk 2 keer kan

uitlezen anders liet ik de bash ook continue loggen

om te ervaren hoe dat gaat.

[Con]

Hoe krijg ik het voor elkaar om 1x te loggen,
nu gaat het script door totdat er een conflict is.

Zoals verteld lees ik standaard iedere minuut 00
en dat duurt ongeveer 10 seconden.

Het bash-script start ik om 30 seconden over de
hele minuut maar gaat dan door met loggen.
"NU" wil ik dat nog niet, krijg nu tons of overruns.
Deze overruns hebben verders geen invloed op het
loggen.
 

Jun 7 14:30:11 raspberrypi kernel: [404555.791688] ttyUSB0: 6 input overrun(s)
Jun 7 14:32:11 raspberrypi kernel: [404675.784339] ttyUSB0: 6 input overrun(s)
Jun 7 14:38:12 raspberrypi kernel: [405036.775987] ttyUSB0: 231 input overrun(s)
Jun 7 14:39:12 raspberrypi kernel: [405097.105435] ttyUSB0: 6 input overrun(s)
Jun 7 14:42:12 raspberrypi kernel: [405276.600648] ttyUSB0: 6 input overrun(s)
Jun 7 14:44:11 raspberrypi kernel: [405395.620666] ttyUSB0: 6 input overrun(s)
Jun 7 14:49:12 raspberrypi kernel: [405696.563262] ttyUSB0: 6 input overrun(s)
Jun 7 15:00:12 raspberrypi kernel: [406357.128362] ttyUSB0: 6 input overrun(s)
Jun 7 15:03:12 raspberrypi kernel: [406536.801658] ttyUSB0: 255 input overrun(s)
Jun 7 15:04:13 raspberrypi kernel: [406597.227005] ttyUSB0: 6 input overrun(s)
Jun 7 15:05:11 raspberrypi kernel: [406655.913081] ttyUSB0: 6 input overrun(s)
Jun 7 15:06:12 raspberrypi kernel: [406716.426122] ttyUSB0: 6 input overrun(s)
Jun 7 15:09:12 raspberrypi kernel: [406896.407027] ttyUSB0: 6 input overrun(s)
Jun 7 15:10:12 raspberrypi kernel: [406956.880725] ttyUSB0: 6 input overrun(s)

7 juni 2015 aangepast door Con

[Big fellow]

Kijk eens naar de read functie in bash. Je jan heel mooi een file regel voor regel uitlezen en condities aan de invoer hangen. Jouw telegram begin met /ISk.. en eindigt met ! .

Een voorbeeld (in het Engels) http://en.kioskea.net/faq/1757-how-to-read-a-file-line-by-line

 

De file is gewoon de device file van je serial port. Moet je alleen even de serial port goed configureren... (setserial)