Boulder's alternatieve EPG

[Gast zzzzzzz]

Ik ben een hele tijd bezig om zelf een EPG aan te maken (niet de plugin, maar de data zelf).

Eerst eventjes over de motivatie hiervoor.

 

Mijn filosofie is dat je best niet al je eitjes in dezelfde mand legt.

Op gebied van EPG is er momenteel één team dat eraan werkt (dat van Rytec), en dat uitstekend werk levert.

Alleen, wat als Rytec op een dag geen zin meer heeft om zich hiermee bezig te houden, of hij heeft er gewoon geen tijd meer voor ?

Het gemakkelijkste voor iedereen is immers dat ze gewoon de sources en de channels downloaden en er niet meer naar omkijken.

Maar stel dat je dat zo'n jaar of 3 doet, dan word je rap gewoon aan een netjes ingevulde EPG, en als die dan plots wegvalt zal de zin om er dan nog aan te beginnen natuurlijk weinig groot zijn.

 

Een tweede reden om met een alternatief te beginnen, is natuurlijk dat iedereen zo zijn eigen wensen en voorkeuren heeft.

Zo ken ik wel wat Spaans, maar geen letter Pools.

Met mijn Multytenne Twin kan ik ook geen zenders van 1W of zo opvangen, ik ben dus beperkt tot Hotbird (13°E), Astra1 (19.2°E), Astra3 (23.5°E) en Eurobird 1/Astra2 (28.2/28.5°E).

Bovendien heb ik een paar kabeltuners in mijn Dreambox zitten, zodat ik ook van zenders EPG wou die voor velen niet interessant zijn (Arte Belgique bestaat alleen op de kabel, hoewel het voor 99% gelijk is aan Arte Franse versie, één+ en Ketnet+/Canvas+ zitten alleen op kabel en DVB-T).

Vermits ik dan toch bezig was met één+ en dergelijke, leek het mij een kleine moeite om ook de PID's erin te steken voor DVB-T, zodat ook die gebruikers een EPG zouden hebben.

 

Ik ben ook wel wat perfectionistisch, zo heb ik ineens alle Telenet kanalen erbij gezet, ook al is er maar een fractie van te bekijken.

 

Voor CBBC en Cbeebies leek het mij handig om de EPG's op satelliet samen te smelten met die van BBC3 en BBC4.

Dan maakt het niet meer uit of je op het kinderkanaal staat of op het volwassen kanaal.

Het leek mij ook handig om, voor grabbers die het ondersteunen, af te knippen op het moment dat bij TVV de knop omgaat.

Ik bedoel hiermee bijv. Kanaal Z, dat bij Telenet 24/24 uitzendt, maar bij TVV slechts van 7 uur 's morgens tot 14 uur 's middags.

Idem ditto voor Vitaliteit, dat slechts gedeeltelijk uitzendt op TVV.

 

Voor bepaalde kanalen vond ik geen grabber (Foxlife, één+ bijv.), en daar heb ik dan zelf een grabber voor geschreven.

 

Voor de Britse kanalen zult u zien dat de informatie ook zeer uitgebreid is.

 

Op dit moment heb ik volgende klaar :

 

* Vlaamse DVB-T

* Telenet

* TV Vlaanderen

* Canal Digitaal

* Télésat

* een pak FTA kanalen

* een groot deel van de BskyB kanalen

* een stuk van de Canalsat kanalen

 

Ik wil dit gerust beschikbaar stellen, zoals de Rytec lijst beschikbaar is.

Alleen zie ik één probleempjes.

 

Waar kan ik mijn data kwijt ?

Ik heb gisteren mijn XMLTV data eens gecomprimeerd, en ik kwam op 7 Mbytes gecomprimeerd (RAR file).

Eens de andere pakketten erin zitten zal dit makkelijk naar het dubbele komen, denk ik.

Ongecomprimeerd zit ik trouwens al dicht bij de 100 Mbytes.

Gezien Rytec al problemen krijgt met zijn data, vraag ik mij af waar ik dit kwijt kan.

Eerlijk gezegd heb ik niet veel zin om zelf nog eens voor hosting te gaan betalen.

Uiteindelijk betaal ik al een licentie voor jxmltv, en bied toch heel wat gratis ter beschikking.

 

Het systeem is op dit moment niet zo uitgesplitst in pakketten, maar de individuele XMLTV files komen overeen met de grabbers waarvan ze komen.

Je kunt dus niet eventjes alleen de Vlaamse kanalen downloaden.

[Gast MiLo]

We zouden over kunnen gaan op een "EPG-torrent" achtig systeem. Kost wel wat programmeer- en denkwerk.

 

De sleutel tot succes daarvan is dat als je van de torrent-epg gebruik wil maken, dat je dan ook bereid moet zijn je box in principe dag en nacht aan te hebben staan, en verbonden met het internet, zodat je meehelpt bij het verspreiden van de informatie.

 

Flauwe implementatie: CTorrent installeren (zit al in feed) en EPG files als gewone torrents verspreiden. Is wel een leuk prototype...

[Gast zzzzzzz]

Origineel bericht van: MiLo

We zouden over kunnen gaan op een "EPG-torrent" achtig systeem. Kost wel wat programmeer- en denkwerk.

De sleutel tot succes daarvan is dat als je van de torrent-epg gebruik wil maken, dat je dan ook bereid moet zijn je box in principe dag en nacht aan te hebben staan, en verbonden met het internet, zodat je meehelpt bij het verspreiden van de informatie.

Flauwe implementatie: CTorrent installeren (zit al in feed) en EPG files als gewone torrents verspreiden. Is wel een leuk prototype...

Maar ik had al zitten denken aan een paar verbeteringen aan je plugin die de datastroom kunnen inperken.

1) Op dit moment is het automatisch of manueel.
Als het automatisch is, is het ELKE dag.
Waarom niet een Mon Tue Wed Thur Fri Sat Sun vakje voorzien dat je kunt aankruisen ?

2) Je zou ook kunnen denken aan incrementele updates.
Samen met de vorige suggestie te implementeren dan.
Stel : maandag volledige EPG gedownload voor maximum aantal dagen.
Op dinsdag tot en met zondag dan een kleinere update met bijv. EPG voor de eerstkomende 3 dagen.
Zo heb je de meest recente wijzigingen, en data die verder in de toekomst ligt is dan misschien iets minder nauwkeurig.

3) +1, +2 enz. door de plugin laten doen.
Op dit moment moet je dus EPG laden voor More4, maar ook voor More4+1.
Bij de BSkyB heb je heel veel van die +1, en soms zelfs +2 kanalen.
Dat betekent een pak minder data dan.

[Kowalski]

Nog een suggestie om de datastroom drastisch te beperken:

Is het niet mogelijk de EPG van een betreffend kanaal pas van internet te laden zodra je daar naar toe zapt, net zoals bij zappen op satelliet. Op die manier laad je alleen maar de EPG welke je op dat moment nodig hebt, van het kanaal waar je op dat moment naar kijkt. Deze data tevens gecomprimeerd aanbieden (indien nog niet het geval).

 

Op dit moment komt bij mij dagelijks een "overkill" aan EPG data binnen van een handvol kanalen die ik daadwerkelijk kijk. Zonde van de bandbreedte, denk ik. Alleen met de autotimer plugin is het wel weer handig om alle EPG data te hebben. Tja...

[Gast MiLo]

1) Er had tot nu toe niemand expliciet om gevraagd, maar is eenvoudig in te bouwen.

 

2) Gebeurt op sommige sites ook. Beste zou zijn om "delta" files te leveren. Dus 1ste run wordt de volledige EPG geladen vor een week, en daarna wordt steeds een "delta" gedownload, die bevat dus alleen maar wijzigingen tov de volledige lijst. Daarmee vang je tusentijdse programmawijzigingen op. Dit zou in sources.xml moeten worden ingesteld zodat de plugin weet wat de bedoeling is. Een delta bevat dus typisch alle EPG voor dag 7 en de wijzigingen in de dagen ervoor. Wordt een lastige parser...

 

3) De winst hiervan gaat tegenvallen - de compressie profiteert namelijk al behoorlijk van de herhaling die dat oplevert. Dus als je een zender hebt met 1MB data, wordt de gz file bijvoorbeeld maar 100k groter (ipv 1MB) als je er een +1 zender aan toevoegt. Intern doet enigma dit trouwens wel bij elkaar vegen om geheugen te sparen en om 'related events' te vinden.

Je zou op bzip2 of LZMA kunnen overstappen voor de compressie, levert ook aardig winst op maar kost meer CPU (niet zozeer op de dreambox maar vooral op de inpakker).

[Gast MiLo]

Ook een stoere suggestie. Weet niet of dat in de praktijk goed uitpakt, ik kijk namelijk bijna nooit naar TV, ik kijk alleen opnames die door de autotimer uit de EPG worden geplukt... Dan zou ik de autotimer aan de EPG fetch kunnen knopen natuurlijk

[Gast zzzzzzz]

Origineel bericht van: MiLo

1) Er had tot nu toe niemand expliciet om gevraagd, maar is eenvoudig in te bouwen.

2) Gebeurt op sommige sites ook. Beste zou zijn om "delta" files te leveren. Dus 1ste run wordt de volledige EPG geladen vor een week, en daarna wordt steeds een "delta" gedownload, die bevat dus alleen maar wijzigingen tov de volledige lijst. Daarmee vang je tusentijdse programmawijzigingen op. Dit zou in sources.xml moeten worden ingesteld zodat de plugin weet wat de bedoeling is. Een delta bevat dus typisch alle EPG voor dag 7 en de wijzigingen in de dagen ervoor. Wordt een lastige parser...

3) De winst hiervan gaat tegenvallen - de compressie profiteert namelijk al behoorlijk van de herhaling die dat oplevert. Dus als je een zender hebt met 1MB data, wordt de gz file bijvoorbeeld maar 100k groter (ipv 1MB) als je er een +1 zender aan toevoegt. Intern doet enigma dit trouwens wel bij elkaar vegen om geheugen te sparen en om 'related events' te vinden.
Je zou op bzip2 of LZMA kunnen overstappen voor de compressie, levert ook aardig winst op maar kost meer CPU (niet zozeer op de dreambox maar vooral op de inpakker).

Hmm, misschien beginnen met hetgeen makkelijkst te implementeren is ?
Zou toch handig zijn dat je één keer per week kunt automatisch downloaden in plaats van iedere dag.
Als downloader stoort het mij natuurlijk niet dat het iedere dag gebeurt, maar de site waarvan het komt, moet het natuurlijk kunnen verwerken.

BTW : weet iemand hoe dat zit met Rapidshare ?
Ik heb zo'n account, als ik daar nu zie staan : Trafficshare 43.5 Gb, is dat per maand of per dag ?

[Gast pieterg]

Origineel bericht van: MiLo

Dan zou ik de autotimer aan de EPG fetch kunnen knopen natuurlijk

Maar omdat de autotimer 'overal' zoekt, download je uiteindelijk nog steeds alles.
Je weet pas wat je wilt opnemen als je alle data bekeken hebt

[Gast MiLo]

Meestal geef ik zenders aan... heb geen zin in dat hij een Russisch nagesynchroniseerde law & order gaat opnemen...

[Kowalski]

Origineel bericht van: MiLo

We zouden over kunnen gaan op een "EPG-torrent" achtig systeem. Kost wel wat programmeer- en denkwerk.

De vraag is of de Dreamboxbezitters het wel fijn vinden dat hun IP adres bekend wordt, met het oog op veiligheidsgaten/hackers en dergelijke.

Is downloaden van rapidshare niet inderdaad een optie, zoals hier al gesuggereerd werd, of één van de ca. 100 filesharing sites (maar dan waar men geen captcha moet invoeren alvorens te downloaden).

Andere mogelijkheid: meerdere mirror sites, met een random keuze welke site genomen wordt. Of eventueel een zelf instelbare site, zodat je vrienden van je eigen site/dreambox kan laten downloaden.

[Gast pieterg]

Origineel bericht van: MiLo

Meestal geef ik zenders aan... heb geen zin in dat hij een Russisch nagesynchroniseerde law & order gaat opnemen...

ik doe dat precies andersom. Ik haal epg binnen van zenders die ik wel eens bekijk, en laat de autotimer vervolgens 'overal' zoeken.

[Gast MiLo]

Oja, en ik wil ook niet op 3 uur 's nachts wakker worden omdat het motortje bezig is om dat brok staal op 45 oost gericht te krijgen

[hemertje]

Origineel bericht van: zzzzzzz

* Vlaamse DVB-T
* Telenet
* TV Vlaanderen
* Canal Digitaal
* Télésat
* een pak FTA kanalen
* een groot deel van de BskyB kanalen
* een stuk van de Canalsat kanalen

als je dan toch perfectionisch bezig bent zou ik de provider EPG ook nog splitsen in de aangeboden zenderpakketten, iemand met een STB pakket heeft niets aan de volledige EPG van CDS...

enne, wie is Boulder eigenlijk?

[Gast zzzzzzz]

Origineel bericht van: hemertje

als je dan toch perfectionisch bezig bent zou ik de provider EPG ook nog splitsen in de aangeboden zenderpakketten, iemand met een STB pakket heeft niets aan de volledige EPG van CDS...

Tja, dat is een kwestie van smaak en interpretatie.
Jij zegt dat iemand die het niet heeft daar niets aan heeft.
Dat ben ik niet zo zeker, misschien wil iemand wel eens zien wat er op die zenders te bekijken valt, en dan is het handig er EPG van te hebben, ook al gaan beeld en geluid niet 'open'.

Dat opsplitsen in pakketjes wordt heel complex om te realiseren.
Vergeet niet dat ik op dit moment 7 verschillende soorten grabbers heb.
Proper filteren zou inhouden dat je uit al die XMLTV files die dan gemaakt worden, weer alles gaat filteren en in verschillende pakketjes gieten.
Het is ook onmogelijk een volledig gescheiden pakket te maken.

Neem als voorbeeld de zender één+, die zit bij kabel en DVB-T, maar niet bij satelliet.
Als je dus aparte pakketjes zou maken voor satelliet en DVB-T dan heb je die dus 2 keer.
Of je moet beginnen pakketjes maken van zenders die op 1 van de 3 zitten, of 2 van de 3.
Ik weet niet hoe Rytec dat precies doet, maar dit vind ik een onderdeel dat nogal moeilijk te realiseren is, zeker als je het beheersbaar wilt houden.
Steek je TVEi bij de FTA zenders of bij het Canal Digitaal pakket, of dan toch liever bij TVV of bij Télésat ?

En zo kan ik nog wel wat voorbeelden geven.

Voorlopig is het dus alles in één, je moet gewoon alles downloaden van XMLTV files.
Maar niets belet je natuurlijk om de channels.xml die je gebruikt aan te passen, en bijv. heel het DVB-T en Telenet stuk ineens eruit te gooien.
Die staan mooi als één blok in de file.
De rest staat per provider (volgens de service provider string).

Origineel bericht van: hemertje

enne, wie is Boulder eigenlijk?

Mijn alter ego.

[hemertje]

Origineel bericht van: zzzzzzz

Tja, dat is een kwestie van smaak en interpretatie.
Jij zegt dat iemand die het niet heeft daar niets aan heeft.
Dat ben ik niet zo zeker, misschien wil iemand wel eens zien wat er op die zenders te bekijken valt, en dan is het handig er EPG van te hebben, ook al gaan beeld en geluid niet 'open'.

Dat opsplitsen in pakketjes wordt heel complex om te realiseren.

dan heb je nog altijd de now/next epg en ik heb ook niet gezegd dat het makkelijk is, het is dan wel custom made voor de gebruiker per pakket...