website in google krijgen

[DroomDoos]

Ik heb gehoord dat als je je website te vaak aanmeld bij google dat ze dat als spam zien en je niet toe voegen totdat er een link op een pagina is gevonden die weer door de bot gehaald is en je er dan wel bij plaatst.

 

DroomDoos

[Gast]

@All,

 

dat is dus iets waar ik gek van word of al ben.

 

In het ene verhaaltje word gezet dat aanmelden zo vaak als kan geen probleem is en nu lees ik dat het bij sommige gezien als spam. Trouwens hoe kunnen ze dat zien?? Het bot verhaal is een geautomatiseerd verhaal waar geen mensen aan te pas komen.

 

Volgens mij kan niemand hier duidelijkheid overgeven.

 

mvg

Olav

[Big fellow]

Misschien nog een beetje <img src="/ubbthreads/images/graemlins/lezen.gif" alt="" /> op deze URL ? Als je die al hebt doorgelezen, jah, dan afwachten misschien, meer links enzo...

 

Big fellow

[Gast]

@Big fellow,

 

dit had ik nog niet gezien. Maar ik denk dat het idd het beste is om nu ff te kijken wat het resultaat van de aanmeldingen van vandaag oplevert.

 

Iedereen in ieder geval alvast bedankt voor de hulp.

 

mvg

Olav

[DennisB]

Zet je URL op een site die vaak bezocht wordt. Bijvoorbeeld een grote verkoopsite. Binnen de kortste keren sta je bovenaan. Meerdere malen geprobeerd, en altijd een succes.

[Gast]

@all,

 

de wonderen zijn de wereld nog niet uit. Google is vandaag langs geweest op de onderliggende pagina's maar nog niet op de index. Het verhaal ziet er als volgt uit:

 

 

66.249.65.166 - - [28/Sep/2004:05:12:56 +0200] "GET /robots.txt HTTP/1.1" 302 312 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.166 - - [28/Sep/2004:05:12:56 +0200] "GET /error_docs/not_found.html HTTP/1.1" 200 200 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.166 - - [28/Sep/2004:05:12:56 +0200] "GET / HTTP/1.1" 200 9758 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

Bovenstaande was vanochtend vroeg. Tegen de middag het volgende:

 

66.249.65.67 - - [28/Sep/2004:10:36:20 +0200] "GET /robots.txt HTTP/1.1" 302 312 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:10:36:21 +0200] "GET /error_docs/not_found.html HTTP/1.1" 200 200 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:10:36:21 +0200] "GET /overigefaciliteiten.htm HTTP/1.1" 200 8380 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:10:40:19 +0200] "GET /infrastructuur.htm HTTP/1.1" 200 7940 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:10:45:06 +0200] "GET /opslag.htm HTTP/1.1" 200 8476 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:10:49:52 +0200] "GET /route.htm HTTP/1.1" 200 7777 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:10:57:45 +0200] "GET /aanvraagformulier.htm HTTP/1.1" 200 14332 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:07:34 +0200] "GET /domicilieadres.htm HTTP/1.1" 200 8329 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:14:52 +0200] "GET /telefonischeantwoordservice.htm HTTP/1.1" 200 7492 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:20:15 +0200] "GET /kantoren.htm HTTP/1.1" 200 8338 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:25:43 +0200] "GET /secretarieleondersteuning.htm HTTP/1.1" 200 7640 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:30:11 +0200] "GET /pantry.htm HTTP/1.1" 200 7519 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:34:31 +0200] "GET /vergaderruimtes.htm HTTP/1.1" 200 7845 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.67 - - [28/Sep/2004:11:40:25 +0200] "GET /schoonhouden.htm HTTP/1.1" 200 7256 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

Hierna ging ik nog even in de error log kijken en kwam toen het volgende tegen:

 

[Tue Sep 28 05:12:56 2004] [error] [client 66.249.65.166] File does not exist: /usr/local/psa/home/vhosts/**-*****.**/httpdocs/robots.txt

[Tue Sep 28 10:36:20 2004] [error] [client 66.249.65.67] File does not exist: /usr/local/psa/home/vhosts/**-*****.**/httpdocs/robots.txt

 

Ik heb mijn hoster gesproken en die zegt van dan moet je even wat toevoegen. Maar de syntaxis enz weet ik niet maar dat kun je op internet vinden. Wie weet het wel???

 

!!!!!!!!!!!!waar **** staan stond de link en aangezien deze commercieel is heb ik hem zelf verwijderd. Sorry dat ik dat niet gelijk gezien heb.

 

Bij voorbaat dank.

 

mvg

Olav

[Big fellow]

Citaat:

Hierna ging ik nog even in de error log kijken en kwam toen het volgende tegen:

[Tue Sep 28 05:12:56 2004] [error] [client 66.249.65.166] File does not exist: /usr/local/psa/home/vhosts/**-*****.**/httpdocs/robots.txt
[Tue Sep 28 10:36:20 2004] [error] [client 66.249.65.67] File does not exist: /usr/local/psa/home/vhosts/**-*****.**/httpdocs/robots.txt

Ik heb mijn hoster gesproken en die zegt van dan moet je even wat toevoegen. Maar de syntaxis enz weet ik niet maar dat kun je op internet vinden. Wie weet het wel???

Hmm, het valt mij een beetje tegen dat je dit niet hebt kunnen vinden... ( Eerste hit in google met als zoekterm robots.txt ........ )

Big fellow

PS Ik gebruik geen robots.txt op mijn website... Is niet verplicht!

[Gast]

@Big Fellow,

 

ik kan me enigzins indenken dat je het een minpunt vind. Maar je moet ook begrijpen dat ik na alles wat ik in de afgelopen weken gelezen en gezien dat ik ook niet alles weet.

 

Maar uit jouw reactie begrijp ik dat robots.txt niet nodig/noodzakelijk zijn.

 

 

@All,

 

als iedereen naar de bovenstaande log kijkt. Mag ik dan eruit op maken dat google de site gezien en eventueel geindexeerd heeft???

 

mvg

Olav

[Big fellow]

Citaat:

@Big Fellow,

ik kan me enigzins indenken dat je het een minpunt vind. Maar je moet ook begrijpen dat ik na alles wat ik in de afgelopen weken gelezen en gezien dat ik ook niet alles weet.

Maar uit jouw reactie begrijp ik dat robots.txt niet nodig/noodzakelijk zijn.

Als je nou eens leest op die link, dan worden je vragen omtrend robots.txt wat het is en wat het doet allemaal beantwoord....... Maar kort door de bocht, nee je hebt hem niet nodig, tenzij je bepaalde pagina's niet wilt indexeren.

Citaat:

@All,

als iedereen naar de bovenstaande log kijkt. Mag ik dan eruit op maken dat google de site gezien en eventueel geindexeerd heeft???

mvg
Olav

Ja hij is nu geindexeerd op die pagina's maar het kan nog even duren tot dat hij ook daadwerkelijk in de index verschijnt....

Big fellow

[Gast]

@Big fellow,

 

dank je wel voor je geduld. Ik heb de link ook proberen te lezen. Maar ik ben heel eerlijk mijn engels is niet al te best dus is het moeilijk om te begrijpen.

 

Ik ben blij dat je me in ieder geval een antwoord hebt geven dank je wel.

 

mvg

Olav

[Duwgati]

Zoals Big Fellow al aangeeft, de robots.txt gebruik je in principe idd alleen voor het uitsluiten van bepaalde folders. Stel dat je een folder "testwerk" gebruikt om dingetjes on-line te testen, maar waarvan je niet wilt dat die folder geïndexeerd wordt, dan kun je een file robots.txt in de root van je wensite zetten.

 

Zo'n robots.txt om de folder "testwerk" uit te sluiten zou er zo uit kunnen zien:

Code:

 #  PARTIAL access (Alta Vista)User-agent: ScooterDisallow: /testwerk/#  PARTIAL access (Google)User-agent: GooglebotDisallow: /testwerk/#  PARTIAL access (Lycos)User-agent: Lycos_Spider_(T-Rex)Disallow: /testwerk/ 

 

Het eerste wat een spider doet als ie op je site binnenkomt, is kijken of er een file bestaat met de naam robots.txt. Als die bestaat, volgt ie de regels die daarin zijn opgegeven. En zoals je in het voorbeeld hierboven kunt zien, kun je voor iedere spider apart opgeven wat ie niet mag.

 

Echter, als die niet bestaat, komt er automatisch een error-entry in de logfile bij je provider. De spider heeft dan namelijk geprobeerd een file te openen die niet bestaat. Dus daar komt ook die foutboodschap vandaan die jij in de log ziet.

[Gast]

@All,

 

tot zover iedereen hartelijk dank voor de hulp en de reacties.

 

Ik ga hopen en bidden en als het gelukt is dan ga ik weer proberen een gat in de lucht te springen <img src="/ubbthreads/images/graemlins/loldev.gif" alt="" />.

 

mvg

Olav

[Gast]

he olav

 

onze site stond binnen 3 weken na begin al in google en al onze links worden ook bijna meteen opgenomen <img src="/ubbthreads/images/graemlins/wink.gif" alt="" />

 

heb je link al in onze link pagina gezet <img src="/ubbthreads/images/graemlins/xyxthumbs.gif" alt="" />

 

greets

marcel

[Big fellow]

Om nog meer te weten te komen over google, kan je dit ook ff doorlezen..... Owkee is in het Engels, maar kon er niet zo snel een Nederlandse versie van vinden...

 

Big fellow

[pinocchio]

Citaat:

@All,

ik ben sinds een aantal weken bezig om de website van ons Bedrijf(naam noem ik niet) in google te krijgen.

Het is me wel gelukt om deze in bijv. Yahoo en vinden.nl en MSN te krijgen. Maar ik heb na veel lezen en een gesprek met mijn hoster begrepen dat google een ondoorgrondelijk iets is.

Google maakt gebruik van een soort Open Directory, ik heb de site daar ook aangemeld maar resultaat is tot op heden nul.

Wat kan ik nog meer doen. Google is in mijn ogen toch een van de belangrijkst zoekmachines op het internet.

mvg
Olav

De andere zoekmachines die je noemt buiten Google hebben je
waarschijnlijk op je metatags gevonden.
Dit zie je dus aan de tekst die bij je link weergegeven
wordt in desbetreffende zoekmachine.

Het is ook afhankelijk van je content op je index, als
je in snot handelt om maar wat te zeggen en er zijn er
duizenden die dat ook doen tja wat dan?

Er kan er maar 1 op 1 staan of in het lijstje van de
eerste 30 komen.

Men zegt ook wel eens dat de opbouw meetelt maar dat weet
ik niet echt zeker.
Dus je pagina met iets te beginnen als
<h1>Bedrijf Snot</h1>
<h2>Bedrijf Snot is gespecialiseerd in Snot</h2>
<p>blaat</p>
etc

De h1 hoeft geen koeieletters te zijn want die kan je
regelen met css.

Als je site met een CMS systeem zoals bijv het open source
systeem Mambo draait dan is het toverwoord SEF
(Search Engine Friendly URL`s).
Anders genaamd mod_rewrite.

Google kan dan beter dieplinken en kom wat verder dan je index.
Aan de linkjes te zien hier op sat4all wordt hier ook
nog geen gebruik gemaakt van deze mod_rewrite.
Dat kan je zien aan de lel van een link in je adresbalk.
Daar heeft google moeilijkheden mee.

Ik heb pas geleden een mod/hack toegepast op ons phpbb
forum en er verschenen meteen meerdere resultaten in google
omdat het dieplinken (volgen van een link die google
tegenkomt) nu van een leien dakje gaat.

Het manupileren van zoekmachines wordt je niet in dank
afgenomen en betekent ook een ban als men erachter komt.

Bekijk ook even wat voor metatags er bestaan voor het aanspreken van de zoekmachine die je site bezoekt.

John