robots.txt instellen

[greevels]

Hoi

 

Ik heb een website gemaakt hoe kan ik met robots.txt ervoor zorgen dat geen enkele searchengine mijn website weet te vinden ?

Hoe stel ik dan de robots.txt in ?

 

Heb het nu als volgt staan

 

User-agent: *
Disallow: /
Disallow: /administrator/
Disallow: /bin/
Disallow: /cgi-bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

31 oktober 2013 aangepast door greevels

[Bierflesje]

Ik gebruik alleen de eerste 2 regels.

Tweede regel geeft geen toegang tot de root en dus volgens mij ook niet aan de onderliggende mappen.

[Puch]

Eigenlijk is dit voldoende

 

User-agent: *
Disallow: /

 

 

Je staat niet toe om vanaf de root van de site iets te verkennen, dus alle andere mappen staan sowieso in de root of hoger.

 

Echter als het is om spam robots buiten te houden heeft dit weinig zin. Die negeren de robots.txt

1 november 2013 aangepast door Puch

[greevels]

Hoi

 

Bedankt voor de reacties

Het gaat mij erom dat de site niet geindexeertd word via zoekmachines

Ik heb nog een vraagje ik heb de site gemaakt met Joomla en de K2 module op deze site is het oa mogelijk om bij het menu item foto's reacties te plaatsen echter alleen maar door geregistreerde users ik neem aan dat dit afdoende is om spam buiten de site te houden?

 

Ps de site is ook alleen maar te benaderen voor geregistreerde users

 

Mvg

1 november 2013 aangepast door greevels

[Puch]

Je zal nooit helemaal kunnen verhinderen dat de site door één of andere robot geïndexeerd word. Zoals ik al zei negeren sommige robots de robots.txt gewoon.

Zeker deze die op zoek zijn email adressen en dergelijke.