Tvorba webu » SEO » Robots.txt

Robots.txt

Pomocí robots.txt lze zakázat robotům indexování celého webu nebo jen adresářů, ale né všichni roboti to dodržují pozor na to!

Základem je soubor robots.txt, který musí být umístěn takto:

• http://www.domena.cz/robots.txt
• http://subdomena.domena.cz/robots.txt

Jinam se tento soubor umisťovat nemůže, dále se musí psát jen malými písmeny.

Příklad robots.txt na tomto webu:

User-agent: *
Disallow: /php/priklady/

User-agent = robot, * = že to platí pro všechny roboty.

Disallow: /php/priklady/ znamená že se nebude indexovat pouze tento adresář.

User-agent: *
Disallow:

Tento zápis znamená že všichni roboti můžou indexovat na celém webu.

User-agent: Googlebot
Disallow: /

A zde má Googlebot zakázáno indexovat na celém webu.

Statistika tohoto webu

Je to seznam robotů které chodí na tento web + další údaje.

• Inktomi Slurp 1008+654 8.22 MB 29 Říj 2006 - 02:50
• Googlebot 1062+34 8.18 MB 28 Říj 2006 - 20:25
• MSNBot 761+111 6.31 MB 29 Říj 2006 - 03:10
• Unknown robot (identified by 'crawl') 254+12 3.97 MB 22 Říj 2006 - 09:21
• Holmes 193+5 1.39 MB 29 Říj 2006 - 01:20
• Unknown robot (identified by hit on 'robots.txt') 0+98 4.12 KB 29 Říj 2006 - 01:35
• Google AdSense 77+1 656.34 KB 26 Říj 2006 - 15:08
• MSIECrawler 52+6 182.44 KB 29 Říj 2006 - 02:41
• WISENutbot 35+4 579.72 KB 28 Říj 2006 - 07:22
• Unknown robot (identified by 'spider')

Reklama