Tvorba webu » SEO » Robots.txt

Robots.txt

Pomocí robots.txt lze robotům zakázat indexování celého webu nebo jen některých adresářů. Ne všichni roboti to však dodržují.

Základem je soubor robots.txt, který musí být umístěn takto:

• http://www.domena.cz/robots.txt
• http://subdomena.domena.cz/robots.txt

Jinam se tento soubor umisťovat nemůže a jeho název se musí psát malými písmeny.

Příklad robots.txt na tomto webu:

User-agent: *
Disallow: /php/priklady/

User-agent = robot, * = že to platí pro všechny roboty.

Disallow: /php/priklady/ znamená, že se nebude indexovat pouze tento adresář.

User-agent: *
Disallow:

Tento zápis znamená, že všichni roboti mohou indexovat celý web.

User-agent: Googlebot
Disallow: /

A zde má Googlebot zakázáno indexovat na celém webu.

Statistika tohoto webu

Jde o seznam robotů, kteří navštěvují tento web, a další údaje.

• Inktomi Slurp 1008+654 8.22 MB 29 Říj 2006 - 02:50
• Googlebot 1062+34 8.18 MB 28 Říj 2006 - 20:25
• MSNBot 761+111 6.31 MB 29 Říj 2006 - 03:10
• Unknown robot (identified by 'crawl') 254+12 3.97 MB 22 Říj 2006 - 09:21
• Holmes 193+5 1.39 MB 29 Říj 2006 - 01:20
• Unknown robot (identified by hit on 'robots.txt') 0+98 4.12 KB 29 Říj 2006 - 01:35
• Google AdSense 77+1 656.34 KB 26 Říj 2006 - 15:08
• MSIECrawler 52+6 182.44 KB 29 Říj 2006 - 02:41
• WISENutbot 35+4 579.72 KB 28 Říj 2006 - 07:22
• Unknown robot (identified by 'spider')

Reklama