Robots.txt

Pomocí robots.txt lze zakázat robotům indexování celého webu nebo jen adresářů, ale né všichni roboti to dodržují pozor na to!

Základem je soubor robots.txt, který musí být umístěn takto:

Jinam se tento soubor umisťovat nemůže, dále se musí psát jen malými písmeny.

Příklad robots.txt na tomto webu:

User-agent: *
Disallow: /php/priklady/

User-agent = robot, * = že to platí pro všechny roboty.

Disallow: /php/priklady/ znamená že se nebude indexovat pouze tento adresář.

User-agent: *
Disallow:

Tento zápis znamená že všichni roboti můžou indexovat na celém webu.

User-agent: Googlebot
Disallow: /

A zde má Googlebot zakázáno indexovat na celém webu.

Statistika tohoto webu

Je to seznam robotů které chodí na tento web + další údaje.

Reklama

Webhosting C4



Copyright (c) 2004 Tvorba Webu - Kontakt - mapa webu - RSS