Robots.txt je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.
Uvedením následujícího textu v souboru robots.txt lze zakázat indexování všech vyhledávačů:
User-agent: *
Disallow: /
Následující příklad zakáže všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
Zakázaní googlbotu indexovat vše v adresáři /en:
User-Agent: Googlebot
Disallow: /en/
Zakázat indexování lze i vložením následujícího HTML kódu mezi tzv. metatagy:
<meta name="robots" content="noindex,nofollow" />
[editovat] Související články
[editovat] Externí odkazy
gry online zabawne sms imp event fotoradary parkiet
studio fotograficzne poznań Projekty domów Aukcja za grosze.pl Twoja stara słodzik Wyrzuć ten gniew - Kasia Kowalska CNet CWC-854 Driver 112 Best of the earning site praca Lubin apartamenty kraków
Komrki Telefony komrkowe Informacje gsm - Poezja Wiersze Autorzy - Opony - fajne mieszne filmiki wesoe - Opony zimowe - Ksiki ze wiata KSIGARNIA INTERNETOWA Twoje ksiki - TUTAJ zobaczysz e-book TAK - Sprawd co znacz sny ciekawy sennik - Kino Filmy Recenzje filmw - ksiki
strefagracza.info
| dom mediowy internetowy dom mediowy dom mediowy
| Konkurencyjne ceny Reklama w wyszukiwarce Warszawa
| android android android
| Odzyskiwanie danych Gorzów
| tylko u nas laptopy packard bell w dobrej cenie
| filmy download
| Wyszukiwarka mp3 wyszukiwarka mp3 Wyszukiwarka mp3
| urlop wczasy all inclusive turcja wakacje last minute super oferty
| epro
| genialny program do wymiany plików to eMule 0.49c
| pozycjonowanie stron www
| komunikacja
| technologie
| Poradnik komputerowy dla każdego
ogłoszenia towarzyskie | autokary | atrakcje w Pieninach | Stalon Biłgoraj