robots.txt
Ефективно използване на robots.txt
Файлът Robots.txt указва на търсачките до кои части от сайта имат достъп. Този файл трябва да е кръстен “robots.txt” и да е поставен в root директорията на сайта.
Адрес на нашия robots.txt файл.
Всички съвместими (поддържащи директивите) ботове на търсачки ( отбелязани със знака * ) нямат достъп и не трябва да обхождат съдържанието в директория /images/ и всеки URL адрес, който започва с /search.
Възможно е да не желаете определени страници от вашия сайт да бъдат обхождани от ботовете, защото те не биха донесли никаква полза или информация за потребителите, ако се появят сред резултите на търсачките. Ако искате да направите това, Google Webmaster Tools имат лесен за използване robots.txt генератор, който да ви помогне да създадете този файл. Ако обаче, вашият сайт има субдомейни и вие не искате определени страници на тях да бъдат обхождани и да се появят в индекса, трябва да направите отделен robots.txt файл за всеки събдомейн. За повече информация относно robots.txt, Ви препоръчване това ръководство на Webmaster Help Center за използването на robots.txt файлове.
Има още варианти за да предотвратите дадено съдържание да излиза в резултатите от търсене, като например поставите “NOINDEX” във вашия robot meta tag, или използвате .htaccess, за да предпазите с парола някои директории. Можете да използвате Google Webmaster Tools, за да премахнете съдържание, което вече е било обходено и индексирано. Google инженера Matt Cutts ни показва тънкостите на всички методи за URL блокиране в това полезно видео.
Полезни съвети за robots.txt
Използвайте по сигурни методи за текстовете, които не искате да показвате. Не трябва да използвате robots.txt за блокиране на специални или поверителни файлове. Една от причините за това е, че въпреки всичко търсачките могат да покажат тези URL реси, ако случайно някаде в интернет има връзки към тях (например от referrer logs).
Съществуват пиратски търсачки, както и такива, които не поддържат директивите и те също могат да избегнат ограниченията наложени от robots.txt . Друга възможност е някой по-любопитен потребител да изследва директориите или поддиректориите във вашия robots.txt файл и да налучка URL адреса на файла, който не искате да показвате.
Криптирането на съдържание или защитен с парола .htaccess са много по-надеждни алтернативи.
Избягвайте:
- да показвате страници, наподобяващи тези с резултати – потребителите не обичат да отиват от една страница с резултати на друга, без да имат полза от това
- да показвате много автоматично генерирани страници с еднакво или подобно съдържание – Наистина ли искате тези 100,000 подобни страници да излизат в индекса на търсачките?
- показването на URL адреси създадени в резултат на използването на прокси услуги.
