S
ser999
Гость
Disallow: /cgi-bin/Disallow: /templates/Disallow: /engine/Disallow: /languages/добавь=)
Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нем неправильно.
Необходимо обновить браузер или попробовать использовать другой.
Необходимо обновить браузер или попробовать использовать другой.
S
ser999
Гость
Вобщем составил Robots.txt ,хотелось бы уточнить правильный ли он??User-agent: *Disallow: /*printDisallow: /autobackup.phpDisallow: /admin.phpDisallow: /user/Disallow: /favorites/Disallow: /index.php?do=registerDisallow: /?do=lastcommentsDisallow: /statistics.htmlSitemap: http://сайт.ru/sitemap.xmlUser-agent: YandexHost: сайт.ru
B
BegleZZZ
Гость
Цитата: ser999User-agent: Yandexэто точно не нужно=)ты уже запретил всем роботам индексировать printautobackup.phpadmin.php/user//favorites//index.php?do=register/?do=lastcomments/statistics.htmlстрокой:User-agent: *Цитата: ser999Host: сайт.ruэто не понятно зачем? у тебя есть зеркало сайта?
S
ser999
Гость
User-agent: YandexHost: сайт.ruэтим я добавил основное зеркало для Яндекса, чтобы не было недоразумений с его стороны) можно же либо так _www.сайт.ру либо сайт.ру
N
newbies
Гость
Такой де вопрос по роботу:шарющие есть ?User-agent: *Allow: /Sitemap: http://dv-zvezda.ru/sitemap.xmlHost: dv-zvezda.ruDisallow: /cache/Disallow: /engine/Disallow: /templates/Disallow: /language/Disallow: /upgrade/Disallow: /backup/Disallow: /form/Disallow: /uploads/Disallow: /index.php?do=registerDisallow: /index.php?do=feedbackDisallow: /index.php?do=lostpasswordDisallow: /index.php?do=statsDisallow: /index.php?do=addnewsDisallow: /autobackup.phpDisallow: /admin.phpDisallow: /cgi-bin/
R
Rumorukato1
Гость
Простыми словами скажите, зачем это? и какая польза
Z
zlogad
Гость
Цитата: Rumorukato1Простыми словами скажите, зачем этоФайл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.Или проще: он запрещает индексировать роботам некоторые страницы чтобы их не было видно в поисковике
E
EL_user
Гость
Вот так:User-Agent: *Disallow: /cgi-bin/Disallow: /templates/Disallow: /engine/Disallow: /languages/Host: www.skripters.bizUser-agent: YandexAllow: /Sitemap: http://skripters.biz/sitemap.xml