Как составить правильный файл robots.txt для Друпал
Здравствуйте! Подскажите,пожалуйста, как правильно запретить всем роботам индексировать профили пользователей и их сообщения. Будет ли достаточно указать так:
Disallow: /profiles/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
нужно ли указывать специально и для /messages?
Заранее благодарю за Вашу помощь!
Здравствуйте,
думаю сообщения пользователей точно не доступны поисковикам (если речь идет о личных сообщениях), для страниц профайлов в 6ке
Disallow: /user/
Disallow: /user (без пробела тоже должно быть)
Disallow: /profile/ (нода профайла)
Так же учтите что возможно в настройках pathauto у вас задан шаблон пути к странице пользователя, скорее всего начинается с users
Disallow: /users/
Disallow: /users
Насчет "грязных" ссылок не уверен, что они вообще видны поисковикам (так что следующее по желанию):
Disallow: /?q=users/
Disallow: /?q=user/
Disallow: /?q=users
Disallow: /?q=user
Disallow: /?q=profile/
Если вы пишите
Disallow: /user/
Значит все пути которые начинаются с /user/ не будут индексироваться яндексом и гуглом.
Огромное Вам спасибо!!!
Помогите составить правильный роботс
Не парьтесь, в друпале он уже правильный.