Форум вебмастеров, SEO оптимизаторов и адвертов партнерских программ - Как избежать путаницы с зеркалами?
  • Как избежать путаницы с зеркалами?

    Если сайт доступен под разными именами (домены с дефисом и без, с приставкой www и без), то может возникнуть ситуация, когда в индексе поисковых систем будет хранится несколько копий сайта. Ничего хорошего в этом нет, так как ссылочные показатели (тИЦ, PR, ссылочное ранжирование) "рассеиваются".

    У всех SE существуют механизмы определения и склейки зеркал, но они не всегда срабатывают, и иногда срабатывают не так, как хотелось бы - основным выбирается не то зеркало, которое нам нужно.

    Есть несколько вариантов указать роботам SE на то, какое зеркало сайта считать основным.

    1) Директива Host в robots.txt
    Поддерживается русскими SE. Сработает в случае, если все зеркала физически находятся на одном сервере. Строку "Host:" надо указывать в конце секции, например:

    Код:
    User-Agent: *
    Disallow:
    Host: www.somedomain.ru
    Ахтунг! Google будет полностью игнорировать секцию, в которой встречается директива Host. Если вы запрещаете индексирование каких-то страниц, то для Google надо создать отдельную секцию, пример:

    Код:
    User-Agent: *
    Disallow: /admin/
    Host: www.somedomain.ru
    
    User-Agent: Googlebot
    Disallow: /admin/
    2) Абсолютные ссылки
    Если мы на своем сайте будем ссылаться со страницы на страницу с указанием полного URL главного зеркала (например - ..., а не ... - SE смогут правильно определить главное зеркало.

    3) Серверный редирект
    Этот метод наиболее действенный и правильный, однако он требует поддержки mod_rewrite. В файл .htaccess в корне нашего сайта пишем:

    Код:
    RewriteEngine On
    RewriteBase /
    RewriteCond %{HTTP_HOST} !^www.somedomain.ru$
    RewriteRule ^ http://www.somedomain.ru/%{REQUEST_URI} [R=301,L]
    This article was originally published in forum thread: Как избежать путаницы с зеркалами? started by Darkover View original post