Добрый день, 27 мая, Яндекс наконец-то склеил один мои сайт и определил главное зеркало, на всё это понадобилось почти 2 месяца. В этом посте я хочу описать всё что я делал для этого.
Содержание:
- Подготовление к склейки сайтов
- Склеиваем сайт под Google
- Определяем главное зеркало сайта для Яндекса
- Нюансы
- Вывод
В начале Апреля я приобрёл себе сайт - w-blog.org.ua. Но мне не понравилось доменное имя, да и привязано оно было к хостингу, то есть владельцем домена была Хостинг компания. Поэтому я решил перенести сайт на интернациональный домен.
Зарегистрировал домен dicim.net и перекинул на него сайт. Чтобы они были идентичными.
Подготовление к склейки сайтов
Многие советуют, что правильно клеить сначала для Яндекса, после того как он склеит можно начинать склеивать для Google. Потому что у этих поисковых систем отличаются методы склейки. Для Google используется 301 редирект, а Яндекс выявляет главное зеркало через директиву host в robots.txt. Но такой способ меня не устраивал, я хотел сразу склеить сайты для двух поисковиков одновременно, чтобы не терять время.
Склеиваем сайт под Google
Первым делом, надо перенести сайт на новый домен так, чтоб всё было идентично старому сайту.
После этого следует заняться настройкой под склеивания в Google. Для этого на старом сайте(w-blog.org.ua), я установил 301 редирект в файле .htaccess, выглядит он вот так:
RewriteEngine on
RewriteRule (.*) http://dicim.net/$1 [R=301,L]
То есть полное перенаправление со всех страниц на новый домен dicim.net. После этого в Панели "Вебмастер Google" для старого домена указал новый адрес:
И всё, настройки для склеивания сайта под Google закончены. А дальше самое интересное, настроить сайт так, чтобы Яндекс смог выявить главное зеркало, в данном случае домен dicim.net.
Определяем главное зеркало сайта для Яндекса
Напомню ещё раз, Яндекс для склейки сайтов использует файл robots.txt и то, что я поставил 301 редирект, по идеи считается не правильно, так как бот зеркальщик, когда будет заходить на сайт и смотреть файл robots.txt, редирект его будет перенаправлять на новый домен. Поэтому выход один, отключить редирект для файла robots.txt, чтобы бот Яндекса смог без проблем загружать его.
И так, первым делом надо добавить директиву host в файле robots.txt на старом сайте. У моего старого сайта w-blog.org.ua, файл robots.txt выглядит вот так:
Host: dicim.net
После того, как указали главное зеркало, надо отключить редирект для robots.txt, отключается он в файле .htaccess, вот этим кодом:
RewriteEngine off
</FilesMatch>
Теперь при запрашивании ботом Яндекса файла http://w-blog.org.ua/robots.txt, редирект не перенаправляет его на новый домен и Яндекс сможет увидеть файл robots.txt на старом сайте и прочитать какое у него главное зеркало.
Данный способ одновременной склейки для Яндекса и Google, подходит лишь в том случае, если вы согласны чтобы старый домен не индексировался Яндексом. Ведь бывают случаи, чтоб оба(или более) зеркал были доступны для Пользователей, тогда клеют сайты только для Яндекса с помощью файла robots.txt, а 301 редирект не используют.
Нюансы
Так же у меня возникла проблема - как добавить сайт в панель вебмастер Яндекса и Гугла?
Ведь надо подтвердить права на сайт, путём размещения файлов в корень сайта. Для этого, им тоже требуется отключить редирект чтобы проверяющие боты Яндекса и Google не уходили на новый домен. С помощью FilesMatch как в случае с robots.txt, у меня не получилось отключить редирект для файлов - подтверждалок, а заработала вот такая конструкция:
Проверить на склейку в обоих ПС можно сервисом от xseo.in
Вывод
Google склеил сайт примерно за две недели, трафик с Google сохранился полностью. Яндексу на определение главного зеркала, потребовалась приблизительно два месяца, после этого я получил вот такое письмо в "Панель Вебмастер":
Трафик с Яндекса после того как поставил 301 редирект упал практически до нуля и вот после 27 мая (день склейки) начал потихоньку восстанавливаться:
На этом всё, спасибо за внимание.
Не забудьте подписаться
через rss
и
следовать в twitter-e
— для получения обновлений.
Подписаться на обновление по почте:
0 
92 
5
Какой смысл отключать редирект на robots и файлы подтверждения?
User-agent: Yandex
Host: dicim.net
Разве в секции не должна быть хотя бы одна директива disallow или allow перед хост?
Я же написал, что склеивал одновременно для двух поисковых систем. Чтобы склеить для Гугла, надо поставить 301 редирект. А как склеит Яндекс если стоит 301 редирект для всего сайта?
Насчёт второго вопроса: Зачем нам директивы disallow или allow, если на старом сайте стоит 301 редирект? Там индексировать нечего, после того как вы поставили 301 редирект и настроили robots.txt, файлы старого сайта можно вообще все удалить, кроме роботса и файлов подтверждалок естественно.
PS: В статье вроде подробно схему описал, прочитайте ещё раз.
Зачем нам директивы disallow или allow, если на старом сайте стоит 301 редирект?
————–
Как бы так правильно
——
User-agent: *
….
….
….
Host: some_site.some_domain
Не? )))
Так правильно для простого сайта, а не для того, который мы выбрали как не главное зеркало. И для Яндекса надо указывать не User-agent: *, а User-agent: Yandex.
Вы это можете указать, ничего плохого от этого не будет. Только смысл писать эти директивы, если старый домен не доступен из-за 301 редиректа?
Чтобы сделать всё под одной звездой и не париться
Чтобы не плодить сущности
Чтобы было как доктор прописал
Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву ‘Host’ необходимо добавлять в группе, начинающейся с записи ‘User-Agent’, непосредственно после директив ‘Disallow’(‘Allow’). Аргументом директивы ‘Host’ является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.
#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: http://www.myhost.ru
Тем не менее директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.
Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.
Товарищ, то что вы мне скопировали справку Яндекса, мне очень приятно. Но эта справка для простых сайтов, которые индексируются (выделил, чтоб вы обратили внимание на это слово, если возникнут ещё вопросы, то опять прочтите это слово).
А для моего случая Disallow – не нужен, и вообще ничего не надо, потому что старый сайт не индексируются, так как стоит 301 редирект, у меня даже никаких файлов нету на хостинге, ни каких папок. Что мне закрывать или открывать для индексации в роботсе, если ни папок, ни страниц нету?
В каталоге старого сайта лежит только 3 файла, robots.txt и две подтверждалки, вы это можете понять?
Двух строчек, что я указал в статье, вполне хватит для склейки, и всё остальное не надо. Проверьте мой роботс сервисом Яндекса по анализу robots.txt и вы увидите что директива host читается ботом и этого хватит для склейки.
Спасибо за описанный опыт, уверен, что пригодится в будущем. В яндексе всё делается как-то медленно и с заморочками. Но надо, значит надо…
Да, с Яндексом всегда всё сложнее.
Поставь плагин +1 от Вконтакте
А чем плоха кнопка, которая есть?
Кнопка ответить пропала
Хм … Давайте без товарищей? Мы с вами кажется незнакомы.
Что будет, если не отключить редирект на robots.txt? Сам не проверял, как то не было возможности.
Понять могу, не пузыритесь
Кстати, не очень удобно, когда простоянно в буфер ссылка прыгает с источником.
Просто сильно много ответов к одному сообщению
Если не отключить редирект для роботса, то сайт просто не склеиться, потому что стоит 301 редирект. То есть при обращении бота Яндекса к старый-домен.ру/robots.txt будет перебрасывать на новый-домен.ру/robots.txt, а нам надо чтобы Яндекс увидел файл с директивой host именно в старый-домен.ру/robots.txt, ведь мы его клеим к новому домену.
Насчёт ссылки согласен, что не удобно, за то с грабингом контента иногда помогает.
Спасибо.
Код плохо копирует ): Секцию не взял, зато директиву и ссылку — влёт.
Сайт находится по многим запросам в 10ке. большая посещаемость, но сделан новый сайт – другой домен, дизайн и структура принципиально отличается. Чтобы не сильно просел трафик и не вывалится ситалкивался кто нибудь с редиректом по-странично?!
Сделайте сайты идентичные, после склейки поменяете структуру и дизайн. Потому что склейка в вашем случае может происходить очень долго, а то вообще не склеются сайты.
Где логика, простите?! Если менять дизайн и улучшать качество сайта для пользователей, то как он не будет меняться. Идентичные они в ТЕМЕ.
Вы своё сообщение ещё раз прочитайте, вообще ничего не понял. Какая «тема» и что вы имеете ввиду под словом, не меняться?
Поздравляю с победой в конкурсе «БЛОГОСФЕРА ДЛЯ НАЧИНАЮЩИХ». )
Спасибо, даже не знал про конкурс. А тут такой сюрприз.
Везунчик)))
Спасибо нашел то искал, а то я зделал просто редирект и не знал, как доступ к роботсу на старом сайте сделать.
Ага, потому что редирект только для Google работает.
http://www.site.ru был на первых местах по часто запрашиваемых запросах. Посещение было около 7000, после автоматической смены зеркала роботом на site.ru, сайт с первых мест упал на 100+ , посещаемость 500 и падает. Подскажите, нужно ли прописать в Host: http://www.site.ru , что бы вернуть старое зеркало, или сделать редирект в .htaccess на site.ru. Что нужно сделать, что бы хоть частично вернуть утраченные позиции, и возможно ли это вообще?
Определитесь какое у вас главное зеркало и клейте на него. И трафик с пузомерками вернёться, не сразу конечно. Постепенно, но вернёться. Ставить надо и директиву Host, и 301 редирект.
Проблема как раз и заключается в правильном выборе зеркала. Робот 28.09.2011 поменял главные зеркала, и что будет лучше (или быстрее) оставить это же зеркало главным, или вернуть главным зеркало, что было до 28.09.11? В любом случае спасибо за ответ.
Тут нет ни какой проблемы, потому что когда вы выберете главное зеркало, то через какое-то время Яндекс склеет их и всё верёнтся на свои места. Как бы не важно с www или без. Когда я выбираю какое оставить главным зеркалом, то смотрю на обратные ссылки сайта, если они все с www, то я сайт с www делаю главным зеркалом и наоборот.
Cospi а при таком клеение входящие ссылки и пузомерки перетекают с домена?
Да, всё перетекает. Пример моей клейки указан в статье и стата открыта, можете посмотреть как всё перетекало. И Платон подтвердил что всё ок будет, если клеить так.
Благодарю!
есть ли разница, где в файле .hraccess делать склейку?
В каком смысле?
Есть существеный вопрос. А если в saitmap.txt старого сайта заменить урлы на страницы нового сайта.Есть ли в этом смысл?
И вот еще что. После склейки, можно ли менять контент нового сайта?
Старый нет, а новые записи можно добовлять. Про карту сайта- это ничего не даст.
Я так понимаю, что когда сайт склеился. Старое содержание, дизайн все должно быть на месте. Остается добавлять новый контент. А если я изменю тематику нового склеенного уже сайта, допустим был поликарбонат и утеплитель, я оставлю только утеплитель? Что произойдет с новым сайтом? PR и тИЦ обнуляться?
Когда сайты можно расклеивать?
И что будет с сайтами после расклейки.
Яша и Гоша о склейке еще не известили. Но сервис xseo показывает новый сайт основным зеркалом для обоих поисковиков. PR и тИЦ перешли на новый сайт.
Я так понимаю, что склейка произошла.
Кстати старый сайт 0 страниц в индексе Яши.
Всё правильно у вас склеилось.
После расклейки всё то что перешло на новый домен обнулится.
Старый контент надо оставить, а новый вы можете добовлять любой.
Спасибо. Сайты склеились в Яндексе и Google за две недели.
Пожалуйста, очень даже быстро у вас получилось.
Перевел сайт с поддомена на домен. Старые статьи с поддомена не индексируются на новом адресе сайта по Яндексу. Я не силен в технических вопросах. Возможно что-то не так с зеркалом, роботсом и т.д. Кто может сделать анализ этих вещей и подправить косяки? Я вижу, что народ здесь знающий и разбирается в этих вопросах. Помогите разобраться. Готов на сотрудничество.
Отправте мне на почту ваши сайты, постараюсь помочь. И опишите что и как вы делали.
Здравствуйте, Ваша статья очень мне помогла. Расставила акценты.
Но у меня по ходу возникли вопросы.
Можно ли к существующему сайту с проиндексированными страницами приклеить второй сайт, у которого тоже много страниц в индексе? имена и расположение страниц идентичны.
проблема в том что у сайтов одна тематика и похожая структура, и я не вижу смысла продвигать их по отдельности.
Нет, ничего хорошего не будет. Переклейка нужна когда меняете домен, то есть сайто один. А у вас два разных сайта.
Здравствуйте! Такое дело: у меня сайт xozdom.ru и хоз-дом.рф (абсолютно идентичны) . Главный RU. Он сейчас в Гугле проиндексировался уже, а в Яндексе индексации я ждал почти 1,5 месяца (не пользовал robots.txt ) – потом оказалось, что он проиндексировал РФ ! Затем я сделал для RU всё заново (и в robots.txt к нему вписал Host: xozdom.ru для Yandex) . Хочу их склеить. Подскажите как ?
Здравствуйте, клеил сайты методом описанным в инете т.е сначало через host а потом хотел поставить 301 редирект, получилась такая фигня: яндекс склеил сайты через два месяца, после склейки я редирект непоставил т.к. в панели гугл вебмастер указал главное зеркало и pr перетёк на новый сайт через три дня.
Через две недели после склейки сайтов яндексом – они рассклеились!!!!
Сейчас сделал всё как вы написали, жду результатов с трепетом. Но этот метод многие отметают как не правильный, вот как быть?
Читайте внимательно, у меня описан не тот способ, по которому вы клеили сначала.
Тот способ, который описан в этой статье, полностью безопасен и 301 редирект так же убирать не надо. Он (редирект) должен стоять всегда.
Так я и говорю что сначала клеил так как пишут во всём инете а сейчас переделал как вы написали, если всё быстро сработает – буду вашим должником!
Приветствую. Вот я перенес сайт на новый домен, поставил 301 редирект и хост настроил в роботс в один день, где то через недельку (или меньше) google склеил сайты. А вот яндекс 0 эмоций.
Мне в данной ситуации нужно просто отключить редирект для robots.txt или что-то еще?
У Яндекса вам надо ждать апдейт зеркальщика, а это один раз в один – два месяца. Он вам сам сообщит в Яндекс Вебмастерсе, когда склеит сайты.
извините, я не понял. А редирект для роботс откл. не нужно ?
Нет, он должен всегда оставаться.
Options +FollowSymLinks
Обязательно ли нужно включать?
С ним даёт ошибку Internal Server Error
Проверьте без этой строчки, если 301 редирект будет работать, то значит всё хорошо.
Так и сделал работает. Думал она принципиально важное значение имеет.
Сделал как описано, но строка «RewriteRule ^(google495dea0554e801b5\.html|yandex_748544efecfe9337\.html)$ – [L]» с моими даннами не работает, есть ли другой способ?
Вы названия своих файлов указывали?
да и загрузил на сервер соответствующие файлы
Других способов на вскидку не скажу, надо проверять и пробовать. Если что-то получится, то я отпишусь в этой теме.
После того как установил редирект стали выпадать страницы сайта на который ведёт перенаправление, практически половина страниц выпала. В связи с этим вопрос, это временное явление и всё станет на свои места после склейки доменов? И вообще это из-за редиректа?
Как они могут выпадать, если они должны быть изначально не в индексе? Вы что, перенаправляете на сайт, который уже в индексе?
я же говорил что клеил без редиректа через host, неполучилось,но новый сайт то яндекс проиндексировал,сейчас сделал как вы написали
Понял
Подождите до Апа зеркальщика, посмотрите что будет. Я с таким не сталкивался (чтоб страницы выпадали), но по-идеи должно быть всё хорошо. Гугл склеил уже?
В гугле когда проверяешь пишет что не склеело, но у старого сайта был пр3 когда я в панели вебмастера гугла указал новый домен главным зеркалом то буквально через пару дней на старом пр обнулился, а на новом стал 3, вот напишу вам адреса сайтов которые хочу склеить
xppx.org.ua -старый
xppx.org – новый
301 редирект стоит, всё верно. Только роботс не правильно сделан, нет директив для Яндекса. Он может и этот прочитать, но лучше сделать, посмотрите тут – http://cospi.ru/robots/
Т.е. я поставлю в роботс для обоих сайтов вот так:
Не так, сделайте как на примере. Для всех один блок и для Яндекса один блок, возле Яндексовского блока должна стоять директива host
сделал,спс
до этого сайты делал на WP, поэтому не обращал внимание, а сейчас сделал самописный на HTML.
сегодня столкнулся с такой «проблемой». открываю сайт site.ru в адресной строке site.ru, открываю http://www.site.ru в адресной http://www.site.ru.
как я понимаю нет редиректа.
в роботс прописан host без www
перечитав еще раз Вашу статью я так понимаю нужно добавить в htaccess
такую запись
Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://site.ru/$1 [R=301,L]
я нашел правильное решение? или есть другие пути склеить ВВВ и безВВВ
Обязательно надо добавить в htaccess, почитайте про склейку www и без в статье http://cospi.ru/texnicheskaya-optimizaciya-sajta-chast-2/