Редирект 301 robots txt

Редирект 301 robots txt

Хочу перенести сайт на новый домен, да побыстрее, но до момента окончательной смены домена в выдаче не хочу светить сей процесс.

Гуру, помогите настроить 301 редирект так чтобы он был виден только роботу Яндекса но не посетителям сайта. И не будет ли это расценено как клоакинг?

Host в robots.txt уже прописал.

Где вы его будете делать, в htaccess с помощью mod_rewrite, или в движке сайта на php?
Редирект лучше делать постраничный, url в url.
Не будет, у меня 3 сайта так работают уже несколько лет: под Google — один домен, под Яндекс — другой. Посетитель спокойно ходят по любому из доменов, роботы ПС — только по разрешённым им.

Самый первый вариант конечно — в htaccess с помощью mod_rewrite. И да, хотел редиректить страница-в-страницу.
Только вот не знаю где взять все ip роботов Яндекса чтобы на нарваться на санкции. Дело в том что у меня там ещё и блоки Яндекс.Директ и Маркет стоят.

Спасибо заранее за помощь.

А одного hosts разве недостаточно?

Чтобы склеить зеркала, роботу Яндекса достаточно директивы Host в файлах robots.txt для всех зеркал.
Редирект настраивать необязательно.
https://help.yandex.ru/webmaster/yandex-indexing/moving-site.xml

Несмотря на то что на указанной странице написано

Время склейки зеркал не зависит от выбранного способа указания главного зеркала и занимает, как правило, около месяца.

есть мнение что с 301 редиректом оно происходит гораздо быстрее.

ТС держи содержимое htaccess, он будет редиректить сайт на новый домен, при этом на старом будет доступен robots.txt
Я сам таким методом успешно перенес. А вот закрывать от всех и отдавать только яндексботу — это не есть гуд.

Options +FollowSymLinks
RewriteEngine on
RewriteCond % robots.txt$ [NC]
RewriteRule ^([^/]+) $1 [L]

RewriteCond % ^old-site.ru
RewriteRule ^(.*)$ http://new-site.ru/$1 [R=301,L]
RewriteCond %
^www.old-site.ru
RewriteRule ^(.*)$ http://new-site.ru/$1 [R=301,L]

Я сам таким методом успешно перенес. А вот закрывать от всех и отдавать только яндексботу — это не есть гуд.

Я понимаю что это не есть гуд, но показывать кое-кому что происходит ещё больше не гуд. Могут быть необратимые последствия. Не всегда домен проекта находится в надёжных и доброжелательных руках. 🙁

Через .htaccess вам роботов yandex не отсечь.
В user_agent можно что угодно прописать.
По правильному, роботы определяются обратным dns запросом.

но если настаиваете, то ловите через HTTP_USER_AGENT

#old.ru
RewriteCond % yandex
RewriteCond % !^/old.ru/
RewriteCond % ^(www.)?old.ru$
RewriteRule ^(.*)$ http://www.new.ru/$1 [R=301,L]

#new.ru
RewriteCond % !yandex
RewriteCond % !^/new.ru/
RewriteCond % ^(www.)?new.ru$
RewriteRule ^(.*)$ http://www.old.ru/$1 [R=301,L]

Через .htaccess вам роботов yandex не отсечь.
В user_agent можно что угодно прописать.

Ну мне ведь нужно отсечь не роботов, а как раз наоборот! То есть я могу ловить роботов максимально широкой сетью, вероятность что среди них окажется "тот самый" посетитель невелика.

Это как-то меняет дело? Спасибо.:)

Не меняет. 🙂 Если точность не волнует, используйте user_agent

А как насчёт замаскированных ботов, проверяющих на клоакинг?

#old.ru
RewriteCond % yandex
RewriteCond % !^/old.ru/
RewriteCond % ^(www.)?old.ru$
RewriteRule ^(.*)$ http://www.new.ru/$1 [R=301,L]

#new.ru
RewriteCond % !yandex
RewriteCond % !^/new.ru/
RewriteCond % ^(www.)?new.ru$
RewriteRule ^(.*)$ http://www.old.ru/$1 [R=301,L]

Вчитался в код — ну на новом домене мне ничего редиректить не нужно ибо он не секретный. Секретен сам факт редиректа.

А по первому куску кода — можно пояснение насчёт второй и третьей строчек?
Спасибо.

И ещё: в User agent разве не Yandex должно быть с большой буквы?

А как насчёт замаскированных ботов, проверяющих на клоакинг?
Забейте, проблем с этим не наблюдаю, давно с редиректами играюсь. Они больше на вирусы, рекламу и подмену текстов проверяют.

А как насчёт замаскированных ботов, проверяющих на клоакинг?

Вчитался в код — ну на новом домене мне ничего редиректить не нужно ибо он не секретный. Секретен сам факт редиректа.

Читайте также:  Не могу открыть видео на компьютере

А по первому куску кода — можно пояснение насчёт второй и третьей строчек?
Спасибо.

И ещё: в User agent разве не Yandex должно быть с большой буквы?
Ставите RDS бар в Мозиллу, меняете User agent на Yandex и тестируете. Про строчки хелп почитайте, его полно в сети 🙂

В общем в итоге получился вот такой вариант:

RewriteCond % Yandex
RewriteCond % robots.txt$ [NC]
RewriteRule ^([^/]+) $1 [L]

RewriteCond % (yandex|googlebot|gaisbot|rambler|aport|metacrawler|msnbot|crawler) [NC]
RewriteCond % ^(www.)?olddomain.tld$
RewriteRule ^(.*)$ http://newdomain.tld/$1 [R=301,L,QSA]

Всем большое спасибо.

Редирект лучше делать постраничный, url в url.
Имхо, не "лучше", а строго постраничный.

Не будет, у меня 3 сайта так работают уже несколько лет: под Google — один домен, под Яндекс — другой. Посетитель спокойно ходят по любому из доменов, роботы ПС — только по разрешённым им.
Вы их так изначально сделали или потом уже расклеили?

есть мнение что с 301 редиректом оно происходит гораздо быстрее.
Не уверен, но вроде не быстрее. Говорят 1-2 апа. Я пару лет назад переклеил мой самый старый и первый сайт с narod.ru (третьего уровня) на свой домен второго уровня. На narod не поддерживался серверный редирект, поэтому всё, что оставалось, это прописать в роботс hosts для яндекса, и он переклеил где-то за месяц-полтора. Правда при этом первоначально обвалились позиции и траф, но со временем они восстановились, хотя не до прежнего уровня. С гуглом было проще, но дольше.

Один — сразу: зареганый домен оказался в бане Яндекса и он не хотел его снимать. 2 других — примерно через год после индексации рассплитовала.
Т.е. если мы говорим яндексу: "Смотри, ты этот домен забанил. Смотри, вот новый адрес домена, который ты забанил." Он с нового адреса снимет бан?

, если задержка 1 сек и менее — Яндекс считал как это 301 редирект и переклеивал. В help-е у Яндекса это было написано.
Можно и так, но на народ.ру за редирект не поощряли, поэтому не стал рисковать.

Т.е. если мы говорим яндексу: "Смотри, ты этот домен забанил. Смотри, вот новый адрес домена, который ты забанил." Он с нового адреса снимет бан?Санкции(бан) технически возможно привязать только к конкретному домену сайта, больше Яндексу зацепиться не за что, чтобы из выдачи убирать только ваш сайт и не трогать все остальные.

2. кто мешает мне сделать редирект со своего забаненого сайта на ваш "белый и пушистый" — вы же помешать этому никак не сможете. И что делать Яндексу, я же так весь интернет перебаню своими редиректами?

Т.е. яндексу всё равно, что сайт забанен, он продолжает с ним работать как обычно: редиректы принимает и клеит на новые адреса в штатном режиме, передавая страницам "былые до бана позиции"? Разве когда случается бан, позиции не в ноль слетают?

А гугл по тому же принципу работает?

Можете перечислить плюсы разбиения сайта на два домена, если мы изначально делаем сайты под разные домены?
Ну я так понимаю, среди них:
— легче перенести, если в одной ПС с доменом что-то приключится, не затрагивая другую ПС.
— на разных доменах можно тестировать и использовать разные методы монетизации.
Что еще?

Довольно часто веб-мастеры сталкиваются с ситуацией, когда из Яндекса выпадают практически все страницы сайта кроме главной. Особенно это явление хорошо знакомо строителям сеток сателлитов. И больше чем в половине случаев виноват сам вебмастер.

Чаще всего бывает так: Яндекс определяет основным адрес сайта с www (или же это было прописано в Host файла robots.txt), а владелец сайта устанавливает 301 редирект с него на адрес без www. В таком случае индексирующий робот пытается проиндексировать сайт по адресу с www. Но, пытаясь попасть на сайт с www, поисковик перенаправляется на сайт без www при помощи серверного 301 редиректа. Таким образом, страница, с которой установлен редирект, не индексируется, а заменяется на ту, на которую этот редирект ведёт. Данное явление принято называть “склейкой”. При повторных попытках индексации, робот продолжает перенаправляться на сайт без www, который, по мнению поисковика, является дополнительным зеркалом. В результате соединение разрывается по таймауту и сайт не индексируется. Частично уже об этом упоминалось в статье – 6 ошибок в SEO, которые нужно перестать допускать.

Читайте также:  Самый лучший телевизор самсунг на сегодняшний день

Рассмотрим более подробно, для чего нужен 301 редирект и файл robots.txt.

Robots.txt для WordPress

Этот файл должен располагаться в корневом каталоге сайта. Весьма подробную информацию о нём вы можете получить по ссылке – A Standard for Robot Exclusion. Robots.txt предназначен для всех поисковых систем. Основным его предназначением является запрет индексации каких-либо разделов или файлов вашего сайта.

Файл robots.txt составлен не правильно если:

  1. Он превышает по объёму 256 Кбайт
  2. При его скачивании сервер отдаёт любой HTTP-код отличный от 200
  3. Он не является текстовым файлом
  4. Он не существует

Во всех этих случаях считается по умолчанию, что к индексации сайт разрешён полностью.

Пример файла robots.txt

Как правило, файл состоит из нескольких блоков, т.к. Яндекс поддерживает расширенный набор функций для него. Каждый отдельный блок используется своей поисковой системой, название которой прописывается после “User-agent: “. Любой путь указывается в файле относительно корневого каталога сайта. Если после названия папки поставить слэш, то к индексации будет запрещена только эта папка, если же слэш не ставить, то к индексации будут запрещены все файлы, начинающиеся с названия папки.

Когда индексирующий робот анализирует файл robots.txt, первым делом он ищет указания именно для своей поисковой системы в соответствующем разделе, например: “User-agent: Yandex“. Если такого раздела в файле нет, то робот руководствуется общими правилами для всех поисковиков, прописанными в блоке “User-agent: *“. Блоки для разных поисковых систем разделяются в файле между собой пустой строкой.

Существуют две противоположные по функциям директивы: “Disallow” и “Allow“. Первая запрещает к индексации папки/файлы, указанные в ней, вторая – разрешает. Но здесь есть разные решения и исключения:

Disallow: / – полный запрет индексации сайта.

Allow: / – разрешение индексации всего сайта.

Disallow: – разрешает индексацию сайта

Allow: – запрещает индексацию сайта

Кроме того, если в файле robots.txt присутствуют две, противоречащие друг другу команды, то действует та, которая выше, т.е. ближе к началу блока.

Директива “Sitemap:” указывает на место расположения карты сайта в формате xml. Директиву “Host:” понимает только робот Яндекса. Она указывает на то, как следует индексировать сайт: с www или без.

Проверить, правильно ли составлен файл robots.txt можно при помощи инструментов для веб-мастера Яндекса или Google.

301 редирект через .htaccess для WordPress

Главная страница вашего сайта может быть проиндексирована по достаточно большому количеству адресов:

Существуют и другие форматы адреса главной страницы. При этом поисковая система может считать, что все эти адреса принадлежат разным сайтам и все их индексировать. Именно поэтому, например, PageRank вашего сайта без www может иметь одно значение, а с www – совершенно другое. Если контент на вашем сайте по всем таким адресам одинаковый, то поисковый робот обычно автоматически склеивает все их, считая основным адресом только один. Все остальные адреса главной являются дополнительными зеркалами сайта. Как уже было сказано выше, Яндексу помогает определить главное зеркало сайта директива “Host:” в файле robots.txt. Но, по словам представителей Яндекса, эта директива носит лишь рекомендательный характер и порой склейки сайта таким способом можно ждать на протяжении многих месяцев. Для Google этот вопрос решается намного проще: достаточно указать главное зеркало в панели инструментов веб-мастера.

Читайте также:  Как включить службу восстановление системы

Склейка – это очень важный процесс. Ведь обратные ссылки на сайт с www и без – считаются отдельно. Если у вас сайт не склеен, то ссылочный вес считается раздельно для всех зеркал. А при смене главного зеркала ссылочный вес теряется на несколько месяцев. Чтобы избежать проблем с зеркалами при склейке, достаточно установить 301 редирект в .htaccess.

Как работает 301 редирект было описано в самом начале статьи. Самое важное в этом вопросе – ещё перед тем, как создавать сайт, определиться, какой адрес вы хотите сделать основным (с www или без). Для установки 301 редиректа достаточно открыть файл .htaccess (он находится в корневом каталоге сайта) в текстовом редакторе.

Пример файла .htaccess

В данном примере главным зеркалом выбран адрес с www, на который ведёт редирект. Такой шаблонный редирект хорош тем, что если пользователь наберёт в адресной строке браузера адрес абсолютно любой страницы сайта без www, то он будет автоматически перенаправлен на эту страницу с www. Точно так же это работает и для роботов поисковых систем.

Не забывайте прописывать в robots.txt, .htaccess и панелях веб-мастера одинаковые адреса во избежание выпадения сайта из индекса.

ПОНРАВИЛСЯ ПОСТ? ПОДЕЛИСЬ ССЫЛКОЙ С ДРУЗЬЯМИ!

В случаях, когда ваш сайт переезжал с http на https, обычно вешается 301 редирект на все страницы. Но у этого способа есть недостатки:

  • файл robots.txt с указанием основного зеркала становится недоступным,
  • файлы для подтверждения прав, размещаемые в корне сайта, также недоступны.

Чтобы исправить эту ситуацию, я сегодня вносил правки в правила редиректа. Заодно делюсь инструкцией с читателями.

301 редирект с http на https

Существует несколько вариантов установки такого редиректа. Я использую следующий вариант (в файле .htaccess):

# BEGIN http-https
RewriteEngine On
RewriteCond % !^443$
RewriteRule .* https://%% [R=301,L]
# END http-https

Короткий, понятный, не использует в правиле доменное имя — а значит является универсальным.

Добавление исключения для robots.txt

Чтобы отдавать файл robots.txt со статусом 200 для каждого из зеркал (http, https), нужно прописать следующее исключение:

Добавление исключения для служебных файлов

Что я понимаю под такими служебными файлами: это, например, файл для подтверждения прав в Яндекс.Вебмастер, в Search Console. Зачем нужна http-версия в Яндекс.Вебмастере? Чтобы иметь доступ к информации по неосновным зеркалам — например, по внешним ссылкам.

Для исключения редиректа для такого файла добавляем аналогичный код:

Можно воспользоваться регуляркой, прицепившись за слово «yandex» или «google», но я решил использовать точное вхождение, чтобы не запутаться в лишних файлах.

Итоговый вариант редиректа с исключениями

После этих действий файл .htaccess приобретает следующий вид:

# BEGIN http-https

RewriteEngine Off

RewriteEngine Off

RewriteEngine Off

RewriteEngine On
RewriteCond % !^443$
RewriteRule .* https://%% [R=301,L]
# END http-https

Все неосновные зеркала теперь имеют доступный для поисковых роботов файл robots.txt с указанием главного зеркала, а вебмастер имеет доступ к информации по неглавным зеркалам в Яндекс.Вебмастере и Search Console.

Добавить комментарий Отменить ответ

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Об авторе

Истляев Максим, вебмастер. В интернете также известен под ником FladeX.

Несколько лет занимался изучением и модернизацией phpBB, вёрсткой и интеграцией шаблонов под различные CMS.

В данный момент занимаюсь интернет-маркетингом и инвестициями в информационные проекты.

Заинтересован в сотрудничестве. Вы можете заказать у меня услуги по интернет-маркетингу, технической настройке сайтов, seo, консультации по инвестированию в интернет-проекты.

Ссылка на основную публикацию
Распаковка ядер процессора программа
CPU-Control – программа для распределения и оптимизации нагрузки на ядра процессора. В распределении системных ресурсов не всегда стоит полагаться на...
Процессор intel e5300 pentium dual core
Описание Intel начала продажи Intel Pentium E5300 в ноябре 2008 по рекомендованной цене 64$. Это десктопный процессор на архитектуре Wolfdale,...
Процессор intel pentium e2160 характеристики
Описание Intel начала продажи Intel Pentium Dual-Core E2160 в июне 2007. Это десктопный процессор на архитектуре Allendale, в первую очередь...
Распечатать настольную игру монополия на русском
Настольная игра Монополия своими руками (в картинках), распечатай и играй! Ниже будет представлена версия настольной игры Монополия в картинках, чтобы...
Adblock detector