Что такое robots txt: Использование файла robots.txt — Вебмастер. Справка

 User-agent: * Disallow: / 

Использование этого синтаксиса в файле robots.txt означает, что все поисковые роботы не будут сканировать какие-либо страницы на www.example. com, включая домашнюю страницу.

 Агент пользователя: * Disallow: 

Использование этого синтаксиса в файле robots.txt указывает поисковым роботам просканировать все страницы на www.example.com, включая главную страницу.

 Агент пользователя: Googlebot Запретить: /example-subfolder/ 

Этот синтаксис указывает только сканеру Google (имя пользовательского агента Googlebot) не сканировать любые страницы, которые содержать строку URL www. example.com/example-subfolder/.

 Агент пользователя: Bingbot Запретить: /example-subfolder/blocked-page.html сканирование конкретной страницы по адресу www.example.com/example-subfolder/blocked-page.html.
 Как работает файл robots.txt? 
 Поисковые системы выполняют две основные функции:
 Просматривают веб-страницы в поисках контента;
 Индексация этого контента, чтобы его можно было предоставить тем, кто ищет информацию.
 Для обхода сайтов поисковые системы следуют ссылкам, чтобы перейти с одного сайта на другой — в конечном счете, сканируя многие миллиарды ссылок и веб-сайтов. Такое поведение сканирования иногда называют «пауками».
 После перехода на веб-сайт, но до его сканирования поисковый робот будет искать файл robots.txt. Если он найдет его, сканер сначала прочитает этот файл, прежде чем продолжить просмотр страницы. Поскольку файл robots.txt содержит информацию о  как  поисковая система должна сканировать, найденная там информация будет указывать дальнейшие действия сканера на этом конкретном сайте. Если файл robots.txt , а не  содержит какие-либо директивы, запрещающие деятельность пользовательского агента (или если на сайте нет файла robots.txt), он продолжит сканирование другой информации на сайте.
 Другие необходимые сведения о файле robots.txt: 
 (более подробно обсуждается ниже)
 Чтобы найти файл robots.txt, его необходимо поместить в каталог верхнего уровня веб-сайта.
 Robots.txt чувствителен к регистру: файл  должен иметь  имя «robots.txt» (не Robots.txt, robots.TXT или другое).
 Некоторые пользовательские агенты (роботы) могут игнорировать ваш файл robots.txt. Это особенно характерно для более гнусных поисковых роботов, таких как вредоносные роботы или скребки адресов электронной почты.
 Файл /robots.txt является общедоступным: просто добавьте /robots.txt в конец любого корневого домена, чтобы увидеть директивы этого сайта (если этот сайт  имеет  файл robots.txt!). Это означает, что любой может видеть, какие страницы вы сканируете или не хотите, поэтому не используйте их для сокрытия личной информации пользователя.
 Каждый поддомен в корневом домене использует отдельные файлы robots.txt. Это означает, что и у blog.example.com, и у example.com должны быть свои собственные файлы robots.txt (по адресу blog.example.com/robots.txt и example.com/robots.txt).
 Обычно рекомендуется указывать местоположение любых карт сайта, связанных с этим доменом, в нижней части файла robots.txt. Вот пример:
 Идентификация критических предупреждений robots.txt с помощью Moz Pro 
 Функция сканирования сайта Moz Pro проверяет ваш сайт на наличие проблем и выделяет срочные ошибки, которые могут помешать вам появиться в Google. Воспользуйтесь 30-дневной бесплатной пробной версией и посмотрите, чего вы можете достичь:
 Начать мою бесплатную пробную версию
 Технический синтаксис robots.txt 
 Синтаксис robots.txt можно рассматривать как «язык» файлов robots.txt . Есть пять общих терминов, которые вы, вероятно, встретите в файле robots. Среди них:
  Агент пользователя:  Конкретный поисковый робот, которому вы даете инструкции по сканированию (обычно это поисковая система). Список большинства пользовательских агентов можно найти здесь.
  Disallow:  Команда, используемая для указания агенту пользователя не сканировать определенный URL-адрес. Для каждого URL разрешена только одна строка «Запретить:».
  Разрешить  (применимо только для робота Googlebot): команда, сообщающая роботу Googlebot, что он может получить доступ к странице или вложенной папке, даже если ее родительская страница или вложенная папка могут быть запрещены.
  Crawl-delay:  Сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы. Обратите внимание, что Googlebot не подтверждает эту команду, но скорость сканирования можно установить в Google Search Console.
  Карта сайта:  Используется для вызова местоположения любой карты сайта XML, связанной с этим URL-адресом. Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo.
 Сопоставление с шаблоном 
 Когда дело доходит до фактических URL-адресов, которые нужно блокировать или разрешать, файлы robots.txt могут оказаться довольно сложными, поскольку они позволяют использовать сопоставление с шаблоном для охвата диапазона возможных вариантов URL-адресов. Google и Bing поддерживают два регулярных выражения, которые можно использовать для идентификации страниц или подпапок, которые SEO хочет исключить. Этими двумя символами являются звездочка (*) и знак доллара ($).
 * — это подстановочный знак, представляющий любую последовательность символов.
 $  соответствует концу URL-адреса.
 Куда идет файл robots.txt на сайте? 
 Всякий раз, когда они заходят на сайт, поисковые системы и другие поисковые роботы (например, поисковый робот Facebook, Facebot) знают, что нужно искать файл robots.txt. Но они будут искать этот файл только в  одном конкретном месте : в основном каталоге (обычно это ваш корневой домен или домашняя страница). Если пользовательский агент посещает www.example.com/robots.txt и   не находит там файл robots, он предполагает, что на сайте его нет, и продолжает сканировать все на странице (и, возможно, даже на всем сайте). Даже если страница robots.txt  существует по адресу , скажем, example.com/index/robots.txt или www.example.com/homepage/robots.txt, она не будет обнаружена пользовательскими агентами, и, следовательно, сайт будет рассматриваться так, как если бы у него вообще не было файла robots.
 Чтобы ваш файл robots.txt был найден,  всегда включайте его в свой основной каталог или корневой домен. 
 Зачем вам robots.txt? 
 Файлы robots.txt контролируют доступ поисковых роботов к определенным областям вашего сайта. Хотя это может быть  очень  опасным, если вы случайно запретите роботу Googlebot сканировать весь ваш сайт (!!), в некоторых ситуациях файл robots.txt может оказаться очень полезным.
 Некоторые распространенные варианты использования включают:
 Предотвращение дублирования контента в поисковой выдаче (обратите внимание, что метароботы часто являются лучшим выбором для этого)
 Сохранение конфиденциальности целых разделов веб-сайта (например, промежуточного сайта вашей инженерной группы)
 Предотвращение отображения страниц результатов внутреннего поиска в общедоступной поисковой выдаче
 Указание местоположения карты (карт) сайта
 Предотвращение индексации поисковыми системами определенные файлы на вашем веб-сайте (изображения, PDF-файлы и т. д.)
 Указание задержки сканирования, чтобы предотвратить перегрузку ваших серверов, когда сканеры загружают несколько фрагментов контента одновременно
 Если на вашем сайте нет областей, к которым вы хотите контролировать доступ агента пользователя, возможно, вам вообще не нужен файл robots.txt. 
 Проверка наличия файла robots.txt 
 Не уверены, есть ли у вас файл robots.txt? Просто введите свой корневой домен, а затем добавьте /robots.txt в конец URL-адреса. Например, файл robots Moz находится по адресу moz.com/robots.txt.
 Если страница .txt не отображается, у вас в настоящее время нет (действующей) страницы robots.txt.
 Как создать файл robots.txt 
 Если вы обнаружили, что у вас нет файла robots.txt или вы хотите изменить свой, создать его — простой процесс. В этой статье от Google рассматривается процесс создания файла robots.txt, и этот инструмент позволяет вам проверить, правильно ли настроен ваш файл.
 Хотите попрактиковаться в создании файлов robots? В этом сообщении блога рассматриваются некоторые интерактивные примеры.
 Лучшие практики SEO 
 Убедитесь, что вы не блокируете какой-либо контент или разделы вашего веб-сайта, которые вы хотите сканировать.
 Ссылки на страницы, заблокированные robots.txt, не будут переходить. Это означает, что 1.) Если на них также не ссылаются другие страницы, доступные для поисковых систем (т. е. страницы, не заблокированные через robots.txt, meta robots или иным образом), связанные ресурсы не будут сканироваться и не могут быть проиндексированы. 2.) Никакой вес ссылок не может быть передан с заблокированной страницы на место назначения ссылки. Если у вас есть страницы, на которые вы хотите передать право собственности, используйте другой механизм блокировки, отличный от robots.txt.
 Не используйте robots.txt, чтобы предотвратить появление конфиденциальных данных (например, личной информации пользователя) в результатах поисковой выдачи. Поскольку другие страницы могут напрямую ссылаться на страницу, содержащую личную информацию (таким образом, в обход директив robots. txt на вашем корневом домене или домашней странице), она все равно может быть проиндексирована. Если вы хотите заблокировать свою страницу в результатах поиска, используйте другой метод, например защиту паролем или мета-директиву noindex.
 Некоторые поисковые системы имеют несколько пользовательских агентов. Например, Google использует Googlebot для обычного поиска и Googlebot-Image для поиска изображений. Большинство пользовательских агентов из одной и той же поисковой системы следуют одним и тем же правилам, поэтому нет необходимости указывать директивы для каждого из нескольких сканеров поисковой системы, но возможность сделать это позволяет вам точно настроить сканирование содержимого вашего сайта.
 Поисковая система кэширует содержимое robots.txt, но обычно обновляет кэшированное содержимое не реже одного раза в день. Если вы изменили файл и хотите обновить его быстрее, чем это происходит, вы можете отправить URL-адрес robots.txt в Google.
 Robots.
 txt против мета-роботов против x-роботов
 Так много роботов! В чем разница между этими тремя типами инструкций для роботов? Во-первых, robots.txt — это настоящий текстовый файл, тогда как meta и x-robots — это метадирективы. Помимо того, чем они на самом деле являются, все три выполняют разные функции. Robots.txt определяет поведение сканирования сайта или всего каталога, тогда как meta и x-robots могут определять поведение индексации на уровне отдельной страницы (или элемента страницы).
 Продолжайте учиться 
 Мета-директивы роботов
 Канонизация
 Перенаправление
 Протокол исключения роботов
 Руководство для начинающих по SEO: как работают поисковые системы: сканирование, индексирование ing и Ranking
 Примените свои навыки на практике 
 Moz Pro определяет, блокирует ли ваш файл robots.txt доступ поисковой системы к вашему веб-сайту.  Попробуйте >> 
 Robots.txt и SEO: полное руководство 
 Что такое robots.
 txt?
 Robots.txt — это файл, указывающий поисковым роботам не сканировать определенные страницы или разделы веб-сайта. Большинство основных поисковых систем (включая Google, Bing и Yahoo) распознают и выполняют запросы Robots.txt.
 Почему файл robots.txt важен? 
 Большинству веб-сайтов не нужен файл robots.txt.
 Это потому, что Google обычно может найти и проиндексировать все важные страницы вашего сайта.
 И они НЕ будут автоматически индексировать страницы, которые не важны, или дублировать версии других страниц.
 Тем не менее, есть 3 основные причины, по которым вы хотели бы использовать файл robots.txt.
 Блокировать непубличные страницы. Иногда на вашем сайте есть страницы, которые вы не хотите индексировать. Например, у вас может быть промежуточная версия страницы. Или страница входа. Эти страницы должны существовать. Но вы же не хотите, чтобы на них попадали случайные люди. Это тот случай, когда вы должны использовать robots. txt, чтобы заблокировать эти страницы от сканеров поисковых систем и ботов.
 Максимальный краулинговый бюджет. Если вам трудно проиндексировать все ваши страницы, у вас может быть проблема с краулинговым бюджетом. Блокируя неважные страницы с помощью файла robots.txt, робот Googlebot может тратить больше вашего краулингового бюджета на страницы, которые действительно важны.
 Предотвращение индексации ресурсов: Использование метадиректив может работать так же хорошо, как Robots.txt для предотвращения индексации страниц. Однако метадирективы плохо работают с мультимедийными ресурсами, такими как PDF-файлы и изображения. Вот где в игру вступает robots.txt.
 Суть? Robots.txt указывает поисковым роботам не сканировать определенные страницы вашего сайта.
 Вы можете проверить, сколько страниц вы проиндексировали в Google Search Console.
 Если число соответствует количеству страниц, которые вы хотите проиндексировать, вам не нужно возиться с файлом Robots. txt.
 Но если это число выше, чем вы ожидали (и вы заметили проиндексированные URL-адреса, которые не должны быть проиндексированы), то пришло время создать файл robots.txt для вашего веб-сайта.
 Передовой опыт 
 Создание файла robots.txt
 Первым делом необходимо создать файл robots.txt.
 Будучи текстовым файлом, вы можете создать его с помощью блокнота Windows.
 И неважно, как вы в конечном итоге сделаете свой файл robots.txt, формат будет точно таким же:
  User-agent: X  
  Disallow: Y 
 User-agent — это конкретный бот, с которым вы разговариваете.
 И все, что идет после «запретить», — это страницы или разделы, которые вы хотите заблокировать.
 Вот пример:
  User-agent: googlebot  
  Disallow: /images 
 Это правило предписывает роботу Googlebot не индексировать папку изображений вашего веб-сайта.
 Вы также можете использовать звездочку (*), чтобы обратиться ко всем без исключения ботам, которые заходят на ваш сайт.
 Вот пример:
 User-agent: * 
 Disallow: /images
 «*» указывает всем и каждому паукам НЕ сканировать вашу папку с изображениями.
 Это лишь один из многих способов использования файла robots.txt. В этом полезном руководстве от Google содержится дополнительная информация о различных правилах, которые вы можете использовать, чтобы заблокировать или разрешить ботам сканировать разные страницы вашего сайта.
 Сделайте так, чтобы файл robots.txt было легко найти
 Когда у вас есть файл robots.txt, пришло время запустить его.
 Технически вы можете поместить файл robots.txt в любой основной каталог вашего сайта.
 Но чтобы повысить вероятность того, что ваш файл robots.txt будет найден, я рекомендую разместить его по адресу:
  https://example.com/robots.txt 
 (Обратите внимание, что ваш файл robots.txt чувствителен к регистру .Поэтому обязательно используйте строчную букву «r» в имени файла)
 Проверка на ошибки и ошибки
 ДЕЙСТВИТЕЛЬНО важно, чтобы ваш файл robots. txt был настроен правильно. Одна ошибка, и весь ваш сайт может быть деиндексирован.
 К счастью, вам не нужно надеяться, что ваш код настроен правильно. У Google есть отличный инструмент для тестирования роботов, который вы можете использовать:
 Он показывает вам ваш файл robots.txt… и любые ошибки и предупреждения, которые он находит:
 Как видите, мы блокируем пауков от сканирования нашей страницы администратора WP.
 Мы также используем robots.txt, чтобы заблокировать сканирование страниц с автоматически сгенерированными тегами WordPress (для ограничения дублирования контента).
 Robots.txt и мета-директивы
 Зачем использовать robots.txt, если вы можете блокировать страницы на уровне страницы с помощью метатега «noindex»?
 Как я упоминал ранее, тег noindex сложно применить к мультимедийным ресурсам, таким как видео и PDF-файлы.
 Кроме того, если у вас есть тысячи страниц, которые вы хотите заблокировать, иногда проще заблокировать весь раздел этого сайта с помощью robots.