Переобход страниц яндекс вебмастер: что это и как использовать?

  • Главная   /  Разное   /  
  • Переобход страниц яндекс вебмастер: что это и как использовать?

Переобход страниц яндекс вебмастер: что это и как использовать?

Содержание

что это и как использовать?

Sitemap в Яндекс.Вебмастер — это удобный и полезный инструмент, позволяющий передать Яндексу, какие страницы необходимо проиндексировать.

  • Использование;
  • Форматы;
  • Создание.

Использование карты сайта в Yandex Webmaster

После подключения к Яндекс.Вебмастеру становится доступен раздел «Индексирование»-«Файлы Sitemap».

Переход в файлы sitemap в Яндекс.Вебмастер

Для загрузки файла потребуется ввести адрес URL после чего кликнуть на «Добавить».

Добавление новой карты сайта в Яндекс ВебмастерДобавление новой карты сайта в Яндекс Вебмастер

Далее в системе можно будет увидеть:

  • Источник;
  • Статус загрузки;
  • Дату последней загрузки;
  • Количество ссылок в файле.

После загрузки система выдаст один из ответов:

  • Ок. Файл загружен успешно;
  • Редирект. Документ перенаправляет на другую страницу. Для решения проблемы потребуется ввести другой адрес;
  • Ошибка. Неправильный формат. В этом случае понадобиться больше узнать об ошибке и устранить ее;
  • Не проиндексирован. Чаще всего возникает при проблемах с сервером, например, при коде ответа 500 или любых других;
  • Доступ запрещен в файле robots.txt. Потребуется открыть URL для индексации в файле robots.txt.

Для ручного обновления файла потребуются нажать на кнопку «Обновить».

Отправка на скачивание файла sitemap в Яндекс.Вебмастер

Важно! Данная возможность доступна не более чем 10 раз в месяц.

Полная переиндексация ссылок в указанном файле также доступна через соответствующую кнопку.

Полная переиндексация файла sitemap в Yandex Webmaster
Полная переиндексация файла sitemap в Yandex Webmaster

Поддерживаемые форматы файла sitemap

XML (рекомендуемый)

Состоит из следующих тегов:

  • <loc>. URL-страницы;
  • <lastmod>. Дата последнего обновления;
  • <changefreq>. Частота изменения;
  • <priority>. Значимость страницы, измеряется от 0.0 до 1.0.

TXT

Представляет собой текстовый документ с перечислением с каждой строки нового адреса. Пример:

Как создать карту сайта для Яндекс.Вебмастера в WordPress

Если у сайта установлен плагин Yoast Seo то достаточно перейти в него и во вкладке «Возможности» включить соответствующую функцию.

Включение карты сайта в формате XML в плагине Yoast в WordPressВключение карты сайта в формате XML в плагине Yoast в WordPress

Далее этот материал добавляется во вкладку, описанную в начале статьи.

Подписывайтесь на наш канал в Яндекс.Дзен

Подписывайтесь на наши социальные сети

Переобход страниц Яндекс вебмастер новый инструмент сервиса

Компания Яндекс продолжает расширять функционал своих инструментов. Один из полезных для сферы IT сервисов – Яндекс Вебмастер, который предназначен для настроек своего сайта под требования поисковика. Сегодня, я хочу рассказать Вам про раздел Переобход страниц Яндекс вебмастер, который отвечает за установление приоритетности страниц сайта, и позволяет настроить индексирование в соответствие с  Вашими пожеланиями.

Переобход страниц Яндекс вебмастер – инструмент индексирования сайта, который позволяет задать или изменить приоритетность страниц сайта. Данный инструмент полезен в 3 случаях:

-если Вы создали сайт, и хотите сообщить о нем поисковой системе. С помощью данного инструмента можно задать приоритетность наиболее интересных, по Вашему мнению, страниц.

-если Вы добавляете на сайт большое количество материала ежедневно, и хотите подсказать поисковым системам наиболее интересные (релевантные) страницы на ресурсе. С помощью переобходчика Вы можете указать самые Важные Урлы и тем самым ускорить индексацию страниц.

-если Вы хотите перенести вес с одной страницы ресурса на другую. Такая ситуация может возникать, когда в выдаче появляется не  продвигаемая страница, а страница с похожим контентом.

Главное поле переобход страниц Яндекс вебмастерВ день на ресурс лимит на 10 адресов

Чтобы попасть в раздел Переобход страниц яндекс вебмастер необходимо добавить сайт в панель Яндекс вебмастер. После добавления сайта переходим в раздел инструменты. В данном разделе представлено 7 инструментов для работы с сайтом в вебмастере. После перехода в раздел «Переобход страниц» перед нами открывается рабочее поле инструмента. Для того, чтобы запустить приоритетное индексирование страницы, необходимо ввести полный урл страницы, индексацию которой Вы хотите ускорить. При этом, возможно три статуса состояния приритетного индексирования страницы:

  1. Состояние «В очереди». Страница сайта в данном случае, находится процессе индексация. Индексация страницы проходит за 1-2 дня, изменения в выдаче будут после ближайшего апдейта поисковой системы.
  2. Состояние «Робот обошел». В данном случае изменения индексирования внесены в базу данных поисковой системы. Значит, процесс изменения приоритетного индексирования прошел успешно.
  3. Состояния «Ошибка». В данном случае произошла ошибка в индексирование страницы. Наиболее вероятная причина.

    Дабавляем урл в раздел переобход страницПример добавленного урла в переобходчик

Переобход страниц Яндекс вебмастер – хороший инструмент для настройки индексирования сайта. Надеемся, наши инструкции помогут Вам настроить приоритетное индексирование страниц Яндексом!

Как ускорить индексацию сайта в Яндексе и Google

Актуальные способы ускорить индексирование страниц в обоих поисковиках.

Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.

К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Страницы индексируются, но долго

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.

Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:

Проверить индексирование страницИндексация и санкции ПС в Анализе сайта

Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Почитать по теме:
Карта сайта (файл Sitemap) от А до Я

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом . Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Страница без ссылок в структуре
Страница-сирота в структуре сайта


Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Грамотная структура сайтаУпрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Публиковать ссылки в соцсетях и на других площадках

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Сссылка с сайта в соцсетяхПревью поста с сайта на Фейсбуке

Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.

По ускорению у нас есть подробные материалы о том, как оптимизировать код верхней части страницы, использовать сжатие gzip, brotli и минификацию кода, оптимизировать изображения.

Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.

Проверить сайтФрагмент анализа сайта

Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.

До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.

Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.

Как в Google и Яндекс быстро отправить страницу сайта на обход поисковым роботом