Проверка ответов сервера на запросы поисковых ботов

Опубликовано: 19.10.2018. Обновлено: 19.08.2019 963 1

Почему нужно проверять ответы сервера средствами, предоставленными поисковыми системами?

Потому что это способ, посредством которого можно гарантировано узнать, как отвечает сервер именно на запрос того или иного поискового бота, а не сторонней коммерческой программы или сервиса.

Методы подразумевают ручную работу с каждой страницей, поэтому на практике возможно выборочно проверять по одному примеру страниц, сделанных по разным шаблонам. Внешне они отличаются оформлением, содержанием, и расположением составляющих блоков (главная страница, страница категории, карточка товара, новостная страница).

Необходимо убедиться, что ответ сервера — 200.

Ответ основного робота Яндекса

Для Яндекса проверка делается в Яндекс.Вебмастере — "Инструменты" — "Проверка ответа сервера":

Ответ Googlebot

Для Гугла — в Search Console — в разделе "Сканирование" — "Просмотреть как Googlebot". После выполнения операции нужно нажать на стрелочку напротив адреса страницы: