Полезный заголовок для поисковых роботов

Ускорьте индексацию обновлённых страниц интернет-магазина.

25 сентября 2018, версия 1.5


Каждый день вы добросовестно работаете над своим сайтом: обновляете текст на страницах, добавляете новые товары, загружаете больше качественных фотографий. Но все эти изменения как-то медленно проявляются в результатах поиска — пока дождёшься, когда «Гугл» с «Яндексом» загрузят ваши обновлённые страницы в свой индекс... Может, им как-то насильно «скормить» адреса обновлённых страниц, чтобы побыстрее дело пошло?

Но «насильно мил не будешь» — даже в случае с поисковиками. Да и нет такого способа натравить поисковых роботов только на нужные вам страницы. У роботов своё расписание и свои планы на ваш сайт, строго определённые их алгоритмами. Как же быть?

А нужно этим роботам немного помочь: «отворачивать» их от страниц, которые обновлялись давно. И роботам мне останется ничего другого, кроме как «идти» дальше по сайту и индексировать все остальные, изменённые страницы. Это поможет сделать плагин «Last-Modified».

Как работает плагин

Плагин помогает поисковым роботам находить страницы, которые не обновлялись со времени предыдущего визита робота на сайт. Если у сайта очень много страниц, робот не успевает обойти их все сразу, поэтому обходит только часть. Какие именно? Просто все подряд. И если среди этих всех подряд окажутся ранее проиндексированные, но уже давно не обновлявшиеся страницы, получится, что робот будет делать напрасную работу — будет проверять страницы, которые не имеет смысла проверять. А когда закончится лимит на количество страниц для очередного визита на ваш сайт, до обновлённых страниц очередь не дойдёт.

Чтобы очередь доходила, плагин позволяет вашему сайту «говорить» поисковому роботу: «Эта страница не обновлялась, её нет смысла проверять. Иди, проверяй другие страницы.» Для этого используется заголовок «Last-Modified» с датой последнего изменения страницы. Эту дату сервер отправляет поисковому роботу в ответ на первый запрос к странице. Этот заголовок нужно включить для всех страниц, индексацию которых вы хотите улучшить.

Если дата в заголовке «Last-Modified» позже даты предыдущего визита робота, то робот «поймёт», что страница обновилась, и заново загрузит её в свою базу данных.

Так экономится время поискового робота и снижается лишняя нагрузка на сайт, поэтому роботу приходится делать меньше «тяжёлых» запросов ко всем страницам подряд, которые бы излишне нагрузили сервер и помешали посетителям-людям пользоваться сайтом.

В качестве даты последнего обновления страницы можно выбрать разные варианты для разных типов страниц:

  • предыдущий день
  • предыдущий час
  • текущая дата
  • актуальная

Настоящую дату обновления страницы возвращает вариант «актуальная», где он доступен — в этом случае плагин вычисляет дату последнего обновления страницы автоматически — по изменениям в базе данных магазина.

Если нужно отдавать поисковым роботам искусственно выбранную дату обновления страницы, выберите другие варианты в зависимости от конкретной ситуации (лучше проконсультироваться с разработчиком плагина). Поисковый робот будет ориентироваться на эту искуственно выбранную дату «обновления», даже если страница на самом деле и не обновлялась. Возможно, это может быть полезно, если в вашем магазине не очень много страниц, и их содержимое обновляется каким-то особым образом, например, с помощью других плагинов.

Not Modified

Можно пойти ещё дальше и не отдавать необновлённые страницы даже... людям! А что, ­тоже экономия, особенно если она ничему не мешает. Необновлённая страница вполне может загружаться из кеша браузера, если посетитель раньше её уже посещал.

Для этого плагин умеет отправлять в браузеры пользователей заголовок «Not Modified». Получив такой заголовок, браузер не будет запрашивать заново всю страницу с сервера, а почти мгновенно покажет её содержимое пользователю. Скорость открытия страницы будет очень высокой, потому что браузеру потребуется только запросить маленький заголовок, а не весь длинный HTML-код страницы. Кроме скорости открытия страницы, ещё и экономится интернет-трафик пользователя и нагрузка на мощности сервера хостинга.

Только нужно иметь в виду, что такое поведение подходит не для всех магазинов. Если у вас на витрине есть блок «Корзина», который при добавлении очередного товара обновляется и показывает стоимость покупки и количество добавленных товаров, то при использовании заголовка «Not Modified» этот блок может оказаться пустым, хотя товары в корзине вполне могут быть — это будет видно после перехода на страницу корзины.

Впечатления

Плагин предоставляет довольно простые варианты настроек для большинства основных страниц витрины интернет-магазина, которые могут представлять ценность для пользователей поисковых систем. Благодаря отправке специальных заголовков повышается скорость индексации интернет-магазина и снижается нагрузка на сервер от поисковых роботов. Покупатели видят в результатах поиска более актуальную информацию о магазине, и таким образом быстрее окупаются затраты на обновление информации на страницах витрины. Полезный инструмент — установил, настроил и забыл.



* * *

«Last-Modified» в Магазине Webasyst: https://www.webasyst.ru/store/plugin/shop/lastmodified/