Специалист по Гуглу, Гэри Илш поделился некоторыми тонкостями работы бюджета индексации (краулинга). Он дал пояснения, что влияет на активность роботов в анализе сайтов и дал веб-мастерам рекомендации по оптимизации процесса.
В первую очередь стоит отметить, что беспокоиться о данном параметре стоит только сайтам-гигантам, так как мелкие ресурсы могут умещаться в некоторый стандартный объем запросов. В частности, воздействие бюджета индексации будет влиять на скорость, если сайт насчитывает огромное количество страниц (особенно, если они генерируются на ходу). Бюджет индексации и ограничение скорости в данном случае необходимы во избежание лишней нагрузки на сервера. А для заказа хостинга или домена можете воспользоваться услугами компании http://rx-name.ua.
Стоит также добавить, что спрос на сайт определяется и популярностью страниц в индексе, а также актуальностью данных на нем. Бюджет при этом определяется количеством просканированных Гуглом количеством адресов за 24 часа, высчитывается он в зависимости от спроса и настроек скорости сканирования.
Что может привести к потере бюджета индексации сайта?
- Низкокачественный контент или спам;
- Дублированный контент;
- Фасетная навигация и злоупотребление идентификаторами сессии;
- Программные ошибки 404;
- Бесконечные URL (к примеру, календари);
- Взломанные страницы.
Если говорить проще, роботам Гугла придется тратить время на добавленные страницы, на основные же времени может и не остаться, и данные в индекс будут приходить с задержкой. Это не повлияет на ранжирование, но новый контент будет появляться в выдаче с задержкой и пользователи не смогут увидеть его некоторое время. Важный фактор, увеличивающий бюджет сканирования – высокая скорость работы сайта. Быстрая загрузка положительно воспринимается роботом, и доступный бюджет сканирования может быть увеличен. Если же загрузка происходит медленно, часто встречаются ошибки, а на загрузку страниц тратится по несколько секунд, робот и вовсе может оставить сайт «на потом». Чтобы этого не происходило, веб-мастерам лучше следить за качеством сканирования: это можно сделать в Search Console, где нужно найти отчет «Ошибки сканирования».
Стоит добавить, что в бюджет индексации входят все без исключения URL с домена. В сканер уходит абсолютно все: контент, AMP, альтернативные URL и даже цепочки редиректов. Исключением могут оказаться ссылки, которые скрыты за разными триггерами. Директиву crawl-delay Google не распознает: так что при продвижении в этом поисковике она бесполезна. Nofollow учитывается лишь в паре с конкретной ссылкой: к примеру, если переход с одной страницы был закрыт nofollow, а с другой нет – страница все-таки попадет роботам.
