Перейти к содержанию

Разработка: работа с краулерами и API

Если вы используете краулеры или боты, соблюдайте следующие правила:

  1. Уважайте файл robots.txt — следуйте ограничениям, установленным владельцами сайтов;
  2. Идентифицируйте себя через User-Agent1 — четко укажите название и назначение вашего бота в заголовках запросов;2
  3. Работая с API, добавляйте задержки между запросами — избегайте перегрузки сервера (DoS-рисков)3

Наша система автоматически блокирует вредоносный и аномальный трафик, угрожающий стабильности сайта. Мы не предоставляем белые списки IP-адресов, так как даже «легитимный» трафик с них может привести к сбоям и ухудшить опыт пользователей.

Нужна помощь?

Если у вас возникли вопросы, требуется настройка, бесплатная консультация или оценка проекта — мы готовы помочь. Обращайтесь по электронной почте. Наши эксперты предложат решения для улучшения вашего бизнеса.

  1. Определение User-Agent ↩

  2. Синтаксис или правила идентификации вашего User-Agent: Синтаксис, RFC 7231, секция 5.5.3: User-Agent ↩

  3. DoS-атака ↩