403 Ошибка технологии Наши индексаторы используют облачную инфраструктуру и идентифицируются как индексирующие боты (подробнее). Только законные компании используют известных ботов. Этические компании требуют от других этических компаний, таких как мы, по контракту индексировать Интернет только идентифицируемым образом, используя идентифицируемый пользовательский агент-бот и соблюдая директивы robots.txt.Некоторые сайты блокируют трафик из облачных сетей и индексаторов, которые в заголовке пользовательского агента идентифицируются как боты. Если сайт блокирует нас или настроен на блокировку трафика с помощью сообщения об ошибке 403 или 202, он помечен технологией 403 Error.