Очень часто мы сталкиваемся с вопросом: «Почему парсер собрал только 500 результатов, хотя сайт показывает количество 100500?»
Парсер собирает данные, обрабатывая стартовые страницы для сбора ссылок, которые ставятся в очередь на обработку. Итоговый результат включает названия, цены, контакты и описания. Когда собранных данных меньше, чем ожидалось, значит было обработано меньше страниц с данными, чем нужно.
Блокировка со стороны сайта
Самая частая причина сбора недостаточного количества данных - когда алгоритмы сайта обнаруживают интенсивный сбор данных и блокируют дальнейшую загрузку страниц.
Решение: используйте прокси, уменьшите количество потоков в кампании и установите интервалы между загрузкой страниц (инструкции доступны в справке).
Ограничение выдачи
Иногда сайты ограничивают количество результатов, доступных для просмотра одному пользователю, хотя отображаемые цифры могут вводить в заблуждение. Пример: база кафе города показывает «400+», но доступно для просмотра только 100.
Решение: разбивайте результаты с помощью фильтров уточнения, чтобы собирать данные блоками меньше максимально доступного количества результатов. Для сложных случаев блокировки, привязанной к аккаунту, используйте несколько аккаунтов с наборами прокси.
Ошибки настройки
Настройки могут содержать условия или фильтры, обрабатывающие только определенные страницы. Ошибки в фильтрах приводят к потере страниц с данными. Страницы без обязательных полей пропускаются при обработке.
Решение: внимательно изучайте логи, чтобы найти пропущенные страницы с данными.
Другие причины
Некоторые сайты завышают количество доступных данных. Информация, разделенная по разделам, может означать, что товары попадают сразу в несколько категорий. Программа удаляет дублирующиеся ссылки, из-за чего итоговых результатов оказывается меньше заявленного.