Парсинг интернет-магазина

Парсинг интернет-магазина — автоматический сбор карточек товаров, цен, остатков, характеристик и изображений с публичных каталогов конкурентов с записью в CSV/JSON, API или напрямую в ваш магазин. Студия «Компини» делает кастомный контур под вашу CMS: нормализация атрибутов, варианты SKU, дедупликация и расписание обновлений.

На практике заказчики приходят с двумя задачами. Мониторинг цен — регулярный сбор цены и наличия для repricing и аналитики. Импорт каталога — разовое или регулярное наполнение своего магазина карточками, фото и свойствами без ручного ввода тысяч позиций. Готовые SaaS (Priceva и аналоги) удобны для типового мониторинга; кастомный парсер нужен, когда схема полей, антибот или интеграция в WooCommerce / 1С-Битрикс / 1С не укладываются в чужой кабинет.

Общая услуга: парсинг сайтов. Для B2B-опта с Alibaba — парсинг Alibaba. Для розницы Taobao — парсинг Taobao. Для брендовой витрины Tmall — парсинг Tmall. Для кросс-бордер AliExpress — парсинг AliExpress. Для объявлений — парсинг Авито. Если магазина ещё нет — разработка интернет-магазина.

Кратко

• Парсинг интернет-магазина = автосбор товаров, цен, остатков и фото с каталога-донора.
• Два сценария: мониторинг/repricing или полный импорт карточек в ваш магазин.
• Выгрузка в WooCommerce, Битрикс, CSV/YML/JSON, 1С или ваш API.
• Сравниваем с SaaS мониторинга: фиксируем, когда выгоднее свой парсер.
• Ориентир по стоимости — от 3 000 ₽/мес под объём SKU и число доноров.

Какие данные обычно собираем

Состав полей фиксируем на брифе — зависит от донора и задачи (мониторинг vs полный импорт).

Парсер vs SaaS мониторинга vs разовая выгрузка

На рынке e-commerce три рабочих модели. Выбор зависит от того, нужен ли свой каталог и своя схема полей.

Вывод: для регулярного наполнения своего магазина и нестандартных доноров кастомный парсинг от 3 000 ₽/мес обычно гибче SaaS. Если нужен только мониторинг цен на крупных сетях «из коробки» — разумнее сравнить с готовым сервисом на брифе.

Когда нужна услуга

• Нужно сравнивать цены и наличие конкурентов ежедневно или несколько раз в сутки.
• Каталог на сайте наполняется менеджерами вручную — ошибки в артикулах, ценах и фото.
• Требуется выгрузка тысяч SKU с атрибутами, вариантами и изображениями.
• Строите маркетплейс, агрегатор цен или dropshipping-витрину на чужом ассортименте.
• Готовый SaaS мониторинга дорог или не отдаёт поля/формат под вашу CMS.

Что мы делаем

• Парсинг категорий, карточек, вариантов (размер/цвет), цен и остатков.
• Скачивание изображений, нормализация полей и маппинг под вашу схему.
• Обход пагинации, фильтров, AJAX/SPA-каталогов в рамках доступного контура.
• Импорт в WooCommerce, 1С-Битрикс, CSV, YML, JSON, 1С или ваш API.
• Мониторинг изменений по cron, логи, дедупликация по артикулу/URL.
• Документация полей и инструкция для менеджеров каталога.

Как проходит работа

1. Бриф — донор(ы), поля, частота, CMS, юридический доступ к данным.
2. Аудит донора — структура каталога, объём SKU, антибот, пагинация.
3. Прототип — тестовая выгрузка 20–100 карточек и проверка маппинга.
4. Разработка — парсер, нормализация, очереди, обработка сбоев.
5. Интеграция и поддержка — импорт в каталог, мониторинг, правки при смене вёрстки.

Ориентиры по стоимости

Точная цена зависит от объёма работ. Ниже — типовые задачи и стартовые цены:

Пример TCO

Готовый мониторинг у ряда сервисов быстро уходит в десятки тысяч рублей в месяц на среднем объёме SKU. Наш контур под ваш каталог — от 3 000 ₽/мес: свои поля, свой импорт и контроль частоты. Точную ставку считаем после аудита донора и числа источников.

Технические требования и ограничения

• Работаем с публично доступными страницами каталога; закрытый ЛК и платную авторизацию не взламываем.
• Соблюдаем разумную нагрузку: интервалы, кэш, лимиты запросов.
• SPA/AJAX и антибот увеличивают срок и стоимость — закладываем на аудите.
• При смене вёрстки донора парсер может потребовать доработки — нужна поддержка.
• Персональные данные покупателей и переписку не собираем.

Когда услуга не подходит

• Нужен только готовый кабинет мониторинга без своего сайта — сравните SaaS.
• Донор запрещает автоматизированный сбор, а легального API/фида нет.
• Задача — скопировать чужой дизайн/контент целиком в нарушение прав, а не структурированные товарные данные для своей витрины.
• Ожидаете «вечный» парсер без сопровождения при смене вёрстки источника.

Глоссарий

• SKU — единица товарного учёта (артикул/позиция в каталоге).
• Вариант — модификация товара (размер, цвет) с отдельной ценой/остатком.
• Repricing — автоматическая или полуавтоматическая подстройка своих цен по данным конкурентов.
• Донор — сайт-источник, с которого собираем данные.
• Нормализация — приведение полей разных доноров к одной схеме вашего каталога.
• YML / CSV / JSON — типовые форматы выгрузки для импорта и обмена с 1С/маркетом.

Почему «Компини»

• Опыт с 2014 года — сайты, CRM, интеграции и поддержка под ключ.
• Фиксированная смета — стоимость согласуем до начала работ.
• Гарантия — исправляем недочёты в рамках ТЗ после сдачи проекта.

Часто задаваемые вопросы