Crawlee — open-source библиотека краулинга (JS/TS и Python): очередь URL, ретраи, сессии, Cheerio и Playwright/Puppeteer. «Scrapy-подобная» дисциплина для JS-экосистемы и фундамент акторов на Apify. Только HTML — Cheerio; только клики — Playwright.
Кратко
- Crawlee: оркестрация краула — очередь, concurrency, ошибки.
- Переключается между HTTP+Cheerio и браузерными краулерами.
- Деплой у себя, без обязательного облака.
- Кривая обучения выше no-code, ниже «очередь с нуля».
- Не легализует сбор вопреки ToS/ПДн.
Инфографика: очередь запросов → Cheerio и/или Playwright → единое хранилище результатов.
Типовые задачи
| Задача | Подход | Сложность | Когда не подходит |
|---|---|---|---|
| Статичный каталог | CheerioCrawler | Низкая–средняя | Разовая выгрузка 30 строк |
| Смешанный статичный+SPA | Два crawler’а / routing | Средняя | Нет Node/TS в команде |
| Прод-пайплайн на своём VPS | Crawlee + queue storage | Средняя | Нужен только Store без кода |
| Упаковка в Apify Actor | Тот же код + Apify SDK | Средняя | — |
Пример кода: CheerioCrawler
import { CheerioCrawler } from "crawlee";
const crawler = new CheerioCrawler({
maxRequestsPerCrawl: 50,
async requestHandler({ request, $, enqueueLinks, log }) {
log.info(`Parsing ${request.url}`);
const title = $("h1").first().text().trim();
const price = $(".price").first().text().trim();
await crawler.pushData({ url: request.url, title, price });
await enqueueLinks({ selector: "a.product-link" });
},
});
await crawler.run(["https://example.com/catalog"]);
Когда брать Crawlee
- Команда на Node/TS (или Python-ветке) строит долгий пайплайн.
- Нужны и статичные, и JS-страницы в одном проекте.
- Хотите свой деплой, но не изобретать ретраи/очередь.
- Планируете упаковать код как Apify Actor.
- Объём выше «скрипта на вечер».
Сравнение
| Критерий | Crawlee | Scrapy | Apify |
|---|---|---|---|
| Тип | Библиотека | Фреймворк | Платформа |
| Язык | JS/TS, Python | Python | Actors + UI |
| Браузер | Playwright/Puppeteer | Через плагины | В облаке |
| Хостинг | Ваш | Ваш | Apify cloud |
Когда не подходит
Разовая выгрузка в Excel — Cheerio/BS4 или Octoparse. Только Python HTTP-краул — Scrapy. Без разработчика — no-code или услуга.
FAQ
Crawlee бесплатный?
Да, open-source. Платите за infra или compute на Apify.
Crawlee vs Playwright?
Playwright — браузер; Crawlee — каркас краула, который может вызывать Playwright.
Нужен ли Apify?
Нет. Apify — удобный облачный рантайм; Crawlee работает сам.
Продакшен под ключ: парсинг сайтов, парсинг магазина. Серия: Apify, Scrapy, Playwright.