Beautifulsoup парсинг — разбор уже полученного HTML (или XML) в дерево элементов на Python. Библиотека Beautiful Soup (bs4) не ходит в сеть сама: её комбинируют с requests/httpx. Это лучший старт для статичных страниц и прототипов. Большой краул — Scrapy; JS-контент — Playwright. Ниже — сценарии, код карточки товара и таблицы выбора.
Кратко
- Beautiful Soup парсит HTML/XML; загрузку страницы делает HTTP-клиент.
- Идеален для небольших скриптов, разовых выгрузок и обучения селекторам.
- С парсером
lxmlразбор быстрее встроенногоhtml.parser. - Не рендерит JavaScript и не управляет очередью URL как фреймворк.
- Ломается при смене вёрстки — нужны тесты селекторов и мониторинг.
Инфографика: HTML-документ → дерево узлов → структурированные поля (title, price и т.д.). BS4 — слой извлечения, не краулер.
Что делает Beautiful Soup
Библиотека строит дерево документа и даёт поиск по тегам, CSS-селекторам и навигации parent/children. Это слой извлечения полей. Прокси, капчи, расписание и БД — ваша обвязка или более тяжёлый стек. На «грязном» HTML обычно ставят lxml как парсер движка.
Перед выбором BS4 откройте исходный HTML и вкладку Network: часто данные уже в JSON API, и парсить вёрстку не нужно.
Типовые задачи
| Задача | Подход | Сложность | Когда не подходит |
|---|---|---|---|
| Разобрать 1–50 статичных страниц | httpx + bs4 | Низкая | Нужен регулярный краул на 100k URL |
| Вытащить таблицу/карточки из SSR | CSS-селекторы + нормализация | Низкая | Пустой #app после JS |
| Прототип перед Scrapy | Скрипт → потом перенос селекторов | Низкая | Сразу нужна очередь/ретраи |
| Парсинг после скачивания дампа | open(file) + BeautifulSoup | Низкая | — |
Пример кода: карточка товара
import httpx
from bs4 import BeautifulSoup
URL = "https://example.com/product/demo"
def parse_product(url: str) -> dict:
# Уважайте robots.txt и ToS; добавьте задержку в цикле
r = httpx.get(url, timeout=20.0, headers={"User-Agent": "ResearchBot/1.0"})
r.raise_for_status()
soup = BeautifulSoup(r.text, "lxml")
return {
"url": url,
"title": (soup.select_one("h1") or soup.title).get_text(strip=True),
"price": (soup.select_one(".price") or soup.select_one("[itemprop=price]")).get_text(strip=True)
if soup.select_one(".price") or soup.select_one("[itemprop=price]") else None,
"sku": (el.get_text(strip=True) if (el := soup.select_one(".sku")) else None),
}
if __name__ == "__main__":
print(parse_product(URL))
Когда подходит
- Страница отдаёт данные в HTML без обязательного JS-рендера.
- Объём небольшой или средний, логика — один скрипт.
- Нужен быстрый прототип перед Scrapy/облаком.
- Команда уже на Python и хочет минимум инфраструктуры.
- Есть стабильные CSS/XPath-якоря в разметке.
Сравнение
| Критерий | Beautiful Soup | Scrapy | Cheerio |
|---|---|---|---|
| Язык | Python | Python | Node.js |
| Сеть | Внешний клиент | В фреймворке | Внешний клиент |
| Масштаб краула | Скрипт | Фреймворк | Скрипт / обвязка |
| Порог входа | Низкий | Выше | Низкий для JS |
| JS-рендер | Нет | Через плагины | Нет |
Ограничения и риски
«BS4 не видит» данные SPA — типичная ошибка ожидания. Уважайте ToS и robots.txt. Для регулярного мониторинга цен чаще нужен контур со SLA — парсинг интернет-магазина.
Когда не подходит
Не масштабируйте голый цикл for+httpx+BS4 на сотни тысяч URL без очереди — лучше Scrapy. Для браузерных сценариев — Playwright. Для no-code — Octoparse / ParseHub.
FAQ
Beautifulsoup или Beautiful Soup?
Официальное имя — Beautiful Soup; pip-пакет — beautifulsoup4 (bs4).
Нужен ли lxml?
Не обязателен, но рекомендуется для скорости и устойчивости.
Чем заменить на Node?
Кастомный парсинг: парсинг сайтов. Серия: Scrapy, Playwright.