Библиотека, которая за два года собрала больше ста тысяч звёзд и обещает закрыть весь цикл сбора данных: быстрые HTTP-запросы, stealth-браузер, пауки, CLI и MCP-сервер для агентов. Проверяем по репозиторию, PyPI и документации, что из этого подтверждается.
Scrapling — Python-фреймворк для сбора данных, который пытается заменить сразу три инструмента: HTTP-клиент, браузерную автоматизацию и парсер. По состоянию на 11.11.2026 у репозитория D4Vinci/Scrapling 101 588 звёзд и 10 588 форков на GitHub, лицензия BSD-3-Clause, актуальная версия на PyPI — 0.5.1, релиз которой вышел 4 ноября 2026 года. Главная причина внимания к проекту — не скорость парсинга, а MCP-сервер и Agent Skill: библиотеку можно отдать агенту, и он будет собирать данные сам.
Автор проекта описывает Scrapling как фреймворк, который «brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library». Практически это четыре уровня, которые можно использовать по отдельности. Первый — фетчеры: быстрый HTTP-клиент с подменой TLS-отпечатка и заголовков, а также браузерный StealthyFetcher на движке Playwright с обходом проверок Cloudflare Turnstile и Interstitial. Второй — парсер с CSS-, XPath-, текстовым и regex-поиском плюс адаптивным отслеживанием элементов. Третий — спайдеры, аналог Scrapy с конкурентностью, прокси-ротацией и паузой/возобновлением. Четвёртый — AI-слой: MCP-сервер, Agent Skill и конвертация страницы в чистый Markdown для RAG.
Отдельно стоит модуль адаптивных селекторов: если вёрстка донора поменялась, Scrapling пытается найти тот же элемент по сходству структуры и текста. Это не панацея — при серьёзном редизайне селектор всё равно придётся обновить, — но на практике такие поломки случаются реже, и для мониторинга цен или каталогов это заметно экономит время.
Минимальный пример из README занимает три строки: импортируется Fetcher, выполняется запрос и из ответа вытягиваются цитаты через CSS-селектор с псевдоэлементом ::text — синтаксис знакомый тем, кто работал со Scrapy или Parsel. Для динамических страниц тот же вызов делается через StealthyFetcher, а для сессий с сохранением cookie есть FetcherSession и StealthySession.
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)Спайдеры описываются классом с start_urls и асинхронным parse, результат складывается в items и экспортируется методами to_json(), to_jsonl(), to_csv() и to_xml(). Для длинных обходов есть режим паузы и возобновления через crawldir: обход можно прервать по Ctrl+C и продолжить с того же места, а режим разработки кэширует ответы на диск, чтобы отлаживать парсер, не дёргая донора.
pip install scrapling
pip install "scrapling[fetchers]"
scrapling install --force
pip install "scrapling[shell]"
Позиционирование Scrapling — «всё в одном»: Scrapy силён в больших обходах, но не умеет обходить антибот-защиту из коробки; Playwright умеет браузер, но это не фреймворк для сбора данных; crawl4ai ближе всего по духу и тоже ориентирован на агентов. Цифры ниже — из GitHub API на 11.11.2026, они меняются ежедневно.
| Возможность | Scrapling | Scrapy | Playwright | crawl4ai |
|---|---|---|---|---|
| HTTP-фетчер со сменой TLS-отпечатка | есть | нет | нет | частично |
| Браузер с антибот-обходом | есть | через плагины | есть | есть |
| Спайдеры и конкурентность | есть | есть | нет | частично |
| Адаптивные селекторы | есть | нет | нет | нет |
| MCP-сервер для агентов | есть | нет | нет | есть |
| Экспорт в Markdown для RAG | есть | нет | нет | есть |
| Лицензия | BSD-3 | BSD-3 | Apache-2.0 | Apache-2.0 |
Вывод по таблице простой: если у вас уже есть большой проект на Scrapy, переезд не обязателен — в Scrapling есть декоратор scrapling_response, который позволяет разбирать ответы Scrapy его парсером. Если же задача — быстро собрать данные с защищённого сайта и отдать результат агенту, «всё в одном» экономит несколько дней на склейку библиотек.
В README отдельным блоком описаны AI-функции. MCP-сервер даёт агенту (Claude, Cursor и другим клиентам) возможность делать HTTP-запросы, управлять браузером, снимать скриншоты, сохранять состояние логина и читать ответы API, которые страница дёргает в фоне. Авторы отдельно отмечают защиту от prompt-injection и сокращение объёма контента, который уходит в модель: страница чистится, реклама и трекеры блокируются.
Второй элемент — Agent Skill, готовый набор инструкций, который «учит» coding-агента API библиотеки, чтобы тот не выдумывал методы. Третий — метод page.markdown(), который превращает страницу в чистый Markdown без участия модели, а шаблон ContentSpider умеет обойти весь сайт и собрать корпус для RAG. Для агентных сценариев это самая практичная часть: не нужно писать промежуточный парсер, модель получает уже нормализованный текст.
Распределение коммитов важно для оценки риска: 854 из 963 коммитов за последние 52 недели сделал сам владелец репозитория. Это означает высокую скорость развития, но и зависимость от одного человека — типичная картина для молодых open-source проектов. Дата создания репозитория — 13 октября 2024 года, последний пуш — 11 ноября 2026 года, то есть проект живой и обновляется буквально сегодня.
| Вариант установки | Команда | Когда нужен |
|---|---|---|
| Базовый | pip install scrapling | HTTP-запросы и парсинг |
| С браузерами | pip install "scrapling[fetchers]" | JS-рендеринг, антибот |
| Оболочка | pip install "scrapling[shell]" | интерактивная отладка |
| Docker | образ из релиза | воспроизводимая среда со всеми браузерами |
Отдельно про производительность: в README есть собственные замеры скорости извлечения текста и поиска похожих элементов. Это данные авторов, а не независимый бенчмарк, поэтому в таблицы мы их не выносим — проверяйте на своих страницах. Из проверяемого: заявлены 92% покрытия тестами и полные type hints, а сам код проходит PyRight и MyPy при каждом изменении.