ОБЗОР 2026

Scrapling: обзор Python-фреймворка для скрапинга с MCP-сервером

Библиотека, которая за два года собрала больше ста тысяч звёзд и обещает закрыть весь цикл сбора данных: быстрые HTTP-запросы, stealth-браузер, пауки, CLI и MCP-сервер для агентов. Проверяем по репозиторию, PyPI и документации, что из этого подтверждается.

СкрапингOpen Source2026
Категория Сбор данныхЛицензия BSD-3-ClauseВерсия 0.5.1Съём данных 11.11.2026

Scrapling — Python-фреймворк для сбора данных, который пытается заменить сразу три инструмента: HTTP-клиент, браузерную автоматизацию и парсер. По состоянию на 11.11.2026 у репозитория D4Vinci/Scrapling 101 588 звёзд и 10 588 форков на GitHub, лицензия BSD-3-Clause, актуальная версия на PyPI — 0.5.1, релиз которой вышел 4 ноября 2026 года. Главная причина внимания к проекту — не скорость парсинга, а MCP-сервер и Agent Skill: библиотеку можно отдать агенту, и он будет собирать данные сам.

101 588
Звёзды GitHub
снято 11.11.2026
10 588
Форки
GitHub API
0.5.1
Версия
PyPI, 04.11.2026
963
Коммитов за год
52 недели, GitHub API

01Что это и из чего состоит

Автор проекта описывает Scrapling как фреймворк, который «brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library». Практически это четыре уровня, которые можно использовать по отдельности. Первый — фетчеры: быстрый HTTP-клиент с подменой TLS-отпечатка и заголовков, а также браузерный StealthyFetcher на движке Playwright с обходом проверок Cloudflare Turnstile и Interstitial. Второй — парсер с CSS-, XPath-, текстовым и regex-поиском плюс адаптивным отслеживанием элементов. Третий — спайдеры, аналог Scrapy с конкурентностью, прокси-ротацией и паузой/возобновлением. Четвёртый — AI-слой: MCP-сервер, Agent Skill и конвертация страницы в чистый Markdown для RAG.

Архитектура Scrapling
ФетчерыFetcher, StealthyFetcher, сессии, прокси, HTTP/3сетьПарсерCSS/XPath, поиск по тексту и regex, адаптивные селекторыразборСпайдерыконкурентный краулинг, AutoThrottle, экспорт JSON/CSV/XMLобходAI-слойMCP-сервер, Agent Skill, markdown() для RAGагенты

Отдельно стоит модуль адаптивных селекторов: если вёрстка донора поменялась, Scrapling пытается найти тот же элемент по сходству структуры и текста. Это не панацея — при серьёзном редизайне селектор всё равно придётся обновить, — но на практике такие поломки случаются реже, и для мониторинга цен или каталогов это заметно экономит время.

Путь данных: от URL до ответа агента
1URLодин запрос или очередь спайдера2ФетчерHTTP или браузер, при необходимости с прокси3Парсерселекторы, адаптивное сопоставление4ЭкспортJSON, JSONL, CSV, XML или MarkdownСхема по документации и README проекта

02Как это выглядит в коде

Минимальный пример из README занимает три строки: импортируется Fetcher, выполняется запрос и из ответа вытягиваются цитаты через CSS-селектор с псевдоэлементом ::text — синтаксис знакомый тем, кто работал со Scrapy или Parsel. Для динамических страниц тот же вызов делается через StealthyFetcher, а для сессий с сохранением cookie есть FetcherSession и StealthySession.

scrape.pypython
from scrapling.fetchers import Fetcher

page = Fetcher.get('https://example.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

Спайдеры описываются классом с start_urls и асинхронным parse, результат складывается в items и экспортируется методами to_json(), to_jsonl(), to_csv() и to_xml(). Для длинных обходов есть режим паузы и возобновления через crawldir: обход можно прервать по Ctrl+C и продолжить с того же места, а режим разработки кэширует ответы на диск, чтобы отлаживать парсер, не дёргая донора.

Установка
1
Базовая библиотека
Только HTTP-фетчер и парсер
terminalcopy
pip install scrapling
2
С браузерами
Ставит движок и скачивает браузеры
terminalcopy
pip install "scrapling[fetchers]"
3
Браузеры отдельно
Обычная или принудительная установка
terminalcopy
scrapling install --force
4
CLI-оболочка
Интерактивная оболочка IPython
terminalcopy
pip install "scrapling[shell]"
Требования
По данным PyPI, версия 0.5.1 требует Python 3.10 и новее. Браузерные фетчеры тянут Playwright и Chromium, поэтому установка extras заметно тяжелее базовой; для Docker в каждом релизе собирается образ со всеми браузерами.

03Сравнение с Scrapy, Playwright и crawl4ai

Позиционирование Scrapling — «всё в одном»: Scrapy силён в больших обходах, но не умеет обходить антибот-защиту из коробки; Playwright умеет браузер, но это не фреймворк для сбора данных; crawl4ai ближе всего по духу и тоже ориентирован на агентов. Цифры ниже — из GitHub API на 11.11.2026, они меняются ежедневно.

Звёзды GitHub у инструментов скрапингазвёзд на 11.11.2026, GitHub API
062 500125 000Scrapling101 588Playwright99 884crawl4ai87 230Scrapy65 329Crawlee26 423
Сравнение по популярности, а не по качеству: у Scrapy и Playwright другой круг задач
ВозможностьScraplingScrapyPlaywrightcrawl4ai
HTTP-фетчер со сменой TLS-отпечаткаестьнетнетчастично
Браузер с антибот-обходоместьчерез плагиныестьесть
Спайдеры и конкурентностьестьестьнетчастично
Адаптивные селекторыестьнетнетнет
MCP-сервер для агентовестьнетнетесть
Экспорт в Markdown для RAGестьнетнетесть
ЛицензияBSD-3BSD-3Apache-2.0Apache-2.0
Что есть «из коробки» по документации проектов

Вывод по таблице простой: если у вас уже есть большой проект на Scrapy, переезд не обязателен — в Scrapling есть декоратор scrapling_response, который позволяет разбирать ответы Scrapy его парсером. Если же задача — быстро собрать данные с защищённого сайта и отдать результат агенту, «всё в одном» экономит несколько дней на склейку библиотек.

04MCP-сервер и Agent Skill: для чего это агенту

В README отдельным блоком описаны AI-функции. MCP-сервер даёт агенту (Claude, Cursor и другим клиентам) возможность делать HTTP-запросы, управлять браузером, снимать скриншоты, сохранять состояние логина и читать ответы API, которые страница дёргает в фоне. Авторы отдельно отмечают защиту от prompt-injection и сокращение объёма контента, который уходит в модель: страница чистится, реклама и трекеры блокируются.

Второй элемент — Agent Skill, готовый набор инструкций, который «учит» coding-агента API библиотеки, чтобы тот не выдумывал методы. Третий — метод page.markdown(), который превращает страницу в чистый Markdown без участия модели, а шаблон ContentSpider умеет обойти весь сайт и собрать корпус для RAG. Для агентных сценариев это самая практичная часть: не нужно писать промежуточный парсер, модель получает уже нормализованный текст.

Про обход защит
Авторы заявляют обход Cloudflare Turnstile и Interstitial «автоматически». Это работает не всегда и не на всех сайтах, а главное — обход технических защит не отменяет правовых ограничений: условия использования сайта, robots.txt и авторские права на данные остаются на вашей стороне. Для сбора чужих данных без разрешения это плохая идея независимо от инструмента.
Кто пишет код: 52 недели коммитов
89%11%963коммитаВладелец репозитория854 · 89%Остальные контрибьюторы109 · 11%

Распределение коммитов важно для оценки риска: 854 из 963 коммитов за последние 52 недели сделал сам владелец репозитория. Это означает высокую скорость развития, но и зависимость от одного человека — типичная картина для молодых open-source проектов. Дата создания репозитория — 13 октября 2024 года, последний пуш — 11 ноября 2026 года, то есть проект живой и обновляется буквально сегодня.

Активность разработки по неделямкоммитов в неделю за 52 недели, GitHub API, снято 11.11.2026
01530456019172533414916322544047411212225184613
Вариант установкиКомандаКогда нужен
Базовыйpip install scraplingHTTP-запросы и парсинг
С браузерамиpip install "scrapling[fetchers]"JS-рендеринг, антибот
Оболочкаpip install "scrapling[shell]"интерактивная отладка
Dockerобраз из релизавоспроизводимая среда со всеми браузерами
Варианты из README и PyPI
Требуется Python 3.10+ (PyPI, версия 0.5.1)

05Минусы и ограничения

  • Молодой проект: репозиторий создан в октябре 2024 года, API ещё меняется между минорными версиями.
  • Почти вся разработка — на одном мейнтейнере (854 из 963 коммитов за год).
  • Браузерные фетчеры тяжёлые: Playwright и Chromium нужно ставить отдельно, образ разрастается.
  • Обещанный обход Cloudflare не универсален: на сложных защитах помогают только платные резидентные прокси.
  • Документация подробная, но часть примеров рассчитана на последнюю версию — старые статьи в сети уже расходятся с API.
  • Юридическая сторона не решается библиотекой: robots.txt и условия сайта остаются на пользователе.

Отдельно про производительность: в README есть собственные замеры скорости извлечения текста и поиска похожих элементов. Это данные авторов, а не независимый бенчмарк, поэтому в таблицы мы их не выносим — проверяйте на своих страницах. Из проверяемого: заявлены 92% покрытия тестами и полные type hints, а сам код проходит PyRight и MyPy при каждом изменении.

Плати по всему миру — карта для оплаты зарубежных нейросетей, приложений и подписок из России
Реклама. ООО «КАПИБАРА», ИНН 9703231520

Частые вопросы

Scrapling бесплатный?
Да. Код распространяется по лицензии BSD-3-Clause, версия 0.5.1 доступна на PyPI. Платить нужно только за инфраструктуру: прокси, серверы и, при желании, платные модели для агентных сценариев.
Чем Scrapling лучше Scrapy?
Он не «лучше», а шире: тот же стиль спайдеров плюс HTTP-фетчер со сменой TLS-отпечатка, stealth-браузер, адаптивные селекторы и MCP-сервер. При этом в Scrapy есть зрелая экосистема плагинов и больше продакшн-историй.
Можно ли использовать Scrapling из Claude или Cursor?
Да, через встроенный MCP-сервер: агент получает инструменты для запросов, управления браузером, скриншотов и чтения фоновых API-ответов. Плюс есть готовый Agent Skill, который объясняет агенту актуальный API библиотеки.
Нужен ли Python 3.10?
Да, по данным PyPI версия 0.5.1 требует Python 3.10 и новее. Для браузерных фетчеров дополнительно ставятся Playwright и Chromium.
Работает ли Scrapling с Cloudflare?
Авторы заявляют обход Turnstile и Interstitial через StealthyFetcher, но на практике это зависит от конфигурации сайта и часто требует резидентных прокси. Рассчитывать на «всегда работает» нельзя.
Как законно собирать данные?
Соблюдать robots.txt и условия использования сайта, не собирать персональные данные без основания, не копировать охраняемый контент целиком. Инструмент этого не решает — ответственность на том, кто запускает сбор.

Источники и официальные ссылки

Вердикт Qantcore
8,1/ 10
Scrapling — редкий случай, когда звезда на GitHub появилась не из маркетинга: библиотека действительно закрывает весь путь от запроса до чистого Markdown, а MCP-сервер и Agent Skill делают её удобной для агентных пайплайнов. Ограничения тоже честные: молодой проект с одним мейнтейнером, тяжёлые браузерные зависимости и не гарантированный обход защит. Для прототипа сбора данных и для агентских сценариев — сильный выбор; для промышленного краулинга на миллионы страниц всё ещё спокойнее Scrapy.
Собрать пайплайн для агента
В каталоге — обзоры Firecrawl, Apify, Tavily и других инструментов сбора данных с ценами и оценками.
Нет зарубежной карты для оплаты?Реклама. ООО «КАПИБАРА», ИНН 9703231520Оформить карту →
Как оплатить AI из России — разбор
Плати по всему миру — карта для оплаты зарубежных нейросетей, приложений и подписок из России
Реклама. ООО «КАПИБАРА», ИНН 9703231520
Оплата AI-сервисов из РоссииКарта РФ, СБП или реселлер — рабочая страница оплаты без VPN
Перейти к оплате →