import anthropic
import pdfplumber

# 1. Извлекаем текст из PDF (без чанкинга)
def extract_full_text(pdf_path: str) -> str:
    with pdfplumber.open(pdf_path) as pdf:
        return "\n".join(p.extract_text() for p in pdf.pages)

# 2. Прямой промпт — весь документ целиком
client = anthropic.Anthropic()
text = extract_full_text("contract_150pg.pdf")

resp = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=4096,
    system="Ты — юридический AI-ассистент. Анализируй контракты.",
    messages=[{"role": "user", "content": f"Найди рисковые пункты:\n\n{text}"}]
)

print(resp.content[0].text)
# ✓ Плюс: 12 строк кода
# ✗ Минус: $2.80/документ, потеря контекста на стр. 75–85

from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.core.node_parser import SentenceSplitter
from llama_index.llms.anthropic import Anthropic
from llama_index.vector_stores.qdrant import QdrantVectorStore
import qdrant_client

# 1. Загружаем документы (PDF, DOCX, TXT — автоматически)
docs = SimpleDirectoryReader("./contracts/").load_data()

# 2. Семантический чанкинг: 512 токенов, overlap 64
splitter = SentenceSplitter(
    chunk_size=512,
    chunk_overlap=64,
    paragraph_separator="\n\n"
)
nodes = splitter.get_nodes_from_documents(docs)

# 3. Эмбеддинги → Qdrant (векторное хранилище)
client = qdrant_client.QdrantClient(host="localhost", port=6333)
store = QdrantVectorStore(client=client, collection_name="contracts")
index = VectorStoreIndex(nodes, vector_store=store)

# 4. Поиск: топ-5 релевантных чанков → LLM-генерация
llm = Anthropic(model="claude-sonnet-4-20250514")
engine = index.as_query_engine(llm=llm, similarity_top_k=5)

resp = engine.query("Какие штрафные санкции за просрочку поставки?")
print(resp.response)
# → «Пункт 7.3: пеня 0.1% от суммы договора за каждый день просрочки»
# Стоимость: $0.04/запрос (вместо $2.80 на прямом LLM)

from crewai import Agent, Task, Crew, Process
from unstructured.partition.auto import partition
import json

# ═══ Агент 1: Парсер документов ═══
parser = Agent(
    role="Document Parser",
    goal="Извлечь структурированный текст из PDF/DOCX/сканов",
    backstory="Эксперт по Unstructured.io с 5-летним опытом",
    tools=[partition],
    llm="claude-haiku-4-20250514"  # дешёвая модель
)

# ═══ Агент 2: Извлечение сущностей ═══
extractor = Agent(
    role="Entity Extractor",
    goal="Извлечь стороны, суммы, даты, обязательства",
    backstory="NER-специалист для юридических документов",
    llm="claude-sonnet-4-20250514"
)

# ═══ Агент 3: Юридический анализ ═══
legal = Agent(
    role="Legal Risk Analyst",
    goal="Выявить рисковые пункты и несоответствия законодательству",
    backstory="Корпоративный юрист, специализация: договорное право РФ",
    llm="claude-sonnet-4-20250514"
)

# ═══ Агент 4: Агрегатор ═══
aggregator = Agent(
    role="Report Composer",
    goal="Собрать результаты в структурированный JSON-отчёт",
    backstory="Data analyst, специализация: дашборды для C-level",
    llm="claude-haiku-4-20250514"
)

# ═══ Задачи ═══
parse_task = Task(description="Распарсить contract.pdf", agent=parser,
                  expected_output="Полный текст документа с метаданными")
extract_task = Task(description="Извлечь ключевые сущности", agent=extractor,
                    expected_output="JSON: стороны, суммы, даты")
legal_task = Task(description="Проверить риски для заказчика", agent=legal,
                  expected_output="Список рисков с уровнями critical/high/medium")
report_task = Task(description="Собрать итоговый отчёт", agent=aggregator,
                   expected_output="JSON-отчёт для C-level")

# ═══ Crew: запуск цепочки ═══
crew = Crew(
    agents=[parser, extractor, legal, aggregator],
    tasks=[parse_task, extract_task, legal_task, report_task],
    process=Process.sequential,
    verbose=True
)

result = crew.kickoff()
print(json.dumps(result, indent=2, ensure_ascii=False))
# Точность: 93% (против 85% у RAG на том же датасете)
# Стоимость: $0.18/документ (4 модели, но Haiku дёшев)

from llama_index.core import VectorStoreIndex, Settings
from crewai import Agent, Task, Crew
from pydantic import BaseModel

# ─── Шаг 1: RAG-поиск ───
class ContractAnalysis(BaseModel):
    parties: list[str]
    amount: float | None
    risks: list[dict]
    confidence: float  # 0.0 – 1.0

index = VectorStoreIndex.from_documents(docs)  # предзагруженный индекс
retriever = index.as_retriever(similarity_top_k=10)

def hybrid_analyze(query: str) -> ContractAnalysis:
    # RAG: достаём top-10 чанков
    nodes = retriever.retrieve(query)
    context = "\n---\n".join(n.text for n in nodes)

    # ─── Шаг 2: Агентная валидация ───
    validator = Agent(
        role="Validator",
        goal="Проверить: весь ли контекст учтён? Нет ли противоречий?",
        llm="claude-sonnet-4-20250514"
    )
    task = Task(
        description=f"Проанализируй: {query}\n\nКонтекст:\n{context}",
        agent=validator,
        expected_output="JSON: ContractAnalysis"
    )
    result = Crew(agents=[validator], tasks=[task]).kickoff()
    return ContractAnalysis.model_validate_json(result)

analysis = hybrid_analyze("Обязательства подрядчика по срокам и штрафам")
print(f"Confidence: {analysis.confidence:.0%}")
# → Confidence: 94% (RAG 85% + валидация добавила +9%)
# Стоимость: $0.09/запрос

#!/usr/bin/env python3
"""Production document analysis pipeline — Qantcore 2026"""
from pathlib import Path
from unstructured.partition.auto import partition
from llama_index.core import (
    Document, VectorStoreIndex, Settings, StorageContext
)
from llama_index.llms.anthropic import Anthropic
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.vector_stores.qdrant import QdrantVectorStore
from llama_index.core.node_parser import SentenceSplitter
import qdrant_client, json, hashlib

# ═══ Конфигурация ═══
Settings.llm = Anthropic(model="claude-sonnet-4-20250514", temperature=0.1)
Settings.embed_model = OpenAIEmbedding(model="text-embedding-3-large")
Settings.chunk_size = 512
Settings.chunk_overlap = 64

class DocAnalyzer:
    """Гибридный анализатор: Unstructured → LlamaIndex → Claude"""

    def __init__(self, qdrant_url="http://localhost:6333"):
        self.qdrant = qdrant_client.QdrantClient(url=qdrant_url)
        self.store = QdrantVectorStore(
            client=self.qdrant, collection_name="documents_v2"
        )
        self.splitter = SentenceSplitter(
            chunk_size=512, chunk_overlap=64,
            paragraph_separator="\n\n"
        )

    def ingest(self, file_path: str) -> str:
        """Загрузка одного документа: парсинг → чанкинг → индексация"""
        # Unstructured.io: автоматический парсинг любого формата
        elements = partition(filename=file_path)
        text = "\n".join(e.text for e in elements if e.text)

        # Хеш для дедупликации
        doc_id = hashlib.sha256(text.encode()).hexdigest()[:16]

        # LlamaIndex: чанкинг + эмбеддинги
        doc = Document(text=text, doc_id=doc_id,
                       metadata={"source": Path(file_path).name})
        nodes = self.splitter.get_nodes_from_documents([doc])

        # Сохраняем в Qdrant
        idx = VectorStoreIndex(nodes, vector_store=self.store)
        return doc_id

    def query(self, question: str, top_k=5) -> dict:
        """Поиск + генерация ответа с цитированием"""
        idx = VectorStoreIndex.from_vector_store(self.store)
        engine = idx.as_query_engine(
            llm=Settings.llm, similarity_top_k=top_k,
            response_mode="compact"
        )
        resp = engine.query(question)

        # Извлекаем source nodes для цитирования
        sources = [
            {"text": n.text[:200], "score": round(n.score, 3)}
            for n in resp.source_nodes
        ]
        return {"answer": resp.response, "sources": sources}


# ═══ Использование ═══
if __name__ == "__main__":
    analyzer = DocAnalyzer()

    # Загрузка документов (все форматы — автоматически)
    for f in Path("./docs/").glob("*"):
        doc_id = analyzer.ingest(str(f))
        print(f"✓ {f.name} → {doc_id}")

    # Запрос
    result = analyzer.query("Сроки поставки и штрафы за срыв")
    print(json.dumps(result, indent=2, ensure_ascii=False))
    # Вывод:
    # {
    #   "answer": "Согласно п. 4.2, поставка — 30 календарных дней.
    #             Штраф: 0.1% от суммы за день просрочки (п. 7.3)...",
    #   "sources": [{"text": "4.2. Поставщик обязуется...", "score": 0.942}, ...]
    # }

Рекомендация Qantcore: Начните с RAG на LlamaIndex. Это решает 80% задач с минимальными затратами. Когда объём документов превысит 1,000/мес — мигрируйте на гибридный подход: добавьте агентный слой валидации поверх существующего RAG-индекса. Миграция занимает ~2 дня и не требует перестройки всего пайплайна. Multi-Agent на CrewAI внедряйте только если цена ошибки анализа превышает $10,000 — например, в legal-tech продуктах дляdue diligence.

Главный инсайт нашего бенчмарка: не существует одного «правильного» подхода. Архитектура должна соответствовать constraints вашего бизнеса — бюджету, объёму документов, допустимой цене ошибки и доступным инженерным ресурсам. Выбирайте осознанно.

Больше гайдов по AI-анализу документов и обзоров AI-инструментов — в каталоге AI-агентов Qantcore. Сравнение цен на AI-модели: тарифы и стоимость AI API.