# === УСТАНОВКА НА macOS (Apple Silicon) ===
# Скачайте .dmg с https://lmstudio.ai/download
# ИЛИ через Homebrew (если доступен cask):
brew install --cask lm-studio

# === УСТАНОВКА НА Windows ===
# Скачайте .exe инсталлятор, запустите от администратора
# Альтернативно — через winget:
winget install LMStudio

# === УСТАНОВКА НА Linux (Ubuntu/Debian) ===
# AppImage — просто сделайте исполняемым:
chmod +x LM_Studio-*.AppImage
./LM_Studio-*.AppImage

# === CLI-УТИЛИТА lms (headless-режим) ===
# Для серверов и CI — установка CLI без GUI:
npm install -g lmstudio-cli
# ИЛИ через pip (Python SDK с CLI):
pip install lmstudio
lms --version
    

# === ЗАГРУЗКА МОДЕЛИ ЧЕРЕЗ CLI (lms) ===
# Поиск модели:
lms search "llama 3.1 8b instruct"

# Скачивание конкретной модели (GGUF):
lms download lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF

# Скачивание с указанием конкретного кванта:
lms download lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf

# Список скачанных моделей:
lms list

# Запуск модели в headless-режиме:
lms load "Meta-Llama-3.1-8B-Instruct"
lms chat "Привет! Напиши функцию quicksort на Python."
    

# === КОНФИГУРАЦИЯ ИНФЕРЕНСА (preset.json для lms) ===
# Файл: ~/.cache/lm-studio/presets/code-assistant.json
{
  "name": "Code Assistant (deterministic)",
  "temperature": 0.1,
  "top_p": 0.95,
  "top_k": 40,
  "repeat_penalty": 1.05,
  "context_length": 32768,
  "max_tokens": 4096,
  "gpu_offload_layers": -1,
  "cpu_threads": 10,
  "seed": 42
}

# Применение пресета:
lms load "Meta-Llama-3.1-8B-Instruct" --preset code-assistant

# === ТЕСТОВЫЙ ИНФЕРЕНС С РАЗНЫМИ TEMPERATURE ===
lms run "Объясни рекурсию простыми словами" --temperature 0.2 --max-tokens 512
    

# === ЗАПУСК API-СЕРВЕРА ===
# Вариант 1: через GUI — вкладка "Developer" → "Start Server"
# Вариант 2: через CLI (headless):
lms server start --model "Meta-Llama-3.1-8B-Instruct" --port 1234

# Проверка, что сервер работает:
curl http://localhost:1234/v1/models

# Ответ будет примерно таким:
{
  "data": [
    {
      "id": "meta-llama-3.1-8b-instruct",
      "object": "model",
      "owned_by": "lmstudio"
    }
  ]
}

# === ТЕСТОВЫЙ ЗАПРОС К API ===
curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama-3.1-8b-instruct",
    "messages": [
      {"role": "user", "content": "Напиши haiku про программирование"}
    ],
    "temperature": 0.7,
    "max_tokens": 200
  }'
    

# === ВАРИАНТ 1: Стандартный openai-пакет ===
# pip install openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio"  # LM Studio не требует ключа, но клиент ожидает
)

response = client.chat.completions.create(
    model="meta-llama-3.1-8b-instruct",
    messages=[
        {"role": "system", "content": "Ты — Senior Python Developer. Отвечай кодом с комментариями."},
        {"role": "user", "content": "Реализуй thread-safe кеш с TTL на Python."}
    ],
    temperature=0.1,
    max_tokens=1024
)

print(response.choices[0].message.content)
# → import threading, time, functools ...

# === ВАРИАНТ 2: Нативный lmstudio Python SDK ===
# pip install lmstudio
import lmstudio

# Асинхронный клиент:
async def main():
    async with lmstudio.AsyncClient() as client:
        model = await client.llm.model("llama-3.1-8b")
        result = await model.respond("Объясни Dependency Injection за 3 предложения.")
        print(result)

# === ВАРИАНТ 3: Чистый requests + стриминг ===
import requests
import json

def stream_chat(prompt: str, temperature: float = 0.7):
    url = "http://localhost:1234/v1/chat/completions"
    payload = {
        "model": "meta-llama-3.1-8b-instruct",
        "messages": [{"role": "user", "content": prompt}],
        "temperature": temperature,
        "stream": True
    }
    with requests.post(url, json=payload, stream=True) as resp:
        for line in resp.iter_lines():
            if line.startswith(b"data: ") and line != b"data: [DONE]":
                chunk = json.loads(line[6:])
                delta = chunk["choices"][0]["delta"]
                if "content" in delta:
                    print(delta["content"], end="", flush=True)

# Вызов:
stream_chat("Расскажи про async/await в Python", temperature=0.3)
    

# === RAG НА ЛОКАЛЬНОМ API: ПОЛНЫЙ ПАЙПЛАЙН ===
# pip install chromadb sentence-transformers openai
import os
from openai import OpenAI
import chromadb
from sentence_transformers import SentenceTransformer

# 1. Инициализация эмбеддера (локальная small-модель)
embedder = SentenceTransformer("intfloat/multilingual-e5-small")

# 2. Создание векторной базы
chroma = chromadb.PersistentClient(path="./chroma_db")
collection = chroma.get_or_create_collection("docs_ru")

# 3. Индексация документов (пример)
documents = [
    "QantCore предоставляет API-доступ к LLM для пользователей из России.",
    "Оплата принимается через криптовалюты и рублёвые карты РФ.",
    "Тарифы: Light ($9/мес), Pro ($39/мес), Enterprise (кастом).",
]
for i, doc in enumerate(documents):
    collection.add(
        ids=[str(i)],
        documents=[doc],
        embeddings=[embedder.encode(doc).tolist()]
    )

# 4. Поиск релевантного контекста
def retrieve(query: str, top_k: int = 2) -> str:
    q_embedding = embedder.encode(query).tolist()
    results = collection.query(query_embeddings=[q_embedding], n_results=top_k)
    return "\n".join(results["documents"][0])

# 5. Локальный LLM-клиент
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

def rag_chat(question: str) -> str:
    context = retrieve(question)
    response = client.chat.completions.create(
        model="meta-llama-3.1-8b-instruct",
        messages=[
            {"role": "system", "content": f"Используй контекст для ответа:\n{context}"},
            {"role": "user", "content": question}
        ],
        temperature=0.2,
        max_tokens=256
    )
    return response.choices[0].message.content

# 6. Тест
print(rag_chat("Какие тарифы у QantCore?"))
# → "Тарифы QantCore: Light ($9/мес), Pro ($39/мес), Enterprise (кастом)."
    

# === BIONIC: ЗАПУСК ЧЕРЕЗ CLI ===
# Установка Bionic (отдельное приложение):
# Скачайте с https://lmstudio.ai/download → Bionic

# ИЛИ запустите bionic через lms CLI:
lms bionic start --model "deepseek-v3"

# === BIONIC В ДЕЙСТВИИ: СОЗДАНИЕ ДОКУМЕНТА ===
# Bionic prompt (в GUI или CLI):
lms bionic run "Создай PDF-отчёт по анализу рынка AI в России 2026. 
Включи разделы: Объём рынка, Ключевые игроки, Регуляторика, Прогнозы.
Используй данные из прикреплённого файла market_data.csv."

# === BIONIC + MCP СЕРВЕРЫ ===
# Bionic поддерживает MCP-серверы для расширения возможностей:
# - filesystem: чтение/запись файлов
# - github: управление репозиториями
# - postgres: запросы к БД
# Установка MCP-сервера в GUI: Settings → Plugins → MCP → Add Server
    

# === CLAUDE CODE (локальная модель) ===
# ~/.claude/config.json:
{
  "api": {
    "provider": "openai_compatible",
    "base_url": "http://localhost:1234/v1",
    "api_key": "lm-studio",
    "model": "meta-llama-3.1-8b-instruct"
  }
}

# === CODEX CLI (OpenAI Codex) ===
# ~/.codex/config.toml:
[model]
provider = "openai_compatible"
base_url = "http://localhost:1234/v1"
api_key = "lm-studio"
model = "qwen2.5-coder-7b"

# === OPENWEBUI / ANYTHING LLM ===
# Docker-образ Open WebUI с подключением к LM Studio:
docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL=http://host.docker.internal:1234/v1 \
  -e OPENAI_API_KEY=lm-studio \
  ghcr.io/open-webui/open-webui:main
    

❌ Модель не загружается: «Failed to load model»

Причина: недостаточно RAM/VRAM или несовместимый формат файла.
Решение: выберите квантование с меньшим размером (Q4_K_M вместо Q8_0), уменьшите context_length до 4096 или закройте другие приложения. Убедитесь, что файл имеет расширение .gguf.

❌ Медленный инференс (1–2 tok/s на мощном GPU)

Причина: модель полностью на CPU, GPU offload не настроен.
Решение: в настройках модели передвиньте ползунок «GPU Offload» до максимума или установите "gpu_offload_layers": -1 в конфиге (все слои на GPU). На Apple Silicon включите MLX-рантайм: Settings → Runtime → MLX.

❌ API-сервер не отвечает (connection refused)

Причина: сервер не запущен или порт занят.
Решение: проверьте статус: curl http://localhost:1234/v1/models. Запустите сервер через GUI (Developer → Start Server) или CLI: lms server start. Если порт 1234 занят — укажите другой: lms server start --port 8080.

❌ Модель выдаёт бред / повторяется

Причина: слишком высокая temperature или неподходящий repeat_penalty.
Решение: для кода: temperature=0.1, repeat_penalty=1.0. Для общения: temperature=0.7, repeat_penalty=1.05. Используйте top_p=0.9 вместо top_k. Если модель всё равно «зацикливается», уменьшите context_length.

❌ Не скачиваются модели (HuggingFace недоступен)

Актуально для РФ: HuggingFace блокируется РКН. Решения: (1) включить VPN на время загрузки модели, (2) использовать зеркало hf-mirror.com (настройка в Settings → Network → HF Mirror), (3) приобрести прокси-доступ через qantcore.space/oplata/, который предоставляет стабильный канал для загрузки моделей и API-доступа из России.