Тихонов Александр Станиславович

AI Systems Engineer · LLM Agent Architect

Астана, Казахстан GitHub: github.com/ascorblack Telegram: @notsoulmate Email: ascorblack@gmail.com · a@scorblack.ru Protocore: protocore.ascorblack.ru

Профессиональный профиль

AI Systems Engineer / LLM Agent Architect с двумя с половиной годами коммерческого production-опыта в LLM/RAG-системах, backend-инфраструктуре для AI, семантическом поиске, рекомендательных системах, локальном LLM inference и оркестрации агентов.

С 9 января 2024 года работаю в ООО «ЭБС ЛАНЬ» по официальному трудовому договору (должность по договору — ML-инженер; фактическая роль — AI Systems Engineer / LLM Agent Architect). Отвечаю за backend и инфраструктурную реализацию ключевых AI-сервисов компании: архитектура, разработка, интеграция, деплой, мониторинг и production support образовательных AI-продуктов.

Профильная сильная сторона — инженерия production-систем вокруг LLM, а не generic-обучение моделей: проектирование сервисов, RAG/backend-архитектура, интеграции, устойчивость, наблюдаемость и эксплуатация AI в реальной инфраструктуре под жёсткими ограничениями по latency и cost.

Опыт работы

ООО «ЭБС ЛАНЬ»

ML-инженер (по договору) · AI Systems Engineer / LLM Agent Architect (фактическая роль) Январь 2024 — настоящее время

Отвечаю за backend и инфраструктурную реализацию ключевых AI-сервисов компании: архитектура, разработка, интеграция, деплой, мониторинг и production support.

LanGPT — production RAG/LLM-ассистент для академических задач

Реализовал backend-часть продукта: публичный API, RAG-сервис, балансировщик LLM-бэкендов и компоненты администрирования; участвую в их развёртывании и сопровождении в Kubernetes.
Публичный API с JWT-аутентификацией, rate limiting по тарифным планам и SSE-стримингом ответов; задачи генерации идут через RabbitMQ.
RAG-сервис поверх Elasticsearch для работы с верифицированным учебным и научным контентом ЭБС, доступным компании по партнёрским соглашениям с издательствами, без обращения к внешнему интернету.
Балансировщик LLM-бэкендов с динамическим реестром серверов, выбором least-loaded / least-connections с приоритетом, fallback'ом и OpenAI-совместимыми адаптерами.
Pipeline AI-обработки покрывает более десяти задач научного письма: формулировка гипотез, реферирование, написание разделов с цитированием, проверка контента и другие; включает контентную модерацию пользовательских запросов.
Production-мониторинг на Prometheus, Grafana и Elasticsearch.
Сервис проходит пилотирование в 20 российских вузах; по публичным материалам компании — более 37 000 запросов и 6,5 тыс. активных пользователей за период тестирования. Роль и зона ответственности могут быть подтверждены работодателем по официальному запросу.

AI-Snippets — генерация поисковых сниппетов над выдачей ЭБС

Pipeline: проверка двухуровневого кэша (exact + semantic), классификация запроса, расширение запроса, multi-source поиск по Elasticsearch, сборка контекста (BM25 + RRF) и генерация на vLLM с финальным quality gate.
Polling-схема через Redis, circuit breaker и graceful degradation: при любой проблеме сниппет просто не показывается, без ошибки наружу.
Стресс-тест на целевом GPU-железе: 13,2 часа, 55 200 запросов, ноль инфраструктурных ошибок (сервис не падал и не возвращал 5xx); OK-rate quality gate — 87,3%; медиана клиентской латентности 4,6 секунды при SLA в 5.
Серьёзный тюнинг параметров vLLM под производительность сниппетов на конкретной конфигурации сервера.

Books Keywords Generator — автоматическое обогащение каталога

Двухэтапная LLM-генерация ключевых слов для книг ЭБС на основе оглавления — сначала генерация, затем валидация отдельным промптом с проверкой языка, длины, уникальности и осмысленности.
Динамическое управление длиной контекста, параллельная обработка с защитой GPU от перегрузки.
Структурированные JSON-логи в Elasticsearch для централизованного мониторинга качества генерации.

Поиск 2.0 — поисковая платформа ЭБС

Платформа из нескольких production-сервисов: основной поисковый API, классификатор области знаний и автора, векторизатор с кэшированием, spell-checker и поиск по образовательному видео.
Гибрид BM25 и векторного поиска поверх Elasticsearch с собственной системой коэффициентов и бустами по релевантности и году издания.
Все ML-компоненты спроектированы CPU-only — без зависимости от GPU и с жёсткими ограничениями по ресурсам.

Независимые проекты

Protocore — protocore.ascorblack.ru

Self-hosted / on-premise multi-agent платформа для организаций с требованиями data sovereignty и собственной AI-инфраструктуры. Роль — founder / solo developer: спроектировал и реализовал core runtime, enterprise backend, sandbox, chat и admin frontend-приложения, Helm / Kubernetes deployment.

Независимый продукт под организацией ascorblack-labs; LanAgent для ЭБС ЛАНЬ — первый интеграционный трек по лицензионной модели.
Protocol-first архитектура: orchestration runtime расширяется через типизированные контракты, hooks и execution strategies; subagent-оркестрация и контекстная компрессия для длинных сессий.
Enterprise-обвязка: REST API с SSE-streaming, RBAC, access plans с квотами и audit, sandboxed tool execution (gVisor), observability и autonomous worker для фоновых задач.
Стек — FastAPI, Next.js 15, PostgreSQL, Valkey (Redis), RabbitMQ, OpenSearch, Helm / Kubernetes; вся инфраструктура собственная: GitLab, Harbor, k3s.
Зрелость: 7 500+ тестов в core- и enterprise-пакетах, 96,01% coverage в core, 84,07% в enterprise; ruff / mypy / bandit / pip-audit чистые; beta-стадия.

swiftclf-tuna — github.com/ascorblack/swiftclf-tuna-research

AI-orchestrated research artifact: двуязычная (RU/EN) иерархическая классификация intents для маршрутизации AI-ассистентов. Моя роль — постановка задачи, дизайн таксономии и критериев оценки, направление agentic workflow и human-in-the-loop валидация результатов.

Таксономия 4 L1 / 22 L2 классов; воспроизводимый holdout-сет 2 625 примеров; метрики используются как проверяемый прикладной результат, а не SOTA claim.
Selective prediction с fallback-веткой и risk-aware метриками; калибровка вероятностей до ECE 0.061; coverage @ risk ≤ 0.14 — 87,24%; accepted accuracy 87,07%.
CPU-first деплой: 278M параметров, p95 77 ms на одном CPU-ядре; артефакты включают model cards, training / eval pipelines и holdout-отчёты.

Open source: инструменты для AI-агентов

ai-audit-kit — переносимый .audit-стандарт: воспроизводимый pipeline AI-аудита кода (audit → triage → fix → review).
notify-telegram-cli — Telegram-уведомления от автономных агентов; чистая стандартная библиотека, ноль зависимостей.
kb-genesis — бутстрап баз знаний .kb/ для агентных сред.
LightUniLLM — лёгкий фреймворк для LLM поверх OpenAI Responses API: Pydantic, structured outputs, стриминг.

Технологический стек

LLM & AI Systems

LLM-сервисы, RAG, agent orchestration
Локальный LLM inference, vLLM tuning (max-num-seqs, KV-cache optimization, prefix-aware prompt design, speculative decoding experiments)
OpenAI-совместимые адаптеры, динамический реестр LLM-провайдеров
Prompt & runtime design, tool routing
Selective prediction, calibration, quality gates (LLM-based content moderation, logprobs-based confidence scoring)

Backend

Python, FastAPI, async-сервисы
SSE streaming, JWT, REST API
Async API patterns: task queues с приоритизацией, SSE-streaming с восстановлением сессии (Redis Pub/Sub + TTL-кэш), graceful degradation
Микросервисы, фоновые воркеры, поточная обработка, pipeline-архитектура

Data & Search

Elasticsearch: BM25, dense vector search (kNN), гибридные комбинации с RRF
Semantic reranking, RRF-фьюжн
sentence-transformers, multilingual encoders
Рекомендательные системы, semantic profiling

Infrastructure & Ops

Docker, Nginx, Kubernetes / Helm deployment, gVisor
Redis (pub/sub, кэш, rate limit), RabbitMQ
PostgreSQL, MariaDB / MySQL
Prometheus, Grafana, structured logging, OTLP
Self-hosted развёртывание: GitLab CI, Harbor, k3s
Latency- и cost-aware дизайн, наблюдаемость и отлаживаемость в проде

AI-Orchestrated Research

Постановка задач, дизайн методологии и валидация результатов для автономных AI-agent workflows
Human-in-the-loop review, validation, counter-review
Model cards, holdout-оценки, risk-aware отчёты
Негативные результаты как часть исследовательского процесса

Языки

Русский — родной
Английский — technical reading / listening; письменная и устная коммуникация — в развитии