Басты бет/Жүйелер мен тәжірибе

Жүйелер мен тәжірибе

Пайдалануға дейін жеткізілген жүйелер, нақты атрибуциясымен: «Лань» ЭКЖ-да жалданып жасалғаны мен меншікті әзірлеме бөлек көрсетілген. Сандар дереккөзі мен өлшеу шарттарымен бірге келтіріледі.

Негізін қалаушының «Лань» ЭКЖ-дағы тәжірибесі (2024 — қазіргі уақыт)

Білім беру платформасының AI-сервистерінің backend және инфрақұрылымдық іске асырылуы: архитектура, әзірлеу, интеграция, өрістету, мониторинг және production support. Стек: FastAPI, Python 3.12+, GPU-кластердегі Kubernetes, Elasticsearch, RabbitMQ, Redis, vLLM, Prometheus.

production · пилот қорытындылары жарияланды

LanGPT — академиялық міндеттерге арналған RAG/LLM-ассистент

«Лань» ЭКЖ платформасына интеграцияланған ассистент: гипотезаларды тұжырымдау, әдіснаманы таңдау, рефераттау, дәйексөз келтірілген бөлімдер, академиялық контентті тексеру. Компанияға баспалармен серіктестік келісімдер бойынша қолжетімді ЭКЖ каталогындағы тексерілген дереккөздер бойынша сыртқы интернетке жүгінбей жауап береді.

менің жауапкершілік аймағым

  • жария API: JWT-сессиялар, тарифтік жоспарлар бойынша rate limiting, SSE-стриминг, тапсырмаларды кезекке қою
  • Elasticsearch үстіндегі RAG-сервис және сұрауларды модерациялайтын, ғылыми жазуға арналған ондан астам құралдан тұратын pipeline
  • LLM-бэкендтер теңгергіші: серверлердің динамикалық тізілімі, басымдығы бар least-loaded / least-connections, fallback, OpenAI-үйлесімді адаптерлер
  • бақыланымдылық: Prometheus, Grafana, құрылымдалған логтар және Elasticsearch-тегі аналитика
  • GPU-инфрақұрылымындағы Kubernetes-ке Helm арқылы өрістету

нәтиже

«Лань» 2026 жылғы 17 сәуірде жариялаған пилот қорытындысы бойынша: 20 ЖОО, 6,5 мың пайдаланушы, 37 мыңнан астам сұрау. Жария дереккөз.

Сандар жеке үлесті емес, өнімнің ауқымын растайды; рөл мен жауапкершілік аймағын ресми сұрау бойынша жұмыс беруші растай алады.

Python · FastAPI · PostgreSQL · MySQL · RabbitMQ · Redis · Elasticsearch · vLLM · Prometheus · Grafana · Kubernetes · Helm · GitLab CI

production · жүктемелік тест

AI-Snippets — іздеу нәтижелерінің үстіндегі жауаптар

Сервис іздеу нәтижелерінің үстінде дереккөз маркерлері бар қысқа сниппет-жауапты көрсетеді. Бірдеңе істен шықса, сниппет жай ғана пайда болмайды — іздеу мен нәтижелер әдеттегідей жұмыс істейді.

шешім

  • pipeline: екі деңгейлі кэш (exact + semantic) → сұрауды жіктеу → кеңейту → Elasticsearch бойынша multi-source іздеу → BM25 + RRF контекст жинау → vLLM-де генерациялау → quality gate
  • Redis арқылы polling, distributed semantic-кэш, circuit breaker, graceful degradation
  • нақты сервер конфигурациясындағы өнімділік үшін vLLM параметрлерін тюнингтеу

өлшеу

13,2 сағүздіксіз жүктеме
55 200сұрау
0инфрақұрылымдық қате (құлау және 5xx)
87,3 %quality gate-тен өтті; қалғандары — сыртқа қате шығармайтын штаттық деградация
4,6 слатенттілік медианасы, мақсатты мән 5 с

Бір GPU-сервер конфигурациясындағы жүктемелік тест туралы ішкі есеп бойынша. Инфрақұрылымдық сенімділік пен жауаптар сапасы бөлек өлшенді; латенттілік медианасы мақсатты мәннің барлық сұрауларда сақталатынын білдірмейді.

Python · FastAPI · RabbitMQ · Redis · Elasticsearch · vLLM · sentence-transformers · Prometheus

Books Keywords Generator — каталогты байыту

Мазмұн бойынша кітаптарға кілтсөздерді екі кезеңде LLM арқылы генерациялау: бірінші модель үміткерлерді құрайды, екіншісі оларды тілі, ұзындығы, бірегейлігі және мағыналылығы бойынша валидациялайды. Контекст ұзындығын динамикалық басқару, GPU-ды қорғау үшін параллелизмді шектеу, Elasticsearch-тегі құрылымдалған JSON-логтар; мазмұны сапасыз кітаптар үшін генерация іске қосылмайды. Нәтижелер MARC-жазбаларда және іздеуде қолданылады.

Python · MySQL · vLLM · Elasticsearch · Docker

Меншікті әзірлемелер

Жұмыс уақытынан тыс және жұмыс берушінің ресурстарынсыз GitHub-тағы anchor-inference ұйымы атынан жүргізіледі. Protocore ашық ядросы — Anchor Inference құратын агенттік жүйелердің негізі.

меншікті әзірлеме · founder / solo developer · beta

Protocore — AI-агенттердің self-hosted платформасы

Деректерді сыртқы SaaS-қа бере алмайтын ұйымдарға арналған AI-агенттерді оркестрациялау платформасы: банктер, мемлекеттік сектор, білім беру, өнеркәсіп. Деректерді беруді талап ететін бұлттық AI-сервистер мен өнімді өз бетінше құрастыруға тура келетін фреймворктер арасындағы олқылықты жабады. Тапсырыс берушінің инфрақұрылымында өрістетіледі; vLLM, Ollama және OpenAI-үйлесімді провайдерлерді қолдайды.

runtime және оркестрация

  • токендер, итерациялар және құрал шақырулары бойынша шектеулері бар агент жұмысының циклі
  • multi-agent оркестрация: subagent стратегиялары, құрылымдалған handoff, ұзақ сессиялар үшін контекстті сығу
  • skills және plan tracking; capability-саясаттары және қауіпті операцияларды көпсатылы растауы бар tool sandbox
  • типтелген контрактілер, hooks және орындау стратегиялары арқылы кеңейту; ядро адаптерлерге байланбаған

enterprise backend және қауіпсіздік

  • SSE-стримингі бар FastAPI HTTP API, scope-aware control plane және операциялық панель
  • алты scoped-рөлі бар RBAC; квоталары, rate limits және бұзушылық саясаттары бар қолжетімділік жоспарлары
  • health monitoring, retry, circuit breaker және квоталары бар LLM routing; PostgreSQL-дегі publish / rollback мүмкіндігі бар нұсқаланатын control plane
  • басымдықтары мен dead-letter бар RabbitMQ, retention бар runs / traces / logs үшін OpenSearch; leader election бар autonomous worker

платформа архитектурасы

frontendsprotocore-chat · protocore-dashboard — чат және әкімшілік панелі
supportingқұралдарға арналған sandbox · embeddings · autonomous worker
enterpriseFastAPI · control plane · LLM routing · RBAC · қолжетімділік жоспарлары
core runtimeprotocore — контрактілер, orchestration loop, hooks, safety, observability · ашық ядро, MPL-2.0
deployHelm-чарттар · орта профильдері · CI/CD — release-шекара
тәуелділіктер: frontends және supporting → enterprise → core

мәртебе

Ашық ядро MPL-2.0 бойынша жарияланған: орнату нұсқаулығы мен өзекті алдын ала нұсқа — protocore-community репозиторийінде, CI-дағы тесттер мен тексерулермен бірге. Платформалық қабат жабық және тапсырыс берушіде өрістетіледі. Сатысы — beta; енгізу құрамы мен лицензиялау шарттары жеке талқыланады.

стек

Python 3.12 · FastAPI · Next.js 15 · React 19 · PostgreSQL · Valkey (Redis) · RabbitMQ · OpenSearch · Helm · Kubernetes · Harbor · GitLab CI

Protocore өнімінің сайты

ашық жоба · MIT

Daedalus — жеке AI-агент

macOS, Windows және Linux жүйелерінде өз терезесі бар жеке агент, Docker-мен де, онсыз да жұмыс істейді; серверде оған телефоннан, қаласаңыз Telegram арқылы да қол жеткізуге болады. Әр жобада агенттер командасы жұмыс істейді — Daedalus агенттері немесе Claude Code және Codex сияқты консольдік агенттер; адамға арналған сұрақтар жиналып, бірден келеді. Әр құрал шақыруы саясаттан өтеді: рұқсат беру, сұрау немесе тыйым салу. Күндік шығын шегі агенттің қолы жетпейтін жерде белгіленеді. Protocore ядросының эксперименттік тармағы — protocore-exp негізінде жұмыс істейді.

Өз кодына өзгерістер режимге байланысты: серверде — сіз мақұлдайтын pull request, компьютерде — тексерістерден кейін қайта іске қосқанда қолданылады; өзін-өзі дамытуды өшіруге болады. Модель мен кілт — сіздікі. Бұл Protocore корпоративтік платформасы емес, өз бетінше пайдалануға арналған ашық жоба. «Доска задач» фильмі (Corridor H8, 2:57) Daedalus сайтында және YouTube-та.

Daedalus сайты · «Доска задач» фильмі · Бастапқы код

swiftclf-tuna — екі тілді intent-жіктеу

AI-ассистенттерді маршруттауға арналған ниеттерді иерархиялық жіктеу (RU/EN): retrieval, генерация, құралдар, агент, нақтылау немесе fallback. Human-in-the-loop валидациясы бар AI-orchestrated research ретінде орындалған; CPU-first inference. Әдістеме мен метрикалар — инженерлік материалдарда.

github.com/ascorblack/swiftclf-tuna-research