Басты бет/Қызметтер

Төрт бағыт, бір жауапкершілік шекарасы

Әр бағыт бірдей сипатталған: жұмысқа не кіреді, сізден не қажет, нәтижесінде не аласыз және шекара қайдан өтеді. Бір жүйеде бағыттар үйлеседі: агент retrieval-ға сүйенеді, self-hosted inference-те жұмыс істейді және evals арқылы өлшенеді.

01 / orchestrate

Агенттік жүйелер

Тапсырыс беруші жүйелерінде жұмыс істеуге арналған, құралдары мен құқықтары шектелген және растау нүктелері бар агент.

Не кіреді

  • Protocore runtime-ындағы оркестрация: «ойлау — әрекет» циклі, қадамдар арасындағы күй, ақаудан кейін қалпына келу
  • құрал контрактілері: нені және қандай құқықтармен шақыруға болады
  • тәуекелді әрекеттерді адамның растауы
  • құралдарды оқшаулау, кіріс пен шығысты тексеру, барлық әрекеттер журналы

Сізден не қажет

процестердің сипаттамасы, агент жұмыс істейтін жүйелерге қолжетімділік және ережелерге жауапты адам

Нәтиже

сипатталған контрактілері, әрекеттер журналы, растау нүктелері және қабылдау сценарийлері бар агент

Жауапкершілік шекарасы

сипатталған сценарийлердегі агенттің мінез-құлқы — Anchor Inference; бизнес ережелері мен қолжетімділік құқықтары — тапсырыс беруші

02 / retrieve

RAG және семантикалық іздеу

Тапсырыс беруші құжаттары бойынша сапасы өлшенген іздеу: гибридті іздеу мен реранкинг сұраққа жауап беретін фрагменттерді іріктейді.

Не кіреді

  • корпусты дайындау: мәтіндік құжаттар (PDF, DOCX, HTML, Markdown); сканерленген құжаттар мен күрделі беттеу — OCR-ды жеке бағалау
  • эмбеддингтер мен индекс контур ішінде; RRF арқылы біріктірілетін BM25 + kNN
  • реранкинг және шуды сүзу
  • регрессиялық жинақта retrieval сапасын бағалау

Сізден не қажет

құжаттар корпусы және күтілетін жауаптары бар бірнеше ондаған сұрақ; қай жауаптың дұрыс екенін айта алатын сарапшы

Нәтиже

сапасы өлшенген іздеу контуры, регрессиялық жинақ және корпусты қалай жаңарту керектігі туралы сипаттама

Жауапкершілік шекарасы

сапа келісілген жинақта өлшенеді — бірлесіп; деректер мен индекс тапсырыс берушіде қалады

03 / serve

Self-hosted inference

Тапсырыс беруші жабдығындағы ашық модельдер vLLM және Kubernetes арқылы; қажет болса — келісілген ережелер бойынша сыртқы API-мен гибрид.

Не кіреді

  • Kubernetes-тегі немесе бөлінген серверлердегі vLLM
  • міндет пен жабдыққа сай ашық модельдерді таңдау
  • өнімділік және құн: батчинг, кванттау, контекст өлшемі
  • мониторинг, алерттер және пайдалану жөніндегі құжат

Сізден не қажет

кластерге немесе GPU бар серверлерге қолжетімділік, қауіпсіздік пен желі жөніндегі талаптар, күтілетін жүктеме

Нәтиже

мониторингі, пайдалану жөніндегі құжаты және өнімділік өлшемдері бар жұмыс істейтін inference-сервис

Жауапкершілік шекарасы

баптау және тапсыру — Anchor Inference; жабдық, желі және қолжетімділік — тапсырыс беруші

04 / verify

Evals және бақыланымдылық

Модель, промпт немесе индекс ауысқаннан кейін жағдай жақсарғанын көрсететін өлшем.

Не кіреді

  • тапсырыс беруші деректеріндегі регрессиялық жинақтар
  • адамдар таңдамалы тексеретін LLM-төреші
  • сапа метрикалары және командаға арналған панель
  • production-да: қателер, латенттілік, quality gate іске қосылу үлесі; әр өзгеріс сайын іске қосу

Сізден не қажет

жүйе логтарына қолжетімділік, пәндік сала сарапшысының таңбалауға қатысуы, жақсы жауаптың критерийлері

Нәтиже

сапа панелі, әр өзгеріс сайынғы регрессиялық іске қосулар, есептер және жақсарту жоспары

Жауапкершілік шекарасы

өлшеу — Anchor Inference; шығару туралы шешім — тапсырыс беруші командасы

ЖИ жұмысқа ашық қатысады: ол қызметтердің мәні әрі әзірлеу құралы, нәтижелерді инженер тексереді. Толығырақ — мына бөлімде: «Жасанды интеллектті пайдалану».

Стек: Python, asyncio, FastAPI, PostgreSQL, Elasticsearch/OpenSearch, vLLM, Kubernetes, Helm. Құны міндетті талдағаннан кейін бағаланады (1-кезең): сіз жазбаша сипаттама, архитектура және мерзімдерді бағалауды аласыз.

Жүйе модель жауабымен аяқталмайды

Төрт кезең. Әрқайсысының жазбаша нәтижесі мен қабылдау критерийі бар; жұмыс модельдің алғашқы жауабынан кейін де жалғасады.

Міндетті талдау1-апта

Нені және немен өлшейтінімізді бекітеміз

Деректер, контур шектеулері, қолжетімділік талаптары және сапа критерийлері. Бұларсыз жағдай жақсарғанын өлшеу мүмкін емес.

нәтижесінде: міндет сипаттамасы, архитектура, бағалау; қабылдау жазбаша
Метрикалары бар прототипөлшенетін

Сіздің деректеріңіздегі алғашқы нұсқа

Retrieval пен промпт нұсқалары сезім бойынша емес, регрессиялық жинақта салыстырылады.

нәтижесінде: прототип және келісілген жинақтағы метрикалар кестесі
Контурда өрістетуon-prem немесе бұлт

Сіздің инфрақұрылымыңыздағы vLLM және Kubernetes

Интеграциялар мен телеметрия — келісілген тізім бойынша; мониторинг және пайдалану жөніндегі құжат.

нәтижесінде: сіздің кластеріңіздегі жүйе; сценарийлер бойынша қабылдау
Пайдалану және evalsтұрақты

Продтағы сапа бақылауда

Модель немесе индекс ауысқандағы регрессиялар, қателер мен латенттілікті бақылау, сапа бойынша есептер. Тапсырыс беруші командасы жұмысты өз бетінше жалғастырады.

нәтижесінде: есептер және жақсарту жоспары; қолдау көлемі — шарт бойынша

Өрістету, қолдау, тапсыру

Іске қосылғаннан кейін не болады және сіздің командаңыз орындаушыға тұрақты тәуелді болмай, жұмысты қалай жалғастырады.

инфрақұрылым

Кластерге, GPU-түйіндерге, желіге және қолжетімділікке тапсырыс беруші командасы қызмет көрсетеді. Жүйе сервистері, модельдер мен индекстер — шарт көлемінде Anchor Inference; шекаралар пайдалану жөніндегі құжатта бекітіледі.

инциденттер

Жұмыс күндері жұмыс күні ішінде әрекет ету; өзге режим — шарт бойынша. Инцидентті журналдар мен трассалар бойынша талдау, себеп пен түзетудің жазбаша сипаттамасы. Тәулік бойы қолдау әдепкі бойынша уәде етілмейді.

тапсыру

Тапсырыс беруші репозиторийіндегі код, конфигурация және Helm-чарттар, пайдалану және модельдерді жаңарту жөніндегі құжаттама, команданы оқыту: сіздің командаңыз жұмысты өз бетінше жалғастыра алады.