Басты бет/Қызметтер

Төрт бағыт, бір жауапкершілік шекарасы

Әр бағыт бірдей сипатталған: жұмысқа не кіреді, сізден не қажет, шығыста не аласыз және шекара қайдан өтеді. Бұл басты беттегі картадағы сол төрт өлшем.

1-өлшем

Агенттік жүйелер

Сіздің жүйелеріңізде пайдалы жұмыс істейтін және сипатталған ережелерден шықпайтын агент. Әр құрал шақыруы келісімшартпен сипатталған, қауіпті әрекеттерді адам растайды.

Не кіреді

  • Protocore ядросындағы оркестрация және «пайымдау — әрекет» циклі
  • құралдар келісімшарттары: агент нені және қандай құқықтармен шақыра алады
  • қадамдар арасындағы жад пен күй, ақаудан кейін қалпына келу
  • қауіпті әрекеттер үшін адам растайтын нүктелер
  • prompt injection-нан қорғау және барлық әрекеттер журналы

Сізден не қажет

  • агент орындауға тиіс процестердің сипаттамасы
  • ол жұмыс істейтін жүйелерге қолжетімділік: база, API, құжаттар
  • ережелерге жауап беретін сіздің жағыңыздағы адам

Нәтиже

  • құралдардың сипатталған келісімшарттары бар агент
  • әрекеттер журналы және растау нүктелері
  • мінез-құлық тексерілетін сценарийлер

Жауапкершілік шекарасы

Біз сипатталған сценарийлердегі агент мінез-құлқына жауап береміз. Бизнес ережелері мен қолжетімділік құқықтарын сіз белгілейсіз.

2-өлшем

RAG және семантикалық іздеу

Сапасы «жақсы сияқты» емес, өлшенген құжаттарыңыз бойынша іздеу. Гибридті іздеу мен реранкинг сұраққа шынымен жауап беретін фрагменттерді іріктейді.

Не кіреді

  • чанкинг және корпусты дайындау
  • контур ішіндегі эмбеддингтер мен векторлық индекс
  • гибридті іздеу: лексикалық және семантикалық
  • реранкинг және шуды сүзу
  • регрессиялық жиынтықта retrieval сапасын бағалау

Сізден не қажет

  • кез келген форматтағы құжаттар корпусы
  • күтілетін жауаптары бар кемінде бірнеше ондаған сұрақ
  • қай жауап дұрыс екенін айтатын маман

Нәтиже

  • өлшенген сапасы бар іздеу контуры
  • өзгерістерде қайта жүргізуге болатын регрессиялық жиынтық
  • корпусты қалай жаңарту керектігінің сипаттамасы

Жауапкершілік шекарасы

Сапа келісілген жиынтықта өлшенеді. Деректер мен индекс сіздің контурыңызда қалады.

3-өлшем

Self-hosted inference

Сіздің темір жабдығыңыздағы ашық модельдер vLLM және Kubernetes арқылы. Ешқандай сыртқы API: модельдер, сұраулар мен логтар периметрден шықпайды.

Не кіреді

  • Kubernetes-тегі немесе бөлінген серверлердегі vLLM
  • тапсырма мен жабдыққа сай ашық модельдерді таңдау
  • өнімділік: батчинг, кванттау, сұрау құны
  • мониторинг және ескертулер
  • сіздің командаңызға арналған пайдалану сипаттамасы

Сізден не қажет

  • GPU бар кластерге немесе серверлерге қолжетімділік
  • қауіпсіздік және желі талаптары
  • жүктемені түсіну: қанша сұрау және қандай кідіріс күтесіз

Нәтиже

  • мониторингі бар жұмыс істейтін inference-сервис
  • модельдерді пайдалану және жаңарту жөніндегі құжат
  • өнімділік пен құн өлшемдері

Жауапкершілік шекарасы

Біз баптап, тапсырамыз. Жабдық, желі және қолжетімділіктер сіздің аймағыңызда қалады.

4-өлшем

Evals және бақылау

Әр өзгерістен кейін — модель, промпт, индекс ауысқанда — жақсарғанын көрсететін өлшеу. Нашарлау пайдаланушыға жеткенше көрінеді.

Не кіреді

  • сіздің деректеріңіздегі регрессиялық жиынтықтар
  • адамдармен тексерілетін LLM-төреші
  • сапа метрикалары және командаға арналған панель
  • өндірістегі сапа мониторингі
  • жүйенің әр өзгерісінде жүргізулер

Сізден не қажет

  • жүйе логтарына қолжетімділік
  • пәндік сала маманының белгілеуге қатысуы
  • жақсы жауап деп нені санайтын критерийлер

Нәтиже

  • сапа панелі
  • әр өзгерісте регрессиялық жүргізулер
  • есептер және жақсарту жоспары

Жауапкершілік шекарасы

Біз өлшеуді құрамыз. Шығару туралы шешімді сіздің командаңыз қабылдайды.

Стек: Python, asyncio, FastAPI, PostgreSQL, vLLM, Kubernetes. Тек шын мәнінде қолданатынымыз. Бағаларды сайтта жарияламаймыз: жұмыс форматы — талдаудан кейін тапсырмаға сай бағалау. Тапсырманы сипаттаңыз, біз қоңырау уақытын ұсынамыз.