Сіздің контурыңызда қалатын AI-жүйелер

Өзіңізде орналастыруға, тексеруге және қолдауға болатын агенттік жүйелер, RAG-іздеу және self-hosted inference. Деректер, модельдер мен логтар сыртқа шықпайды.

Тапсырманы талқылау

Сіздің контурыңызда қалатын AI-жүйелер

Тапсырманы талқылау

Өлшем — сұрау жолының кезеңі және біздің қызметіміз. Оқу үшін басыңыз.

Зәкір тұрағы — сіздің контурыңыз: on-prem немесе өз бұлтыңыз.

Қауіптер — контурсыз не болатыны. Олар да басылады.

Ашық теңізде: «Бағыт салу» басыңыз

Картадағы 1–4 өлшемді немесе қауіпті басыңыз: сипаттама осы жерде шығады.

Өлшем — сұрау жолының кезеңі және біздің қызметіміз. Оқу үшін басыңыз.

Зәкір тұрағы — сіздің контурыңыз: on-prem немесе өз бұлтыңыз.

Қауіптер — контурсыз не болатыны. Олар да басылады.

карта интерактивті: өлшемдер мен қауіптер басыладыкеме айналдыру, меңзер немесе түйме арқылы бағытпен жүредібіз де солай жұмыс істейміз: бәрі сіздің периметріңіздің ішінде

Төрт бағыт, бір жауапкершілік шекарасы

Не кіреді, сізден не қажет және не аласыз. Шекара шешімді сіздің командаңыз қабылдайтын жерден өтеді.

1-өлшем

Агенттік жүйелер

Оркестрация, құралдарды шақыру, жад, құқықтар мен растаулар, prompt injection-нан қорғау.

Не қажет және не аласыз

Сізден: процестердің сипаттамасы, агент жұмыс істейтін жүйелерге қолжетімділік және ережелерге жауап беретін адам
Нәтиже: құралдардың сипатталған келісімшарттары, әрекеттер журналы және растау нүктелері бар агент
Шекара: біз сипатталған сценарийлердегі агент мінез-құлқына жауап береміз, бизнес ережелерін сіз белгілейсіз

Агенттік жүйелер туралы толығырақ

3-өлшем

Self-hosted inference

vLLM, Kubernetes, жабық контурда жұмыс, модельдерді таңдау, өнімділік пен құн.

Не қажет және не аласыз

Сізден: GPU бар кластерге немесе серверлерге қолжетімділік және қауіпсіздік талаптары
Нәтиже: мониторингі және пайдалану сипаттамасы бар жұмыс істейтін inference-сервис
Шекара: біз баптап, тапсырамыз; темір мен желі сіздің аймағыңызда қалады

Inference туралы толығырақ

2-өлшем

RAG және семантикалық іздеу

Чанкинг, эмбеддингтер, гибридті іздеу, реранкинг, retrieval сапасын бағалау.

Не қажет және не аласыз

Сізден: құжаттар корпусы және күтілетін жауаптары бар кемінде бірнеше ондаған сұрақ
Нәтиже: өлшенген сапасы және регрессиялық жиынтығы бар іздеу контуры
Шекара: сапа келісілген жиынтықта өлшенеді, деректер сізде қалады

Іздеу туралы толығырақ

4-өлшем

Evals және бақылау

LLM-төреші, регрессиялық жиынтықтар, метрикалар, өндірістегі сапа мониторингі.

Не қажет және не аласыз

Сізден: жүйе логтарына қолжетімділік және пәндік сала маманының белгілеуге қатысуы
Нәтиже: сапа панелі және әр өзгерісте регрессиялық жүргізулер
Шекара: біз өлшеуді құрамыз, шығару туралы шешімді сіздің командаңыз қабылдайды

Evals туралы толығырақ

Стек: Python, asyncio, FastAPI, PostgreSQL, vLLM, Kubernetes. Тек шын мәнінде қолданатынымыз. Бағаларды сайтта жарияламаймыз: талдаудан кейін тапсырмаға сай бағалау.

Жүйе модель жауабымен аяқталмайды

Төрт кезең. Әрқайсысының түсінікті шекарасы және шығыста жазбаша нәтижесі бар.

Тапсырманы талдау1-апта

Нені және немен өлшейтінімізді бекітеміз

Деректер, контур шектеулері және сапа критерийлері. Бұларсыз жақсарғанын түсіну мүмкін емес.

шығыста: тапсырма сипаттамасы және бағалау

Метрикалы прототипөлшенеді

Сіздің деректеріңіздегі алғашқы нұсқа

Retrieval және промпт нұсқаларын сезімге емес, регрессиялық жиынтықта салыстырамыз.

шығыста: прототип және метрикалар кестесі

Контурда орналастыруon-prem немесе бұлт

Сіздің инфрақұрылымыңыздағы vLLM және Kubernetes

Модельдер, эмбеддингтер мен логтар периметрден шықпайды.

шығыста: сіздің кластеріңіздегі жүйе

Пайдалану және evalsүнемі

Өндірістегі сапа бақылауда

Модель ауысқандағы регрессиялар, prompt injection-нан қорғау, сапа есептері.

шығыста: есептер және жақсарту жоспары

Уәде орнына ашық код

Біз агенттерді құратын ядро ашық қолжетімділікте. Оны алғашқы қоңырауға дейін оқып, іске қосып, тексеруге болады.

# күйі сақталатын LLM-агенттер ядросы, MPL-2.0 $ pip install protocore # «пайымдау — әрекет» циклі, құралдар келісімшарттары, қадамдар арасындағы күй $ git clone https://github.com/anchor-inference/protocore-community # Protocore үстіндегі Linux-контейнердегі автономды агент $ git clone https://github.com/ascorblack/daedalus ойдан шығарылған клиенттер мен сандарсыз: тек код және тесттер

protocore

Протоколға бағытталған ядро: әр қадам сипатталған, әр құрал шақыруы тексерілетін. Python, asyncio.

github.com/anchor-inference/protocore-community

daedalus

Контейнерде өмір сүретін агент: құралдар, жоспарлау, әрекеттерге шектеулер. Өз кодын өзгерту тек тексерілетін pull request арқылы.

github.com/ascorblack/daedalus

жалдамалы жұмыс тәжірибесі

Электрондық кітапхана жүйесі: үлкен көлемді мәтіндермен жұмыс және олар бойынша семантикалық іздеу. Ішкі архитектура мен көлемдер жарияланбайды, бұл жұмыс берушінің деректері.

Штатқа жалдау емес, орындаушы компаниямен шарт.

Орындаушы — қазақстандық ЖШС. Онымен шарт жасасу үшін тапсырыс берушіге шетелдік жұмыс күшін тартуға рұқсат қажет емес, шетелдікті штатқа жалдаудан айырмашылығы осында. Код кімге тиесілі екені шартта бекітіледі.

бұл заңгерлік кеңес емес, заңгеріңізбен тексеріңіз

Хаттан кейін не болады

жұмыс күніжауап беріп, қоңырау уақытын ұсынамыз

30 минуттапсырма мен контур туралы қысқа қоңырау

жазбашатапсырма сипаттамасы және бағалау

Тікелей: ascorblack@gmail.com немесе Telegram @notsoulmate

Толық форма және алғашқы қоңырауға не қажет