Компанія Buoyant, відома розробкою Linkerd, представила Kinference — відкритий проєкт для створення платформ інференсу на базі Kubernetes і vLLM. Kinference виконує роль контрольної площини, яка керує маршрутизацією запитів до пулу vLLM-воркерів, застосовуючи політики маршрутизації, балансування навантаження з урахуванням кешу та збір метрик для кожного орендаря.
Що таке Kinference і як він працює
Kinference — це політично керована контрольна площина, що перетворює Kubernetes із vLLM у мультиорендну платформу інференсу. Система складається з двох компонентів: шлюзу трафіку та обробника інференсу, який через gRPC інтерфейс приймає запити і визначає кінцеву точку обробки. Kinference інтегрується з проксі, наприклад Buoyant Gateway, і відстежує події кешу vLLM та метрики двигуна, використовуючи бібліотеку dynamo-kv-router від NVIDIA.
Політики маршрутизації для ефективного розподілу запитів
Kinference підтримує декларативні політики маршрутизації, які дозволяють налаштовувати правила на основі орендаря, моделі, стану GPU-пулу та семантичних тегів. Приклади політик включають маршрутизацію простих запитів до менших моделей, обробку пікових навантажень із перенаправленням до хмарних провайдерів, локальне зберігання персональних даних, пакетну обробку на вільних GPU та публікацію стабільних імен моделей із підтримкою кількох бекендів. Kinference прогнозує час до першого токена (TTFT) для кожного можливого кінцевого пункту, оптимізуючи вибір маршруту.
Результати продуктивності Kinference
За даними Buoyant, Kinference значно покращує продуктивність у порівнянні зі стандартним балансуванням Kubernetes Service. На навантаженнях із спільними префіксами середній TTFT знизився приблизно на 95%, а пропускна здатність зросла у 7,4 рази. Для багатокрокових сесій затримка зменшилась на 32%, а пропускна здатність збільшилась у 3,5 раза. При цьому Kinference забезпечує збір детальних метрик, включно з TTFT, затримками та використанням кешу, що допомагає керувати мультиорендністю та навантаженням.
Встановлення та порівняння з іншими рішеннями
Kinference доступний під ліцензією Apache 2.0 і написаний мовою Rust. Встановлення передбачає налаштування п’яти CRD Kubernetes, інсталяцію Buoyant Gateway та самого Kinference. У порівнянні з іншими проєктами, такими як llm-d, Dynamo чи Production Stack, Kinference вирізняється підтримкою політик керування, обліком орендарів і можливістю резервного переходу до зовнішніх провайдерів. Проте він наразі перебуває на ранній альфа-версії, і деякі функції, як-от лімітування швидкості та підтримка Anthropic API, ще не реалізовані.
Джерело: www.marktechpost.com
