Відкритий проект OpenSquilla: розумне маршрутизування та локальний пошук, значно знижуючи витрати на використання LLM

AIMPACT повідомлення, 14 травня (UTC+8), відкритий проект OpenSquilla запропонував рішення для проблеми надмірного споживання токенів у застосуваннях великих мовних моделей, поєднуючи інтелектуальне маршрутизування моделей та локальний пошук за вектором. Система може автоматично визначати складність завдання, направляючи прості питання до дешевших моделей, а складні — до більш потужних моделей, причому рішення про маршрутизацію виконується локально, не витрачаючи токени. За допомогою механізмів інкрементальної передачі та кешування кількість переданих токенів зменшилася більш ніж на 90%. Її система пам’яті може автоматично відфільтровувати та стискати ключову інформацію, коли контекст заповнений, підтримуючи гібридний пошук. Проект також має функції статистики витрат, безпечного пісочниці, підтримки одноразового міграції OpenClaw та планувальника завдань, що значно підвищує ефективність та економічність використання. (Джерело: AiHot)