Как Castform и Neon превзошли топовые ИИ-модели по эффективности

Что произошло

Команды Neon и Castform представили решение, которое кардинально меняет экономику поисковых систем на базе ИИ. Их подход позволяет относительно небольшим открытым моделям (4 млрд параметров) показывать точность, сопоставимую с GPT-5.6 — одной из самых продвинутых коммерческих моделей.

Главное преимущество — стоимость: система обрабатывает запросы в 100 раз дешевле, чем при использовании «фронтирных» моделей через API. Это стало возможным благодаря двум ключевым компонентам:

1. Castform — платформа для пост-обучения моделей с подкреплением, не требующая глубоких знаний в ML
2. Neon с Lakebase Search — инфраструктура для эффективного хранения и поиска по корпоративным данным

Детали

Система работает в несколько этапов:

1. Подготовка данных: внутренние документы компании (базы знаний, вики, переписка) автоматически превращаются в обучающие задачи
2. Генерация вопросов: система сама создаёт правдоподобные вопросы на основе имеющихся данных
3. Обучение с подкреплением: модель учится искать ответы, получая «награду» за точность цитирования и правильность ответов

«Большинство команд даже не подозревают, что их лучшие обучающие данные уже лежат в их базах», — отмечает сооснователь Castform.

Технически поиск работает через гибридный алгоритм, сочетающий:

• Традиционный текстовый поиск (BM25)
• Векторный поиск по embeddings

Почему это важно

Для практиков это означает три ключевых преимущества:

1. Доступность: пост-обучение моделей становится таким же простым, как промт-инжиниринг — не нужно разбираться в тонкостях ML
2. Экономия: стоимость обработки сложных многоэтапных запросов снижается с $0.03 до долей цента
3. Скорость: время ответа сокращается с 10+ секунд до мгновенных результатов

Что дальше

Комбинация Neon и Castform открывает путь к новому классу «агентных» систем, которые:

• Могут не только искать, но и изменять данные
• Работают в изолированных средах (благодаря ветвлению Neon)
• Масштабируются до тысяч параллельных запросов без роста затрат

Уже сейчас система позволяет небольшим открытым моделям конкурировать с коммерческими гигантами в узких задачах. В перспективе этот подход может изменить баланс сил на рынке ИИ, сделав мощные языковые модели доступными без огромных бюджетов.