Как DSL помогают надёжно использовать языковые модели

Что произошло

Разработчики обнаружили, что LLM гораздо надёжнее работают с предметно-ориентированными языками (DSL), чем с естественным языком или сложными языками программирования. Суть в том, что ограниченный синтаксис DSL позволяет:

• Чётко определить границы допустимых конструкций
• Автоматически отлавливать ошибки через валидацию
• Уменьшить «галлюцинации» за счёт предсказуемой структуры

«DSL работают как статическая типизация для ИИ — отсекают целые классы ошибок до выполнения» (комментарий из обсуждения)

Детали

1. Как это работает на практике:

   • Пользователь описывает задачу на естественном языке
   • LLM переводит её в строгий DSL (например, конфиг в JSON)
   • Внешний валидатор проверяет корректность
   • При ошибке — цикл повторяется до получения валидного результата

2. Популярные форматы:

   • JSON/YAML (простая структура, встроенная поддержка в большинстве языков)
   • PlantUML (для диаграмм)
   • KDL (альтернатива JSON с улучшенной читаемостью)

3. Цифры:

   • В тестах использование DSL снижает количество ошибок исполнения на 40-60%
   • Среднее число итераций для получения валидного кода: 2-3 против 5-7 без DSL

Почему это важно

1. Практическая польза:

   • Реальные проекты уже используют этот подход для генерации:
     • Конфигураций инфраструктуры (Terraform, Ansible)
     • Тестовых данных
     • SQL-запросов

2. Снижение когнитивной нагрузки:

   • Разработчику не нужно править «сырой» вывод LLM
   • Ошибки обнаруживаются до попадания в продакшен

3. Компромисс между гибкостью и надёжностью:

   • DSL — это «песочница», где ИИ может творить без катастрофических последствий

Что дальше

1. Интеграция с инструментами:

   • Браузерные расширения для валидации DSL на лету
   • Генераторы DSL по описанию на естественном языке

2. Эволюция подходов:

   • Грамматики для контроля вывода (как в llama.cpp)
   • DSL-ориентированные тонкие настройки моделей