Почему очеловечивание вывода LLM — плохая идея

Что произошло

В последнее время набирают популярность инструкции для языковых моделей (LLM), которые делают их вывод более «человечным»: короткие предложения, минимум технического жаргона, упрощённый язык. Однако такой подход может быть контрпродуктивным. Вместо того чтобы улучшать взаимодействие, он скрывает важные детали и снижает информативность.

Детали

Когда вы просите модель сжимать вывод в «человеческий» формат, это приводит к потере данных. Например, если агент проводит шесть тестов и сообщает: «Большинство тестов прошли успешно, но есть одна проблема», это звучит приятно, но скрывает конкретику. Вместо этого лучше получить точный отчёт: «5/6 PASS, FAIL: test_cache_invalidation, CAUSE: stale key survives restart, REPRO: tests/cache_test.py:184».

Кроме того, очеловечивание маскирует ошибки. Модели могут галлюцинировать, сталкиваться с конфликтами данных или приближаться к пределу токенов. Человеческий язык легко сглаживает такие проблемы, но это не помогает их решить.

Почему это важно

Очеловечивание вывода LLM нарушает принцип сохранения максимальной информативности до последнего этапа. В других системах, например, базах данных или компиляторах, мы сохраняем данные в их исходном формате и преобразуем их только перед выводом. LLM-инструменты делают наоборот, что снижает их эффективность.

Что дальше

Популярные инструкции вроде «говори как будто у меня СДВГ» — это не решение, а скорее запрос на исправление. Будущее за агентами, которые обмениваются точными, машинно-ориентированными данными, а затем преобразуют их в удобный для человека формат.

«Очеловечивание вывода LLM — это не абстракция, а потеря данных».

Таким образом, текущие тренды — это не финальное состояние, а сигнал о том, что система нуждается в доработке.