Почему одной «хитрой» подсказки для LLM уже недостаточно
Практика работы с языковыми моделями заметно меняется. Раньше большое значение придавали отдельным «умным» формулировкам в запросах. Считалось, что результат во многом зависит от удачной подсказки, например от добавления фраз вроде «think step by step» или от ролевых инструкций. Со временем стало ясно, что одних только точных формулировок недостаточно.
По мере развития моделей главным становится другое: умение выстраивать устойчивые процессы взаимодействия с ними. Важно, чтобы система работала надежно при множестве запросов подряд, спокойно переживала сбои API, справлялась с неожиданным форматом ответа и не ломалась из-за ошибок между шагами. Как пишет Towards AI, сегодня проходит граница между обычным prompting, который доступен почти любому пользователю, и более инженерным подходом. В нем подсказки рассматривают как программируемые элементы системы, которые нужно тестировать и проверять перед использованием в production.
В основе такого подхода лежит понимание того, как устроены большие языковые модели. LLM это модели глубокого обучения, обученные на огромных массивах текста. Благодаря этому они способны выполнять разные задачи, от суммирования и перевода до ответов на вопросы и написания кода. Их поведение строится на статистических закономерностях языка. Например, если фраза обрывается на «The capital of Australia is», модель продолжит ее словом «Canberra». Это происходит не потому, что она обращается к базе данных, а потому что во время обучения такая последовательность оказалась наиболее вероятной.
Prompting, в свою очередь, это практика создания входных инструкций, которые направляют модель к нужному ответу. Хорошая подсказка обычно четко формулирует задачу, добавляет контекст, задает формат результата и иногда показывает пример ожидаемого ответа. При этом сама модель не меняется, меняется только информация, с которой она работает. Разница может быть заметной. Запрос «tell me about cars» приводит к общему и довольно расплывчатому ответу. А инструкция «write a 100-word summary explaining the difference between battery-electric and hydrogen fuel-cell vehicles, for a high school audience» сразу задает аудиторию, формат и длину текста, поэтому результат оказывается гораздо полезнее.
Ключевые факты
Статья является первой частью серии о создании надежных AI‑систем; в ней рассматриваются идеи, а следующая часть посвящена построению «движка».
LLM описывается как модель глубокого обучения, обученная на огромных объемах текста и генерирующая ответы, предсказывая наиболее вероятное продолжение текста.
В примере с фразой «The capital of Australia is» модель продолжает предложение словом «Canberra», выбирая статистически наиболее вероятное продолжение.
Пример промпта в тексте предлагает «write a 100-word summary explaining the difference between battery-electric and hydrogen fuel-cell vehicles, for a high school audience», чтобы показать влияние конкретизации задачи.