Как мы создавали новый LLM-переводчик Яндекса Хабр

Промпт-инжиниринг становится важным инструментом для разработчиков, особенно в эпоху, когда генеративные ИИ могут создавать сложный программный код. Сегодня программисты используют AI для выполнения рутинных задач, таких как написание функций, исправление ошибок или генерация тестов. Для одной задачи может подойти прямолинейный и детализированный запрос, а для другой — более общий https://neurips.cc и гибкий. В таком случае в качестве обучающих сэмплов берут напрямую оценки и ранжирования людей. В случае Full Fine-tune мы оптимизируем все параметры языковой модели, соответственно, разница между обучением с нуля и использованием LLM pretrain состоит исключительно в начальном приближении. И если мы делаем оптимизацию достаточно агрессивно, то эффект от начальной https://distill.pub точки гораздо меньше эффекта датасета. Другими словами, предобученная LLM гораздо лучше умеет строить предложения и знает какие-то факты, которые сложно найти в корпусах перевода.

Именно поэтому важность мастерства создания промптов невозможно переоценить. Умение правильно формулировать запросы позволяет не только получать более точные ответы, но и максимально эффективно использовать потенциал AI в различных сферах. Избегая распространённых ошибок и учитывая рекомендации, вы сможете значительно улучшить свои навыки создания эффективных промптов. Помните, что создание качественного контента — это совместная работа между вами и AI, и чем более продуманным будет ваш запрос, тем лучше будет результат.

Параметризованные промты

Учитывая аудиторию, к которой обращен вопрос, вы можете изменить тон и стиль вашего запроса. Например, для более технической аудитории используйте профессиональный лексикон, а для широкой публики — более простой и доступный язык. Chain of Thought Prompting – это техника, которая заставляет ChatGPT показывать ход своих рассуждений.

Примеры использования продвинутого Prompt Engineering

Важно помнить, что сами примеры могут быть даже с ошибками – главное, чтобы был задан правильный формат ответа. Создание промптов — это не только технический процесс, но и творческое занятие. Пробуйте различные форматы запросов, экспериментируйте с их структурой и не бойтесь выходить за рамки привычного. Создание промпта начинается с анализа задачи и заканчивается оптимизацией формулировки, чтобы получать лучшие результаты от AI. Ещё одной интересной проблемой алайнмента была его «низкоресурсность». Например, если на вопрос «Объясни про ИИ простыми словами» вы получите слишком расплывчатый ответ, попробуйте написать так « Простыми словами расскажи про ИИ для научного проекта средней школы». Например, вместо «Объясните, что такое фондовый рынок» попробуйте использовать такой промпт, как «Объясни основы фондового рынка для новичка, используя не более 150 слов». Такие детали, как количество слов, уровень сложности или целевая аудитория, помогут сформировать ответ. Когда вы даете ИИ пример того, что хотите получить, это может существенно повысить качество ответа. Укажите образец или ряды данных, которые должны быть проанализированы. На моих тренингах участники часто удивляются, насколько точнее становятся ответы ChatGPT после добавления примеров в промпт. Для перевода на английский качество англоцентричной GPT-4 гораздо ближе к человеческому, но для генерации на других языках LLM не хватает адаптированности. Вместе с тем после внедрения и улучшений трансформерных моделей качество алгоритмов перевода стало достаточно высоким. Для не очень длинных текстов общей тематики (general domain) автоматические переводчики стали допускать уже крайне мало ошибок. На практике это означало, что для некритичных сценариев можно было переводить предложения через машинные системы с минимальной постредактурой. Например, в 2014 году в статье Sequence to Sequence Learning with neural networks было описано, как обучить в режиме end-to-end модель генерации текстов на основе рекуррентной нейронной сети. Они стали плохо работать несколько лет назад, потому что качество моделей стало достаточно высоким и стало видно, что exact-match-метрики поощряют буквальные переводы без перефразировок. Напомню, DPO представляет собой оптимизацию logsigmoid-функции потерь на относительных приращениях вероятностей winner- и loser-гипотез текущей модели относительно reference-модели. За reference-модель, как правило, берётся базовый чекпоинт алайнмента. Наконец, давайте соберём данные асессорской и автоматической разметок пар переводов и техническую реализацию alignment в единый пайплайн дообучения LLM под перевод. https://auslander.expert/ai-content-riski-resheniya/ Для изначальных экспериментов мы взяли несколько версий внутренней модели YandexGPT decoder-only и попробовали две стандартных стратегии адаптации LLM под задачу.

Примеры эффективных промптов

С учётом таких вводных факторов стандартное обучение seq2seq-трансформерной модели с нуля, как было принято для sentence-to-sentence-переводчика, нереализуемо. При независимом переводе блоков, в которых содержится лексическая когезия, перевод ключевых слов может получиться неконсистентным. В таком случае связность текста теряется, что также затрудняет восприятие смысла. С ростом значимости промпт-инжиниринга его роль на рынке труда будет только увеличиваться. Уже сейчас появляются вакансии, связанные с оптимизацией взаимодействия с ИИ, и в будущем это может перерасти в полноценную профессию. Такие специалисты будут заниматься созданием универсальных и адаптивных запросов для разных сфер. В образовании промпт-инжиниринг открывает новые горизонты для персонализации обучения. Например, преподаватель может использовать ИИ для создания адаптивных заданий, которые учитывают уровень подготовки ученика.