Комплект контрольно-оценочных средств (КОС) по учебной дисциплине ОП.11 «Промт-инжиниринг».
Он разработан для оценки знаний и навыков студентов в области создания и оптимизации эффективных запросов (промптов) для взаимодействия с генеративными моделями искусственного интеллекта. Документ включает:
✓ Планируемые результаты обучения (умения и знания).
✓ Материалы для текущего контроля по 10 темам, охватывающим ключевые аспекты промт-инжиниринга:
✓ Введение в промт-инжиниринг (основы, структура промпта)
✓ Основы составления промптов (ясность, конкретность, контекст)
✓ Zero-shot и few-shot обучение (примеры в промптах)
✓ Chain-of-Thought (пошаговое рассуждение)
✓ Дерево размышлений (ToT) — исследование нескольких путей
✓ Ролевые промпты (назначение роли модели)
✓ Jailbreak и защита (безопасность, фильтрация)
✓ Кэширование запросов (оптимизация, экономия)
✓ Prompt Tuning (настройка и оптимизация промптов)
✓ Оценка эффективности промптов (метрики, A/B-тестирование)
✓ Материалы для дифференцированного зачета (образец билета с теорией и практикой, критерии оценки).
✓ Полный набор практических заданий (тесты, вопросы для устного опроса, практико-ориентированные задачи) по каждой теме.
Курс дает практические навыки промт-инжиниринга — искусства формулирования запросов для получения наилучших результатов от генеративных ИИ-моделей, включая техники Zero-shot, Few-shot, CoT, ToT и ролевые промпты, а также навыки оценки и оптимизации промптов.
СОДЕРЖАНИЕ
1. Паспорт комплекта контрольно-оценочных средств
2. Результаты освоения учебной дисциплины, подлежащие проверке
3. Оценка освоения учебной дисциплины
3.1. Формы и методы оценивания
3.2. Типовые задания для оценки освоения учебной дисциплины
4. Контрольно-оценочные материалы для итоговой аттестации по учебной дисциплине
5. Приложения. Задания для оценки освоения дисциплины
5.1. Приложение 1. Тема 1. Введение в промт-инжиниринг
5.2. Приложение 2. Тема 2. Основы составления промптов
5.3. Приложение 3. Тема 3. Zero-shot и few-shot обучение
5.4. Приложение 4. Тема 4. Chain-of-Thought (CoT)
5.5. Приложение 5. Тема 5. Дерево размышлений (ToT)
5.6. Приложение 6. Тема 6. Ролевые промпты
5.7. Приложение 7. Тема 7. Jailbreak и защита
5.8. Приложение 8. Тема 8. Кэширование запросов
5.9. Приложение 9. Тема 9. Prompt Tuning
5.10. Приложение 10. Тема 10. Оценка эффективности промптов
