09.02.13 ПМ01-МДК01 «Разработка программных модулей в системах искусственного интеллекта»
Лекции
Учебно-методический материал содержит полный курс лекций по дисциплине «Разработка программных модулей в системах искусственного интеллекта» для студентов специальности 09.02.13 «Интеграция решений с применением технологий искусственного интеллекта».
Содержание курса:
Тема 1.1. Введение в искусственный интеллект и его направления (история и направления развития ИИ)
Тема 1.2. Методы сбора и предобработки данных (веб-скрапинг, API, очистка, нормализация)
Тема 1.3. Основы алгоритмов машинного обучения (регрессия, классификация, деревья решений, кластеризация)
Тема 1.4. Оценка качества моделей и улучшение алгоритмов (метрики, кросс-валидация, регуляризация)
Тема 1.5. Глубокое обучение и нейронные сети (MLP, CNN, RNN, трансформеры)
Тема 1.6. Проектирование ИИ-систем (MLOps, Docker, безопасность, надежность)
Особенности материала:
Примеры кода на Python с использованием sklearn, pandas, tensorflow
Таблицы, схемы, визуализации
Вопросы для самопроверки по каждой теме
Практические работы
Сборник содержит практические работы по дисциплине «Разработка программных модулей в системах искусственного интеллекта» для студентов специальности 09.02.13 «Интеграция решений с применением технологий искусственного интеллекта».
Все практические работы сопровождаются готовым кодом на Python, заданиями для самостоятельного выполнения и контрольными вопросами. Содержание практикума: Тема 1.1.1. Введение в искусственный интеллект
• Анализ успешных ИИ-решений в медицине, финансах, транспорте
• Создание первой модели машинного обучения (логистическая регрессия на датасете Iris)
• Концептуальное проектирование ИИ-системы: выбор задачи, блок-схема, риски, защита проекта Тема 1.1.2. Методы сбора и предобработки данных
• Сбор данных через API (OpenWeatherMap, NewsAPI)
• Веб-скрапинг статических сайтов (BeautifulSoup, пагинация)
• Работа с базами данных SQLite, объединение данных из разных источников
• Очистка данных: удаление дубликатов, выбросов, заполнение пропусков
• Кодирование категориальных признаков (Label, One-Hot, Frequency Encoding)
• Масштабирование (StandardScaler, MinMaxScaler). Построение пайплайна предобработки Тема 1.1.3. Основы алгоритмов машинного обучения
• Линейная регрессия на данных о ценах на жилье (California Housing): визуализация, обучение, оценка (MSE, RMSE, MAE, R²), логарифмирование, удаление выбросов, полиномиальные признаки
• Кластеризация (K-Means): реализация с нуля, метод локтя, силуэтный коэффициент, иерархическая кластеризация, интерпретация кластеров и маркетинговые рекомендации Тема 1.1.4. Оценка качества моделей и улучшение алгоритмов
• Матрица ошибок, Precision, Recall, F1-score
• ROC-кривые и AUC-ROC, сравнение моделей (Logistic Regression, Decision Tree, Random Forest, SVM)
• Настройка гиперпараметров: Grid Search, Random Search на датасете Breast Cancer
• Автоматическое масштабирование (HPA) Тема 1.1.5. Глубокое обучение и нейронные сети
• Многослойный перцептрон (MLP) для MNIST: нормализация, one-hot encoding, Dropout, BatchNorm, Early Stopping, подбор гиперпараметров
• Сверточные нейронные сети (CNN) для CIFAR-10: сверточные слои, MaxPooling, Dropout, Data Augmentation, Transfer Learning (VGG16), визуализация карт признаков, Grad-CAM
• Рекуррентные сети (LSTM) для временных рядов: создание последовательностей, stacked LSTM, bidirectional LSTM, многошаговое прогнозирование, ансамбль моделей; классификация текстов (IMDb) Тема 1.1.6. Проектирование и развертывание ИИ-систем
• Проектирование архитектуры: модульность, выбор технологий, API на FastAPI, rate limiting, кеширование
• Docker: Dockerfile (обычный и многоэтапный), оптимизация размера образа, Docker Compose, CI/CD (GitHub Actions)
• Kubernetes (Minikube): Deployment, Service (ClusterIP, NodePort, LoadBalancer), горизонтальное масштабирование, Rolling Update, ConfigMap, Secrets, livenessProbe/readinessProbe, Persistent Volume, мониторинг (Prometheus + Grafana), тестирование отказоустойчивости Особенности материала:
• Полный рабочий код на Python с использованием sklearn, pandas, tensorflow/keras, fastapi, docker, kubernetes
• Пошаговые инструкции для студентов
• Задания для самостоятельного выполнения
• Примеры реальных кейсов (прогнозирование цен, сегментация клиентов, распознавание изображений, анализ временных рядов)
• Вопросы для самопроверки и защиты проектов
Оценочные средства
Документ содержит фонд оценочных средств для проведения промежуточной аттестации (экзамена) по дисциплине «Разработка программных модулей в системах искусственного интеллекта» для студентов специальности 09.02.13 «Интеграция решений с применением технологий искусственного интеллекта».
Содержание документа: Раздел 1. Введение в искусственный интеллект
• Билеты №1-4 по теме 1.1.1 (определение ИИ, машинное обучение, классификация vs регрессия, обучение без учителя, K-Means, переобучение) Раздел 2. Методы сбора и предобработки данных
• Билеты №1-4 по теме 1.1.2 (Garbage In Garbage Out, API и веб-скрапинг, пропуски, выбросы, IQR, Z-score, стандартизация vs нормализация, Label Encoding vs One-Hot Encoding, разделение выборок, утечка данных, несбалансированные классы, SMOTE) Раздел 3. Основы алгоритмов машинного обучения
• Билеты №1-4 по теме 1.1.3 (K-Means, переобучение, метод локтя, линейная vs логистическая регрессия, энтропия, масштабирование, градиентный спуск, обучение с подкреплением) Раздел 4. Оценка качества моделей
• Билеты №1-4 по теме 1.1.4 (матрица ошибок, Precision, Recall, F1-score, ROC-AUC, кросс-валидация, утечка данных, регуляризация L1/L2, Grid Search vs Random Search, метрики регрессии) Раздел 5. Глубокое обучение и нейронные сети
• Билеты №1-4 по теме 1.1.5 (нейронные сети, MLP vs CNN vs RNN, функции активации, свертка и пулинг, LSTM, Dropout, BatchNorm, backpropagation, Transfer Learning, функции потерь, Data Augmentation, Adam) Раздел 6. Проектирование ИИ-систем
• Билеты №1-4 по теме 1.1.6 (модульность, горизонтальное vs вертикальное масштабирование, MLOps, Docker, дрейф данных, Human-in-the-Loop, архитектурные паттерны, квантование, резервирование, CI/CD/CT, метрики мониторинга, угрозы безопасности) Раздел 7. Промежуточная аттестация (экзамен)
• Структура экзамена (теория 40 баллов + практика 50 баллов + защита 10 баллов)
• 20 экзаменационных билетов (по 4 вопроса в каждом) 6 вариантов практических заданий:
Вариант 1: Линейная регрессия (California Housing)
Вариант 2: Сегментация клиентов (K-Means)
Вариант 3: Нейронная сеть для MNIST
Вариант 4: Пайплайн предобработки данных
Вариант 5: Docker контейнеризация модели
Вариант 6: Подбор гиперпараметров и сравнение моделей Оценочный лист студента
Рекомендации для преподавателя Особенности материала:
• 20 экзаменационных билетов с развернутыми эталонными ответами
• 6 практических заданий с критериями оценки
• Оценочный лист для преподавателя (теория + практика + защита)
• Шкала перевода баллов в оценку (отлично/хорошо/удовлетворительно)
Самостоятельные работы и консультации
Документ содержит материалы для организации самостоятельной работы студентов и проведения консультаций по дисциплине «Разработка программных модулей в системах искусственного интеллекта» для студентов специальности 09.02.13 «Интеграция решений с применением технологий искусственного интеллекта».
Раздел 1. Самостоятельные работы Тема «Основы алгоритмов машинного обучения» :
• Сравнение логистической регрессии, дерева решений и случайного леса на открытых датасетах
• Исследование гиперпараметров K-Means: метод локтя, силуэтный коэффициент
• Поиск аномалий методом Isolation Forest
• Реализация алгоритма KNN с нуля Тема «Оценка качества моделей»:
Исследование влияния дисбаланса классов: SMOTE и class_weight
Сравнение методов валидации: hold-out, K-fold cross-validation, leave-one-out Тема «Глубокое обучение и проектирование ИИ-систем»:
• Эксперименты с оптимизаторами нейросетей: SGD, Adam, RMSprop
• Transfer Learning с MobileNetV2 на собственном датасете
• Сравнение форматов сериализации моделей (.h5, .pkl, .onnx, .tflite)
• Проектирование системы мониторинга для модели в продакшене Раздел 2. Консультации
• Развернутые ответы на частые вопросы студентов по темам:
• Линейная и логистическая регрессия: почему чувствительны к выбросам, как интерпретировать коэффициенты, что делать с отрицательными предсказаниями
• Деревья решений: почему не требуют масштабирования, как бороться с переобучением, обработка категориальных признаков
• Кластеризация: как выбрать K, что делать если метод локтя не работает, «проклятие размерности»
• Метрики: Recall vs Precision, micro-F1 vs macro-F1, выбор метрики под задачу
• ROC и AUC: интерпретация значений, что делать если AUC меньше 0.5
• Кросс-валидация и регуляризация: нестабильность результатов, выбор λ, Elastic Net
• Нейросети: ReLU vs Leaky ReLU, RNN vs CNN для текста, механизм внимания, умирающий ReLU, признаки переобучения
• Docker и Kubernetes: зачем нужны, как уменьшить размер образа, чем оркестрация отличается от контейнеризации
• Безопасность и мониторинг: защита API, дрейф модели, A/B тестирование, canary deployment Раздел 3. Дополнительные материалы
• Для углубленного изучения: MLflow, Airflow, Evidently, Triton Inference Server, KServe, Ray, Great Expectations
• Мини-проекты (8-10 часов каждый):
• End-to-end пайплайн предсказания оттока клиентов (от EDA до Kubernetes)
• Асинхронная обработка изображений (FastAPI + Celery + Redis + Docker Compose)
• Мониторинг дрейфа модели (Evidently + Streamlit + Telegram)
Особенности материала: 8 заданий с вопросами для отчета, 25 ответов на частые вопросы, 7 дополнительных тем, 3 мини-проекта.
Методические указания к практическим работам
Документ содержит методические рекомендации для преподавателя по проведению практических занятий по дисциплине «Разработка программных модулей в системах искусственного интеллекта» для студентов специальности 09.02.13 «Интеграция решений с применением технологий искусственного интеллекта».
Для каждого практического занятия указаны: цель, план проведения с разбивкой по времени, вопросы для проверки понимания с эталонными ответами, типичные ошибки студентов и способы их исправления, критерии оценки. Содержание документа
Тема 1.1.1. Введение в ИИ (3 практических занятия)
Тема 1.1.2. Методы сбора и предобработки данных (2 практических занятия)
Тема 1.1.3. Основы алгоритмов ML (2 практических занятия)
Тема 1.1.4. Оценка качества моделей (2 практических занятия)
Тема 1.1.5. Глубокое обучение (3 практических занятия)
Тема 1.1.6. Проектирование ИИ-систем (3 практических занятия)
Особенности документа
• План каждого занятия с разбивкой по парам и минутам (всего 20 практических занятий)
• Вопросы для проверки понимания с эталонными ответами
• Типичные ошибки студентов и способы их исправления
• Критерии оценки (максимум 20 баллов за каждое занятие)
• Шкала перевода баллов в оценку (отлично/хорошо/удовлетворительно)
