Документ представляет собой расширенный курс лекций (МДК.01.03), охватывающий три ключевые темы тестирования ИИ-систем: Основы тестирования (Тема 1.3.1):
• Виды тестов: юнит-тесты, интеграционные, системные (E2E).
• Особенности ИИ: недетерминированность, отсутствие «оракула».
• Проблемы: мусор на входе (GIGO), состязательные атаки, дрейф данных.
• Метрики качества: матрица ошибок, Precision, Recall, F-мера, ROC-кривые, AUC, Log-loss, MCC. Автоматизация тестирования (Тема 1.3.2):
• Инструменты: pytest, unittest.
• CI/CD: настройка GitHub Actions и GitLab CI.
• Тестирование мобильных приложений: эмуляторы, облачные фермы устройств, Espresso. Интеграционное тестирование (Тема 1.3.3):
• Тестирование API эндпоинтов (REST, асинхронные вызовы, безопасность).
• Мониторинг и профилирование: Prometheus, Grafana, алертинг, поиск узких мест.
Ключевые особенности:
• Объём: свыше 70 страниц структурированного материала.
• Примеры кода на Python (pytest, requests, locust) и Java (Android/Espresso).
• Готовые схемы конфигурации (YAML для CI/CD, Prometheus, Grafana).
• Более 50 практических вопросов для самопроверки.
• Применимость: от написания первого теста до настройки мониторинга в продакшене.
Сборник практических работ
О чем этот практикум?
Это полный набор лабораторных работ, который шаг за шагом проводит студента через все этапы тестирования современных систем искусственного интеллекта — от первого юнит-теста до настройки профессионального мониторинга.
Материал построен по принципу «от простого к сложному» и включает 7 структурированных занятий.
Что внутри? Тема 1.3.1. Основы тестирования ИИ-систем (5 пар / 10 часов)
Вы научитесь писать тесты для ключевых компонентов ИИ-пайплайна:
• Занятие 1: Установка pytest, первые тесты, параметризация и фикстуры для функций метрик (Accuracy, Precision, Recall).
• Занятие 2: Тестирование функций предобработки данных (нормализация, работа с изображениями, временные файлы).
• Занятие 3: Тестирование метрик качества модели — от матрицы ошибок до Matthews Correlation Coefficient (MCC).
• Занятие 4: Как работать с несбалансированными данными и почему Accuracy может обманывать.
• Занятие 5: Итоговый рефакторинг, проверка покрытия кода и оформление отчета. Тема 1.3.2. Автоматизация тестирования (3 пары / 6 часов)
Вы настроите автоматический запуск тестов и протестируете мобильное приложение:
• Занятие 1: Создание CI/CD пайплайна в GitHub Actions и GitLab CI, матрица тестирования, бейдж статуса сборки.
• Занятие 2: Интеграционные тесты для ИИ-модели (загрузка, предобработка, инференс, постобработка).
• Занятие 3: Запуск тестов на эмуляторе Android, написание Espresso-тестов для мобильного ИИ-приложения. Тема 1.3.3. Интеграционное тестирование (2 пары / 4 часа)
Вы протестируете систему целиком и научитесь её мониторить:
• Занятие 1: Сквозное тестирование веб-приложения с ИИ через Selenium (работа с формами, ожидания, скриншоты при падении).
• Занятие 2: Настройка сбора метрик с помощью Prometheus, создание дашбордов в Grafana и настройка системы алертов (оповещений).
Что вы получите?
• Пошаговые инструкции для каждого занятия.
• Чек-листы для самопроверки и готовые шаблоны отчетов.
• Примеры тестов для реальных сценариев (классификация изображений, работа с веб-формами, мобильные приложения).
• Бонус: Методические рекомендации для преподавателя — как организовать занятие, типичные ошибки студентов и критерии оценки.
• Этот практикум закрывает 80% типичных проблем при внедрении тестирования в ИИ-проекты и даёт готовую основу для курсовой работы или дипломного проекта.
Оценочные средства
О чем этот документ?
Это полный пакет оценочных материалов для проведения текущего контроля и промежуточной аттестации по дисциплине «Тестирование программных модулей».
Документ позволяет преподавателю:
Проводить устные опросы по каждой теме
Принимать экзамен по единым критериям
Объективно оценивать знания и навыки студентов
Студенту документ помогает:
Подготовиться к опросам и экзамену
Понять требования к ответам
Ознакомиться с типовыми экзаменационными билетами
Что входит в фонд оценочных средств? 1. Текущий контроль — вопросы для устного опроса (3 темы, 40+ вопросов) Тема 1.3.1. Основы тестирования ИИ-систем
• Пирамида тестирования: юнит-тесты, интеграционные, E2E
• Недетерминированность, проблема оракула, метаморфное тестирование
• Garbage In — Garbage Out, состязательные атаки, дрейф данных
• Матрица ошибок, Precision, Recall, F1, Fβ, ROC-AUC, Log-loss, MCC Тема 1.3.2. Автоматизация тестирования ИИ-систем
• CI/CD: GitHub Actions, GitLab CI
• pytest: параметризация, фикстуры, покрытие кода
• Эмуляторы Android, Espresso, Firebase Test Lab Тема 1.3.3. Интеграционное тестирование ИИ-систем
• Интеграционные тесты для ИИ-пайплайна, моки и стабы
• REST API тестирование, асинхронные эндпоинты
• Selenium WebDriver, headless-режим
• Prometheus, Grafana, алертинг 2. Промежуточная аттестация — экзамен (6 часов)
Структура экзамена:
Часть 1 (2 часа) — письменный ответ на 3 теоретических вопроса
Часть 2 (3 часа) — выполнение практико-ориентированного задания
Часть 3 (1 час) — устная защита выполненного задания Критерии оценки:
85–100 баллов — отлично
70–84 балла — хорошо
56–69 баллов — удовлетворительно
0–55 баллов — неудовлетворительно 3. Экзаменационные билеты (20 штук)
Каждый билет включает:
• 3 теоретических вопроса (охватывают все темы курса)
• 1 практическое задание (написание тестов, настройка CI/CD, работа с Selenium, Prometheus и др.) Примеры тем билетов:
• Пирамида тестирования и GitHub Actions
• Матрица ошибок и эмуляторы Android
• ROC-кривая и Espresso-тесты
• Дрейф данных и Prometheus
• Состязательные атаки и Log-loss
• Метаморфное тестирование и покрытие кода
И другие (всего 20 уникальных билетов) 4. Оценочный лист студента
• Готовая форма для экзаменатора, включающая:
• Оценку теоретических ответов (макс. 30 баллов)
• Оценку практического задания (макс. 50 баллов) по критериям:
• структура проекта
• использование pytest, параметризации, фикстур
• покрытие позитивных, негативных и граничных сценариев
• читаемость кода
• Оценку защиты (макс. 20 баллов)
• Итоговый расчёт и перевод в оценку 5. Рекомендации для экзаменатора
• Практические советы по подготовке и проведению экзамена:
• Схема распределения времени (6 часов)
• Разрешённые и запрещённые материалы
• Организация рабочего процесса
Ключевые особенности документа
• Готов к использованию — распечатал и принимай экзамен
• Объективные критерии — чёткие балльные системы
• 20 вариантов билетов — исключает списывание
• Охват всех тем — от пирамиды тестирования до мониторинга в Grafana
• Единая форма оценочного листа для всех студентов
Сборник заданий для самостоятельной работы
О чём этот документ?
Это комплект заданий для самостоятельной работы по дисциплине «Тестирование программных модулей». Помогает студентам закрепить материал вне аудитории, а преподавателю — организовать контроль.
Что внутри? Тема 1.3.1. Основы тестирования ИИ-систем (5 заданий)
• Сравнение метрик Accuracy, Precision, Recall, F1, ROC-AUC
• Анализ реальной модели с Kaggle или GitHub
• Ручной расчёт метрик по матрице ошибок
• Построение ROC-кривой и расчёт AUC вручную
• Выбор метрики для 8 бизнес-задач (диагностика, спам, скоринг, беспилотники и др.) Тема 1.3.2. Автоматизация тестирования (4 задания)
• Настройка GitHub Actions для автозапуска тестов
• Параметризация тестов в pytest
• Создание Android-приложения и написание Espresso-тестов
• Измерение и повышение покрытия кода до 80% Тема 1.3.3. Интеграционное тестирование (4 задания)
• Интеграционный тест полного пайплайна (CSV → предобработка → модель → результат)
• Тестирование API с mock-подменой модели
• Настройка Prometheus и Grafana для мониторинга метрик
• Selenium-тест для веб-формы классификации
• Бонус — 3 мини-проекта для сильных студентов:
• Система мониторинга качества модели с алертами
• Фреймворк для A/B тестирования моделей
• Генератор тестовых данных
Что получит студент?
• Готовые темы для самостоятельной работы
• Чёткие критерии оценки
• Форму отчёта (шаблон)
• Вопросы для самопроверки по всем темам
• Что получит преподаватель?
• Полный набор заданий без необходимости их придумывать
• Критерии оценки «зачтено / не зачтено»
• Основу для консультаций
• Форматы отчётов
• Код в GitHub, письменные ответы на вопросы, скриншоты работающих тестов, таблицы с расчётами, графики ROC-кривых.
