Что должно быть в отчёте по автопрогону?

1️⃣ Как кратко ответить

Отчёт по автопрогону должен содержать: общее количество тестов, количество пройденных и проваленных тестов, описание ошибок, логи выполнения, скриншоты или видео с ошибками, время выполнения тестов, информацию о среде тестирования и версии тестируемого приложения.

2️⃣ Подробное объяснение темы

Отчёт по автопрогону — это документ, который предоставляет информацию о результатах автоматизированного тестирования. Он помогает команде разработки и тестирования понять текущее состояние качества продукта и выявить проблемные области. В отчёте должны быть следующие ключевые элементы:

1. Общее количество тестов: Это число показывает, сколько тестов было запущено в рамках автопрогона. Оно помогает оценить масштаб тестирования.

2. Количество пройденных и проваленных тестов: Эти данные дают представление о том, насколько успешно прошёл автопрогон. Пройденные тесты указывают на функциональность, которая работает корректно, а проваленные — на потенциальные проблемы.

3. Описание ошибок: Для каждого проваленного теста необходимо предоставить описание ошибки. Это может включать в себя сообщение об ошибке, стек вызовов и другие диагностические данные, которые помогут разработчикам быстро идентифицировать и исправить проблему.

4. Логи выполнения: Логи содержат подробную информацию о ходе выполнения тестов. Они могут включать в себя временные метки, шаги выполнения и любые исключения, которые возникли во время тестирования.

5. Скриншоты или видео с ошибками: Визуальные материалы помогают лучше понять, что произошло в момент сбоя. Скриншоты или видео могут быть особенно полезны для воспроизведения ошибки.

6. Время выполнения тестов: Эта информация помогает оценить производительность тестов и может указать на потенциальные проблемы с производительностью тестируемого приложения.

7. Информация о среде тестирования: Включает в себя данные о конфигурации системы, на которой проводилось тестирование, такие как операционная система, версия браузера, аппаратные характеристики и т.д. Это важно для воспроизведения ошибок в аналогичной среде.

8. Версия тестируемого приложения: Указание версии приложения, которое тестировалось, помогает отследить изменения и их влияние на качество продукта.

Пример отчёта может выглядеть следующим образом:

Отчёт по автопрогону от 2023-10-15
​
Общее количество тестов: 150
Пройдено: 140
Провалено: 10
​
Ошибки:
1. Тест: LoginTest
   Описание: Неверное сообщение об ошибке при вводе неправильного пароля.
   Логи: [ссылка на логи]
   Скриншот: [ссылка на скриншот]
​
2. Тест: CheckoutTest
   Описание: Ошибка при добавлении товара в корзину.
   Логи: [ссылка на логи]
   Скриншот: [ссылка на скриншот]
​
Время выполнения: 45 минут
​
Среда тестирования:
- ОС: Windows 10
- Браузер: Chrome 95
- Аппаратные характеристики: 16GB RAM, Intel i7
​
Версия приложения: 1.2.3

Такой отчёт позволяет быстро оценить текущее состояние тестируемого приложения и принять необходимые меры для улучшения его качества.