Общая схема тестирования обновлений

Материал из Rosalab Wiki
Перейти к: навигация, поиск

Обновления в ROSA Linux проходят регрессионное функциональное тестирование, т.е. обновленная версия должна выполнять свою работу не хуже, чем старая
Тестирование наиболее эффективно если тестер реально работает с тестируемой программой и его система соответствует текущим официальным репозиториям Росы

  1. Нужно привести систему к текущему состоянию репозиториев Росы (без тестинга, если не указано иное)
    1. Если вы ничего не ставили из неофициальных репозиториев и исходников, если регулярно обновляетесь - ваша система подходит для тестирования
    2. Для приведения системы в соответствие с репозиториями нужно выполнить команду # urpm-reposync
  2. Протестировать сам процесс обновления:
    1. Установить предыдущую версию программы из репозиториев, если она еще не установлена. Интереснее всего для тестирования, когда обновляется рабочая и уже настроенная версия программы.
    2. Добавить в систему новый источник - контейнер с обновлением. Это делается командой # urpmi.addmedia НазваниеИсточника URLИсточника --update
    3. Обновить систему (Параметры системы/обновление системы), при появлении сообщений об ошибках обновляемого пакета - сделать скриншот
    4. Перегрузиться
  3. Протестировать функционал:
    1. Возможно более реально поработать на системе с обновленным функционалом
    2. При возникновении ошибок - сделать скриншот или записать видео с помощью ROMP
  4. При обнаружении ошибки нужно обязательно проверить эту ошибку на регрессию - т.е. не была ли она раньше? Для этого нужно:
    1. Выключить добавленный источник (Параметры/Менеджер источников программ)
    2. Снова синхронизировать систему # urpm-reposync, при этом компонент должен откатиться на прошлую версию из стабильных репозиториев
    3. Попробовать воспроизвести ошибку на предыдущей, не обновленной версии
  5. Написать отчет о тестировании, в котором указать
    1. Как проявляется ошибка (лучше со скриншотами или видео)
    2. Регрессия или нет