Improver
Основной режим выполнения тестов системы Мандрива/Роса для выявления особенностей и недоработок системы – при запущенной программе Импрувер. Исключение составляют те тестовые задания, которые относятся к установке и загрузке системы, работе с носителями и виртуальными машинами. Для данных тестов предусмотрен специальный план-протокол, заполняемый на Импрувере уже после фактического выполнения тестовых заданий. Импрувер — программная система, предназначенная для тестирования целевой операционной системы Мандрива/Роса. В систему Импрувер входит:
• клиентская часть,
• серверная часть,
• веб-приложение конфигурирования.
Клиентская часть состоит из программы для выполнения тест-планов Improver_client которая, отвечает за регистрацию пользователя, получение информации о программно-аппаратной составляющей рабочей станции, получение списка тест планов, выбор и прохождение тест-плана, отправку отчета на сервер. Программа включена в образ операционной системы и запускается из меню запуска приложений по ссылке "Тестирование".
Работа с Improver-client
Запуск программы осуществляется или через диалог быстрого вызова программы по «improver» или через меню запуска программ по «Приложения-Утилиты-Тестирование» или в терминале по «improver». Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции. После запуска программы появляется приветственное окно, сообщающее о том, что для тестирования системы необходима регистрация. Также выводится используемый для связи номер порта. Далее появляется окно регистрации, в котором необходимо ввести имя, фамилию, электронный почтовый адрес, и опционально — комментарий.
По нажатии на кнопки «Продолжить» происходит соединение с сервером, отправка регистрационной информации и получение списка тест-планов. Затем открывается окно со свободно доступными на выполнение тест-планами. Выбрать можно любой тест-план по желанию.
После выбора тест-плана и нажатия на кнопки «Продолжить» открывается выбранный тест-план. Предлагается ответить на ряд вопросов. В левом верхнем углу указаны номер текущего вопроса и общее количество вопросов в тест-плане. Ниже расположен текст вопроса. Под текстом вопроса слева — варианты ответа, справа — поле комментария. При выборе ответа «Да» комментарий не обязателен, при выборе ответа «Нет» необходимо ввести уточняющий проблему комментарий. Ниже расположены кнопки создания снимков экрана — моментальный снимок экрана и снимок экрана с задержкой в три секунды. Правее кнопок создания снимков экрана расположена область, отражающая приложенные к ответу на вопрос файлы. Обычно это графические файлы снимков экрана, но также в некоторых вопросах возможно дополнительно присоединить пользовательский файл любого формата.
Переход к следующему вопросу тест-плана осуществляется по нажатию на кнопку «Продолжить». Переход к предыдущему вопросу тест-плана — по нажатию на кнопку «Назад». Если в процессе выполнения тест-плана вы закрыли программу, то при следующем запуске программы работа с тест-планом возобновится с последнего открытого вопроса.
После того как пройдены все вопросы тест-плана можно отправить отчёт по нажатию на кнопку «Отправить отчёт о тестировании». После отправки отчёта можно или пройти ещё один тест-план по нажатию на кнопку «Пройти ещё один тест-план» или выйти из программы по нажатию на кнопку «Выйти».
Тестирование Роса/Мандрива включает следующие тест-планы:
1) План-протокол, заполняемый на Импрувере после сбора результатов тестов по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами.
2) Тест-план для LIVE-DVD – выполняется из режима LIVE-DVD (на нетбуках LIVE-USB)
3) Основной тест-план – выполняется на установленной на жёсткий диск системе
4) Тест-кейс модуля Настройка компьютера – выполняется один раз из режима LIVE-DVD (на нетбуках LIVE-USB) и один раз на установленной на жёсткий диск системе
5) Тест-кейс для модуля Настройка рабочего стола – выполняется один раз из режима LIVE-DVD (на нетбуках LIVE-USB) и один раз на установленной на жёсткий диск системе
6) Тест-кейс для модуля Настройка поведения окон – выполняется один раз из режима LIVE-DVD (на нетбуках LIVE-USB) и один раз на установленной на жёсткий диск системе.
Для заполнения отчёта по проведённым тестам по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами ниже приводится полный перечень вопросов соответствующего плана-протокола:
Загрузочный DVD-диск успешно записан утилитой Windows (указать какой)
Загрузочный DVD-диск успешно записан Growisofs и прочих LINUX утилит (указать)
Загрузочный DVD-диск успешно записан утилитой dd, команда вида: dd if=image.iso of=/dev/sd…
При загрузке c полученного DVD-диска в live режиме корректно проходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
При загрузке в режиме LIVE пользователем live логинится автоматом
При загрузке в режиме LIVE отсутствуют лишние запросы данных (перечислить какие запрашиваются)
На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.
В качестве grub/syslinux splash, plymouth splash, ksplash используются фирменные темы дистрибутива.
Корректно отрабатывается алгоритм "Завершить сеанс"
Корректно отрабатывается алгоритм "Заблокировать"
Корректно отрабатывается алгоритм "Переключить пользователя"
Корректно отрабатывается алгоритм "Ждущий режим"
Корректно отрабатывается алгоритм "Перезагрузить": После рестарта системы не должно быть изменений на пользовательском ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
Корректно отрабатывается алгоритм "Выключить": После рестарта системы не должно быть изменений на жёстком диске ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
От имени root ввести в консоли команду rpm -qa |grep livecd. Пакет присутствует? (Скопировать вывод в примечание)
Записать загрузочный образ на флэш-носитель командой вида livecd-iso-to-disk /path/image.iso /dev/sd… Результатом должен быть флеш носитель с 2 папками DATA и SYSTEM, с него должна успешно стартовать система.
При загрузке c полученного USB-диска в live режиме корректно прходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
При загрузке c полученного USB-диска в live режиме Пользователем live логинится автоматом
Присутствуют ли лишние запросы данных при загрузке? (Перечислить, какие запрашиваются.)
На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить скриншот.
После загрузки c полученного флэш-диска в live режиме можно сохранять файлы в корне системы и в других папках. (указать ограничения)
Попытаться вносить пользовательские изменения в систему: изменить виджеты, удалить rpm-пакет (удалять надо корректно, например, пакет kde-l10n-en_GB или любой другой с опцией --nodeps. В примечании указать, что именно сделано и предоставить вывод rpm -qa |grep... )
Перезагрузить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
Выключить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
Из изменённого дистрибутива на флэш-носителе из ЛАЙВ-режима выполнить установку системы на жёсткий диск (в консоли draklive-install и далее все этапы) и убедиться, что изменения сохраняются и функционируют в установленной системе, предоставить вывод rpm -qa |grep… и/или скриншоты.
Выполнить установку системы с DVD-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.
Графическая тема draklive-install соответствует марке дистрибутива
В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов. Подробно опишите проблемы при их наличии.
После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
Выполнить установку системы с USB-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод в консоли.
Графическая тема draklive-install соответствует марке дистрибутива
В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов.Подробно опишите проблемы при их наличии.
После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
Выбрать хостовую платформу и установить бесплатные версии виртуальных машин VMPlayer http://downloads.vmware.com/d/info/desktop_downloads/vmware_player/3_0 и Oracle VirtualBox http://www.virtualbox.org/wiki/Downloads В комментарии укажите выбранную платформу.
Провести тестирование установки, настройки сети и простых операций на установленной системе на Oracle VirtualBox. Определить минимальную и стабильную конфигурации виртуального процессора/памяти/диска. Запротоколировать все тесты скриншотами (настройки вирт. Машины, операции на системе) приложить подробный комментарий и архив файлов.
Провести тестирование установки, настройки сети и простых операций на установленной системе на VMPlayer. Определить минимальную и стабильную конфигурации виртуального процессора/памяти/диска. Запротоколировать все тесты скриншотами (настройки вирт. Машины, операции на системе) приложить подробный комментарий и архив файлов.
На установленной в VMPlayer системе выполнить установку VMTools. Для запуска установщика использовать команду perl ./vmware-install.pl Приложить архив скриношотов.
В основном тест-плане для установленной системы также имеет место ряд вопросов, связанных с загрузкой системы, которые требуют сбора результатов тестов заранее (до запуска клиентского пакета Импрувера). Для удобства заполнения отчёта ниже приводится полный перечень вопросов данного тест-плана:
