Improver
Основной режим выполнения тестов системы Мандрива/Роса для выявления особенностей и недоработок системы – при запущенной программе Импрувер. Исключение составляют те тестовые задания, которые относятся к установке и загрузке системы, работе с носителями и виртуальными машинами. Для данных тестов предусмотрен специальный план-протокол, заполняемый на Импрувере уже после фактического выполнения тестовых заданий. Импрувер — программная система, предназначенная для тестирования целевой операционной системы Мандрива/Роса. В систему Импрувер входит:
• клиентская часть,
• серверная часть,
• веб-приложение конфигурирования.
Клиентская часть состоит из программы для выполнения тест-планов Improver_client которая, отвечает за регистрацию пользователя, получение информации о программно-аппаратной составляющей рабочей станции, получение списка тест планов, выбор и прохождение тест-плана, отправку отчета на сервер. Программа включена в образ операционной системы и запускается из меню запуска приложений по ссылке "Тестирование".
Работа с Improver-client
Запуск программы осуществляется или через диалог быстрого вызова программы по «improver» или через меню запуска программ по «Приложения-Утилиты-Тестирование» или в терминале по «improver». Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции. После запуска программы появляется приветственное окно, сообщающее о том, что для тестирования системы необходима регистрация. Также выводится используемый для связи номер порта. Далее появляется окно регистрации, в котором необходимо ввести имя, фамилию, электронный почтовый адрес, и опционально — комментарий.
По нажатии на кнопки «Продолжить» происходит соединение с сервером, отправка регистрационной информации и получение списка тест-планов. Затем открывается окно со свободно доступными на выполнение тест-планами. Выбрать можно любой тест-план по желанию.
После выбора тест-плана и нажатия на кнопки «Продолжить» открывается выбранный тест-план. Предлагается ответить на ряд вопросов. В левом верхнем углу указаны номер текущего вопроса и общее количество вопросов в тест-плане. Ниже расположен текст вопроса.
Под текстом вопроса слева — варианты ответа, справа — поле комментария. При выборе ответа «Да» комментарий не обязателен, при выборе ответа «Нет» необходимо ввести уточняющий проблему комментарий. В программе настроены сочетания клавиш для быстрого доступа: Alt+1 для ответа "Да" и Alt+2 для ответа "Нет".
Ниже расположены кнопки создания снимков экрана — моментальный снимок экрана и снимок экрана с задержкой в три секунды. Правее кнопок создания снимков экрана расположена область, отражающая приложенные к ответу на вопрос файлы. Обычно это графические файлы снимков экрана, но также в некоторых вопросах возможно дополнительно присоединить пользовательский файл любого формата.
Переход к следующему вопросу тест-плана осуществляется по нажатию на кнопку «Продолжить». Переход к предыдущему вопросу тест-плана — по нажатию на кнопку «Назад». Если в процессе выполнения тест-плана вы закрыли программу, то при следующем запуске программы работа с тест-планом возобновится с последнего открытого вопроса.
После того как пройдены все вопросы тест-плана можно отправить отчёт по нажатию на кнопку «Отправить отчёт о тестировании». После отправки отчёта можно или пройти ещё один тест-план по нажатию на кнопку «Пройти ещё один тест-план» или выйти из программы по нажатию на кнопку «Выйти».
Разработчики Мандрива/Роса запрашивают следующий приоритетный список оборудования, необходимого для отладки системы на этапе релиз-кандидата:
Все ноутбуки на серии Nvidia Optimus, поддерживающие как программное так и аппаратное переключение видео
Любые новые ноутбуки с технологией AMD Avivo
Ноутбуки (нетбуки) с видеокартой Intel GMA500
Макбуки
Нетбуки с нестандартной конфигурацией
Видео-карты RADEON серий: r800, r700, r600, r520; NVidya: 200-500 серия, старые начиная с 3 поколения и заканчивая 8( geforce 3/4 + 6***/7***/8***) + мобильные аналоги указанных
Видео карты с выводом видео и звука по HDMI
Видеоадаптеры SIS
Многомониторные конфигурации
Массовый сегмент неплохих звуковых карт (начиная от класса Creative)
Новые чипсеты: x58, p55, p67, am3+, в том числе с поддержкой UEFI bios
Системники работающие в конфигурации multiseat
"Экзотические" процессоры вроде Via C2000 и чипсеты для них
Материнские платы с контроллерами CD/DVD - JMicron
Максимально широкий спектр оборудования где жесткие диски SATA подключены через AHCI
SSD диски + хитрые рейдовые массивы ( 1+0, 6 )
Как можно больше внешних wifi донглов и внутренних карт
3G - модемы от Билайна, Мегафона и МТС - особенно ZTE
Модемы от Йоты
Модемы от SkyLink
Любые мобильные телефоны
Фотоаппараты не определяющиеся как флешки (как правило их определяет какой-либо софт работающий с GPHOTO2)
Любые принтеры - особенно Win-принтеры.
Интерактивные доски
Web-камеры Logitech (особенно в связке со Skype)
Любые Bluetooth устройства, особенно мышки и клавиатуры.
Тестирование Роса/Мандрива включает следующие тест-планы
1. План-протокол, заполняемый на Импрувере после сбора результатов тестов по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами
1.1 Загрузочный DVD-диск успешно записан утилитой Windows (указать какой)
1.2 Загрузочный DVD-диск успешно записан Growisofs и прочих LINUX утилит (указать)
1.3 Загрузочный DVD-диск успешно записан утилитой dd, команда вида: dd if=image.iso of=/dev/sd…
2.1 При загрузке c полученного DVD-диска в live режиме корректно проходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
2.2 При загрузке в режиме LIVE пользователем live логинится автоматом
2.3 При загрузке в режиме LIVE отсутствуют лишние запросы данных. (В случае сомнений перечислить какие запрашиваются.)
2.4 На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.
2.5 В качестве grub/syslinux splash, plymouth splash, ksplash используются фирменные темыдистрибутива.
2.6 Корректно отрабатывается алгоритм Завершить сеанс
2.7 Корректно отрабатывается алгоритм Заблокировать
2.8 Корректно отрабатывается алгоритм Переключить пользователя
2.9 Корректно отрабатывается алгоритм Ждущий режим
2.10 Корректно отрабатывается алгоритм Перезагрузить: После рестарта системы не должно быть изменений на пользовательском ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
2.11 Корректно отрабатывается алгоритм Перезагрузить: Выключить: После рестарта системы не должно быть изменений на жёстком диске ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
3.1 От имени root ввести в консоли команду rpm -qa |grep livecd. Пакет присутствует? (Скопировать вывод в примечание)
3.2 Записать загрузочный образ на флэш-носитель командой вида livecd-iso-to-disk /path/image.iso /dev/sd… Результатом должен быть флеш носитель с 2 папками DATA и SYSTEM, с него должна успешно стартовать система.
4.1 При загрузке c полученного USB-диска в live режиме корректно прходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
4.2 При загрузке c полученного USB-диска в live режиме Пользователем live логинится автоматом
4.6 Присутствуют ли лишние запросы данных при загрузке? (Перечислить какие запрашиваются)
4.7 На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.
4.8 После загрузки c полученного флэш-диска в live режиме можно сохранять файлы в корне системы и в других папках. (указать ограничения)
4.9 Попытаться вносить пользовательские изменения в систему: изменить виджеты, удалить rpm-пакет (удалять надо корректно, например, пакет kde-l10n-en_GB или любой другой с опцией --nodeps. В примечании указать, что именно сделано и предоставить вывод rpm -qa |grep... )
4.10 Перезагрузить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
4.11 Выключить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
4.12 Из изменённого дистрибутива на флэш-носителе из ЛАЙВ-режима выполнить установку системы на жёсткий диск (в консоли draklive-install и далее все этапы) и убедиться, что изменения сохраняются и функционируют в установленной системе, предоставить вывод rpm -qa |grep… и/или скриншоты.
5 Выполнить установку системы с DVD-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.
5.1 Графическая тема draklive-install соответствует марке дистрибутива
5.2 В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
5.3 Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
5.4 На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов. Подробно опишите проблемы при их наличии.
5.5 После установки имеется возможность загрузить другую ОС ранее установленную на компьютере.
6 Выполнить установку системы с USB-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.
6.1 Графическая тема draklive-install соответствует марке дистрибутива
6.2 В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
6.3 Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
6.4 На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов.Подробно опишите проблемы при их наличии.
6.5 После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
7.0.1 Выберите хостовую платформу и установите бесплатную версию виртуальной машины VMPlayer http://downloads.vmware.com/d/info/desktop_downloads/vmware_player/3_0
7.0.2 Выберите хостовую платформу и установите бесплатную версию виртуальной машины Oracle VirtualBox http://www.virtualbox.org/wiki/Downloads
7.0.3 Выберите хостовую платформу и установитебесплатную версию виртуальной машины Parallels
7.1.1 Для виртуальной машины Oracle VirtualBox подберите конфигурации виртуального процессора/памяти/диска/видео-памяти так, чтобы система могла загрузиться в LIVE-режиме. При запуске машины выберите LAUNCH SYSTEM. Система должна полностью загрузиться, сеть - подняться автоматически. Из хостовой системы выполните скриншоты, показывающие процесс и результат загрузки LIVE-режима в VirtualBox. Скриншоты из хостовой системы выполняйте так чтобы виртуальная машина не находилась в полноэкранном режиме.
7.1.1.1 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.
7.1.1.2 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.
7.1.1.3 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу LIVE-режима в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).
7.1.2 Установите систему на виртуальный жёсткий диск Oracle VirtualBox выбором пункта INSTALL SYSTEM при загрузке
7.1.2.1 Из хостовой системы выполните скриншоты, показывающие процесс и результат установки в VirtualBox. Опишите проблемы или особенности при их наличии.
7.1.2.2 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.
7.1.2.3 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.
7.1.2.4 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу установленной системы в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).
7.2.1 Для виртуальной машины VMPlayer подберите конфигурации виртуального процессора/памяти/диска/видео-памяти так, чтобы система могла загрузиться в LIVE-режиме. При запуске машины выберите LAUNCH SYSTEM. Система должна полностью загрузиться, сеть - подняться автоматически. Из хостовой системы выполните скриншоты, показывающие процесс и результат загрузки LIVE-режима в VMPlayer. Скриншоты из хостовой системы выполняйте так чтобы виртуальная машина не находилась в полноэкранном режиме.
7.2.1.1 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.
7.2.1.2 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.
7.2.1.3 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу LIVE-режима в VMPlayer - скорость, устойчивость, сбои (при наличии).
7.2.2 Установите систему на виртуальный жёсткий диск VMPlayer выбором пункта INSTALL SYSTEM при загрузке
7.2.2.1 Из хостовой системы выполните скриншоты, показывающие процесс и результат установки в VMPlayer. Опишите проблемы или особенности при их наличии.
7.2.2.2 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.
7.2.2.3 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.
7.2.2.4 На установленной в VMPlayer системе выполните установку VMTools. Для запуска установщика используйте команду perl ./vmware-install.pl Приложите архив скриношотов.
7.2.2.5 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу установленной системы в VMPlayer - скорость, устойчивость, сбои (при наличии).
7.3.1 Для виртуальной машины Parallels подберите конфигурации виртуального процессора/памяти/диска/видео-памяти так, чтобы система могла загрузиться в LIVE-режиме. При запуске машины выберите LAUNCH SYSTEM. Система должна полностью загрузиться, сеть - подняться автоматически. Из хостовой системы выполните скриншоты, показывающие процесс и результат загрузки LIVE-режима в VirtualBox. Скриншоты из хостовой системы выполняйте так чтобы виртуальная машина не находилась в полноэкранном режиме.
7.3.1.1 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.
7.3.1.2 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.
7.3.1.3 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу LIVE-режима в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).
7.3.2 Установите систему на виртуальный жёсткий диск Parallels выбором пункта INSTALL SYSTEM при загрузке
7.3.2.1 Из хостовой системы выполните скриншоты, показывающие процесс и результат установки в VirtualBox. Опишите проблемы или особенности при их наличии.
7.3.2.2 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.
7.3.2.3 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.
7.3.2.4 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу установленной системы в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).
2. Тест-план для LIVE-DVD – выполняется из режима LIVE-DVD (на нетбуках LIVE-USB)
1.1 Определено и корректно настроено поддерживаемое оборудование, в том числе периферийное и USB-накопители, адаптеры и по возможности все устройства, рекомендованные для тестирования (см. приоритетный список оборудования для тестов на http://wiki.rosalab.ru/index.php/Improver ) . Для каждого дополнительно подключаемого устройства проведите соответствующий тест подключения и настройки. Запротоколируйте результаты и приложите протоколы в архивном файле.
1.2 Сеть при физической доступности поднимается автоматически. Если не поднимается или ей невозможно управлять, приложите вывод ifconfig.
2 На рабочем столе выравнивание значков по правому верхнему краю. Тип рабочего стола: просмотр папки. Размер иконок на рабочем столе 64x64 и подписи не должны обрезаться.
3.1 При загрузке системы в нижней части апплета появляется апплет панель задач (панель запуска)
3.2 Все предустановленные виджеты на панели задач функционируют штатно (функционал и настройки) и не имеют визуально фиксируемых дефектов
3.3 Спарава на панели имеются аплеты Stack Folder. При клике-щелчке на значок определённой папки, должна открыться именно эта папка.
3.3.1 При клике-щелчке на какой-либо файл в стековой папке (картинка, видео, установочный пакет), он активируется (открывается).
3.3.2 При клике-щелчке на значок (в правом верхнем углу Стэковой папки, открывается каталог, в котором вы находитесь.
3.3.3 При щечке кнопки "открыть этот каталог в фаловом менеджере" (правая) Stack Folder закроется без активации открытого окна. (Не кликаем-щелкаем на открывшееся окно каталога.)
3.3.4 В зависимости от кол-ва содержимого Стэк открывается в разных размерах, чем больше содержимое, тем окно Стэка больше.
3.3.5 Эффект сворачивания/разворачивания окна при смене папки должен выполняться плавно, без дерганья.
3.3.6 "При выполнении следующих действий нет проблем с отрисовкой: 1. Открываем во весь экран окно с графическим приложением (например, Dolphin). 2. Поверх него располагаем терминальное окно. 3. Открываем окно со StackFolder. 4. Переходим в подпапку с меньшим содержимым, чтобы размеры окна уменьшились. 5. После сворачивания и последующего разворачивания окна с новыми размерами, под старой областью окна, фон не восстанавливается."
4 В левой части панели задач имеется и запускается апплет меню запуска
4.1 Все приложения, представленные в меню запуска, имеют индивидуальные иконки, функционируют без сообщений об ошибках и иных нештатных последствий: открываются, готовы к работе, выполняют операции их основного функционала и закрываются.
4.2 Протестировать редактор меню запуска (открывается в контекстном меню при щелчке правой кнопкой мыши по меню запуска). Добавить/удалить команды. Тест пройден?
4.3 Компонент TImeFrame позволяет просматривать файлы с изображениями и видео за определенный период. При этом учитывается время модификации файла (не время создания). Для тестирования TimeFrame в меню запуска разместите в домашней папке и/или папках внутри неё фото и видео файлы. Затем запустите меню запуска и перейдите на вкладку TimeFrame.
4.3.1 В полях для отображения данных за текущий месяц должна появится анимация, которая показывает, что обрабатывается поисковый запрос. При появлении первых результатов анимация скроется. В поле над временной шкалой должны отобразиться миниатюры фотографий (до 13) и надпись фото . В поле под временной шкалой должны отобразиться миниатюры видео (до 13) и надпись видео. Больший размер должны иметь файлы с большим рейтингом.
4.3.2 Для изменения интервала поиска: кликните мышкой на интересующий интервал на временной шкале. Ползунок на временной шкале переместится на выбранный интервал. Начнется поиск новых данных.
4.3.3 Чтобы изменить градацию временной шкалы нажмите на кнопку «Д» или «М». Градация шкалы изменится на числа , при клике на кнопку «Д», или на месяцы, при клике на «М». Начнется поиск новых данных.
4.3.4 Чтобы изменить год/месяц: нажать на кнопку «<» «>». Изменится надпись обозначающая год или год и месяц (в зависимости от градации шкалы). Начнется поиск новых данных.
4.3.5 Чтобы просмотреть все элементы (фото или видео) за заданный период щелкните кнопку «Фото» или «Видео». Временная шкала уйдет в нижнюю часть экрана. В области для отображения начнут появляться елементы, располженные друг за другом в виде галереи.
4.3.6 При наведении на миниатюру появляется всплывающая подсказка с именем и рейтингом файла.
4.3.7 При клике мышкой по элементу запустится программа просмотра изображений/видео.
5.1 Включенная по умолчанию графическая тема elementary, отрисовка окон — dekorator. Все открывающиеся окна, снабжённые функциями сворачивания, распахивания и закрытия (в правом верхнем углу окна) корректно отрабатывают эти функции. 5.2 Открытым окнам приложений соответствуют их свёрнутые эквиваленты на панели задач. Щелчок правой кнопкой мыши по окну на панели активирует основное окно, а щелчок левой кнопкой открывает контекстное меню, в котором корректно отрабатываются все пункты (тестировать их функционал).
5.3 В правом верхнем углу окна приложения имеется значок приложения, щелчок по которому левой кнопкой мыши приводит к открытию такого же контекстного меню в котором корректно отрабатываются все пункты (тестировать их функционал).
6 Раскладка клавиатуры переключается нажатием заданной комбинации клавиш
7 Корректно функционируют все элементы контекстного меню при щелчке правой кнопкой мыши по рабочему столу и по элементам на нем (тестировать функционал пунктов меню)
8 Интернет-Броузер FireFox корректно запускается щелчком по значку на панели задач. При старте браузера отображается стартовая страничка, соответствующая марке дистрибутива.
9 Системная переменная PATH сконфигурирована корректно. Представить вывод команды env |grep PATH=
10 Провести тест инструментов Plasma (кроме добавления виджетов). Тест полностью пройден?
11 Используя Dolphin и MC, протестируйте операции копирования и перемещения папок, содержащих множество элементов в том числе элементы большого размера (более гигабайта), а также при наличии в целевой папке папки с названием, идентичным копируемой папке, и содержащей множественные элементы в т.ч. идентичные элементам, имеющим место в копируемой папке. Протестируйте копирование с диска на внешние носители и наоборот. Проверьте автоматизм выполнения, какие сообщения выдаются. Проверьте, присутствует ли разница в скорости копирования больших файлов на Dolphin и MC. Приложите протокол тестов.
12 По желанию опишите любые особенности работы системы в режиме LIVE, приложите архив данных
3. Основной тест-план – выполняется на установленной на жёсткий диск системе
4) Тест-план для основных модулей настройки системы - выполняется как на установленной системе, так и из LIVE-режима.
