Improver — различия между версиями

Материал из Rosalab Wiki
Перейти к: навигация, поиск
 
(не показано 59 промежуточных версий 7 участников)
Строка 1: Строка 1:
Основной режим выполнения тестов системы Мандрива/Роса для выявления особенностей и недоработок системы – при запущенной программе Импрувер. Исключение составляют те тестовые задания, которые относятся к установке и загрузке системы, работе с носителями и виртуальными машинами. Для данных тестов предусмотрен специальный план-протокол, заполняемый на Импрувере  уже после фактического выполнения тестовых заданий. Импрувер — программная система, предназначенная для тестирования целевой операционной системы Мандрива/Роса. В систему Импрувер входит:
+
{{ToDelete}}
  
• клиентская часть,
+
[[Improver (English_version)|English page]]
  
• серверная часть,
+
[[Файл:Impruver-Logo.png|center]]
  
• веб-приложение конфигурирования.
 
  
Клиентская часть состоит из программы для выполнения тест-планов Improver_client которая, отвечает за регистрацию пользователя, получение информации о программно-аппаратной составляющей рабочей станции, получение списка тест планов, выбор и прохождение тест-плана, отправку отчета на сервер. Программа включена в образ операционной системы и запускается из меню запуска приложений.
+
== Описание продукта, предназначение, возможности ==
 +
Импрувер - программно-аппаратный комплекс для поиска ошибок в программном обеспечении Мандривы и [[ROSA релиз|Росы]] силами пользователей. Комплекс состоит из клиентской части, серверных приложений и веб-части.
  
 +
Клиентская часть - это GUI-приложение improver_client. Через него создаётся пользовательская учётная запись, закачиваются тест-планы с сервера, собирается информация об аппаратном обеспечении и системных данных пользовательской рабочей станции. Пользователь выбирает тест-план из списка доступного списка, заполняет отчёт, который затем отправляется на сервер Импрувера. Веб-интерфейс предоставляет возможность публичного доступа к статической сводке об ошибках в Мандриве.
  
 +
Возможности комплекса:
  
 +
* Добавление не только "ОК" и "FAIL" ответов в тест-план, но и других произвольных.
 +
* Возможность одиночного и множественного вариантов ответа.
 +
* Возможность разделить тест-планы по группам на стороне сервера.
 +
* Отображение карты тест-плана.
 +
* Возможность выполнять несколько тест-планов вместе.
 +
* Автономный режим работы для клиентской части.
 +
* Индикация статуса тест-плана: новый, скачан, начат, завершён, отправлен.
 +
* Автоматическое уведомление пользователя о приёмке отчёта сервером.
  
== Работа с Improver-client ==
+
== Как установить ==
  
+
Пакет доступен для установки из репозитория через rpmdrake.
Запуск программы осуществляется или через диалог быстрого вызова программы по «improver» или через меню запуска программ по «Приложения-Утилиты-Тестирование» или в терминале по «improver». Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции. После запуска программы появляется приветственное окно, сообщающее о том, что для тестирования системы необходима регистрация. Также выводится используемый для связи номер порта. Далее появляется окно регистрации, в котором необходимо ввести имя, фамилию, электронный почтовый адрес, и опционально — комментарий.
+
  
По нажатии на кнопки «Продолжить» происходит соединение с сервером, отправка регистрационной информации и получение списка тест-планов. Затем открывается окно со свободно доступными на выполнение тест-планами. Выбрать можно любой тест-план по желанию.
+
== Как запустить ==
  
После выбора тест-плана и нажатия на кнопки «Продолжить» открывается выбранный тест-план. Предлагается ответить на ряд вопросов.
+
1) Меню приложения - утилиты - Тестирование
В левом верхнем углу указаны номер текущего вопроса и общее количество вопросов в тест-плане. Ниже расположен текст вопроса.
+
2) Меню быстрого запуска (Alt+F2): improver
Под текстом вопроса слева — варианты ответа, справа — поле комментария. При выборе ответа «Да» комментарий не обязателен, при выборе ответа «Нет» необходимо ввести уточняющий проблему комментарий. Ниже расположены кнопки создания снимков экрана — моментальный снимок экрана и снимок экрана с задержкой в три секунды. Правее кнопок создания снимков экрана расположена область, отражающая приложенные к ответу на вопрос файлы. Обычно это графические файлы снимков экрана, но также в некоторых вопросах возможно дополнительно присоединить пользовательский файл любого формата.
+
3) Из консоли: improver
  
Переход к следующему вопросу тест-плана осуществляется по нажатию на кнопку «Продолжить». Переход к предыдущему вопросу тест-плана — по нажатию на кнопку «Назад». Если в процессе выполнения тест-плана вы закрыли программу, то при следующем запуске программы работа с тест-планом возобновится с последнего открытого вопроса.
+
Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции для обеспечения возможности дальнейшей диагностики проблем.  
  
После того как пройдены все вопросы тест-плана можно отправить отчёт по нажатию на кнопку «Отправить отчёт о тестировании». После отправки отчёта можно или пройти ещё один тест-план по нажатию на кнопку «Пройти ещё один тест-план» или выйти из программы по нажатию на кнопку «Выйти».
+
== Как работать ==
  
==
+
При первом запуске программы появляется сплэшскрин, во время которого происходит расчёт hardware id и соединение с сервером. Если на сервере не найдено вашей учётной записи, будет предложено зарегистрироваться.
 +
[[Файл:Registration.png|thumb|center]]
 +
Если учётная запись есть, то выведется информация об учётной записи.
 +
[[Файл:Already registered.png|thumb|center]]
  
Тестирование Роса/Мандрива включает следующие тест-планы: ==
+
Далее открывается окно с общим списком тестпланов. Тестпланы разделены по группам. У каждого тестплана есть иконка, отображающая статус тестплана: новый, скачан, начат, завершён или отправлен. В нижней части экрана находятся управляющие кнопки. Обновить - обновление информации о тестплане. Карта - отображение карты вопросов тестплана. Импортировать - импортировать тестплан из XML-файла. Отправить отчеты - отправить сохранённые отчёты. По нажатию отправляются на сервер все сохранённые на рабочей станции отчёты. Начать - начать выполнять выбранный тестплан (так же можно перейти к выполнению по двойному клику на строке тестплана).
 +
[[Файл:Test plans list.png|thumb|center]]
  
 +
После выбора тестплана для выполнения открывается окно с описанием тестплана.
 +
[[Файл:Test_plan_description.png|thumb|center]]
 +
Далее идет блок с вопросами тестплана. Под текстом вопроса слева — варианты ответа, справа — поле комментария. В разных вопросах можно выбрать один или несколько ответов. В программе настроены сочетания клавиш для быстрого доступа: Alt+1..Alt+9 и Alt+q для своего варианта ответа.
 +
Далее ниже находятся кнопки: снимок экрана, снимок экрана с задержкой, приложить файл, карта тестплана.
 +
[[Файл:Questions.png|thumb|center]]
  
1) План-протокол, заполняемый на Импрувере  после сбора результатов тестов по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами.
+
По нажатию на кнопку "Карта плана" открывается окно со списком вопросов тестплана. В окне отражен статус вопроса - отвеченный или не отвеченный. Из окна с картой плана можно перейти к произвольному вопросу тестплана.
 +
В самом низу расположены кнопки: Список тестпланов - возвращение к общему списку тестпланов с сохранением результатов. Назад - переход к предыдущему вопросу. Далее - переход к следующему вопросу. Завершить - перейти к отправке отчёта.
 +
[[Файл:Test_plan_map.png|thumb|center]]
  
2) Тест-план для LIVE-DVD – выполняется из режима LIVE-DVD (на нетбуках LIVE-USB)
+
После завершения тестплана предлагается ввести дополнительный комментарий общего плана и приложить произвольный пользовательский файл к отчёту.
 +
[[Файл:Finishing.png|thumb|center]]
  
3) Основной тест-план – выполняется на установленной на жёсткий диск системе
+
Далее, по кнопке "Отправка отчета" происходит формирование отчёта и отправка его на сервер. После этого вы можете перейти к выполнению другого тестплана.
 +
[[Файл:Send report.png|thumb|center]]
  
4) Тест-кейс модуля Настройка компьютера – выполняется один раз из режима LIVE-DVD (на нетбуках LIVE-USB) и один раз на установленной на жёсткий диск системе
+
== Статистика ==
  
5) Тест-кейс для модуля Настройка рабочего стола – выполняется один раз из режима LIVE-DVD (на нетбуках LIVE-USB) и один раз на установленной на жёсткий диск системе
+
По адресу [http://improver.rosalab.ru/ improver.rosalab.ru] в гостевом режиме доступен генератор сводных отчетов, с помощью которого можно оценить относительное качество дистрибутива.
  
6) Тест-кейс для модуля Настройка поведения окон – выполняется один раз из режима LIVE-DVD (на нетбуках LIVE-USB) и один раз на установленной на жёсткий диск системе.
+
== Вниманию желающих принять участие в тестировании систем Мандрива/Роса ==
  
 +
Для отладки на этапе релиз-кандидата особо приоритетны тесты, проведённые с использованием какого-либо оборудования из следующего списка:
  
----
+
Все ноутбуки на серии Nvidia Optimus, поддерживающие как программное так и аппаратное переключение видео
  
Для заполнения отчёта по проведённым тестам по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами ниже приводится полный перечень вопросов соответствующего плана-протокола:
+
Любые новые ноутбуки с технологией AMD Avivo
  
Загрузочный DVD-диск успешно записан утилитой Windows (указать какой)
+
Ноутбуки (нетбуки) с видеокартой Intel GMA500
  
Загрузочный DVD-диск успешно записан Growisofs и прочих LINUX утилит (указать)
+
Макбуки
  
Загрузочный DVD-диск успешно записан утилитой dd, команда вида: dd if=image.iso of=/dev/sd…
+
Нетбуки с нестандартной конфигурацией
  
При загрузке c полученного DVD-диска в live режиме корректно проходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
+
Видео-карты RADEON серий: r800, r700, r600, r520; NVidya: 200-500 серия, старые начиная с 3 поколения и заканчивая 8( geforce 3/4 + 6***/7***/8***) + мобильные аналоги указанных
  
При загрузке в режиме LIVE пользователем live логинится автоматом
+
Видео карты с выводом видео и звука по HDMI
  
При загрузке в режиме LIVE отсутствуют лишние запросы данных (перечислить какие запрашиваются)
+
Видеоадаптеры SIS
  
На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.
+
Многомониторные конфигурации
  
В качестве grub/syslinux splash, plymouth splash, ksplash используются фирменные темы дистрибутива.
+
Массовый сегмент неплохих звуковых карт (начиная от класса Creative)
  
Корректно отрабатывается алгоритм "Завершить сеанс"
+
Новые чипсеты: x58, p55, p67, am3+, в том числе с поддержкой UEFI bios
  
Корректно отрабатывается алгоритм "Заблокировать"
+
Системники работающие в конфигурации multiseat
  
Корректно отрабатывается алгоритм "Переключить пользователя"
+
"Экзотические" процессоры вроде Via C2000 и чипсеты для них
  
Корректно отрабатывается алгоритм "Ждущий режим"
+
Материнские платы с контроллерами CD/DVD - JMicron
  
Корректно отрабатывается алгоритм "Перезагрузить": После рестарта системы не должно быть изменений на пользовательском ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
+
Максимально широкий спектр оборудования где жесткие диски SATA подключены через AHCI
  
Корректно отрабатывается алгоритм "Выключить": После рестарта системы не должно быть изменений на жёстком диске ПК  (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
+
SSD диски + хитрые рейдовые массивы ( 1+0, 6 )
  
От имени root ввести в консоли команду rpm -qa |grep livecd. Пакет присутствует? (Скопировать вывод в примечание)
+
Как можно больше внешних wifi донглов и внутренних карт
  
Записать загрузочный образ на флэш-носитель командой вида livecd-iso-to-disk /path/image.iso /dev/sd… Результатом должен быть флеш носитель с 2 папками DATA и SYSTEM, с него должна успешно стартовать система.
+
3G - модемы от Билайна, Мегафона и МТС - особенно ZTE
  
При загрузке c полученного USB-диска в live режиме корректно прходят все этапы 1-го старта.  (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
+
Модемы от Йоты
  
При загрузке c полученного USB-диска в live режиме Пользователем live логинится автоматом
+
Модемы от SkyLink
  
Присутствуют ли лишние запросы данных при загрузке? (Перечислить, какие запрашиваются.)
+
Любые мобильные телефоны
  
На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить скриншот.
+
Фотоаппараты не определяющиеся как флешки (как правило их определяет какой-либо софт работающий с GPHOTO2)
  
После загрузки c полученного флэш-диска в live режиме можно сохранять файлы в корне системы и в других папках. (указать ограничения)
+
Любые принтеры - особенно Win-принтеры.
  
Попытаться вносить пользовательские изменения в систему: изменить виджеты, удалить rpm-пакет (удалять надо корректно, например, пакет kde-l10n-en_GB или любой другой с опцией --nodeps. В примечании указать, что именно сделано и предоставить вывод rpm -qa |grep... )
+
Интерактивные доски
  
Перезагрузить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
+
Web-камеры Logitech (особенно в связке со Skype)
  
Выключить: После рестарта системы сделанные изменения должны воспроизводиться.  (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
+
Любые Bluetooth устройства, особенно мышки и клавиатуры.
  
Из изменённого дистрибутива на флэш-носителе из ЛАЙВ-режима выполнить установку системы на жёсткий диск (в консоли draklive-install и далее все этапы) и убедиться, что изменения сохраняются и функционируют в установленной системе, предоставить вывод rpm -qa |grep… и/или скриншоты.
+
[[Категория:Документация]]
 
+
Выполнить установку системы с DVD-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.
+
 
+
Графическая тема draklive-install соответствует марке дистрибутива
+
 
+
В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
+
 
+
Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
+
 
+
На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов. Подробно опишите проблемы при их наличии.
+
 
+
После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
+
 
+
Выполнить установку системы с USB-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод в консоли.
+
 
+
Графическая тема draklive-install соответствует марке дистрибутива
+
 
+
В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
+
 
+
Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
+
 
+
На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов.Подробно опишите проблемы при их наличии.
+
 
+
После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
+
 
+
Выбрать хостовую платформу и установить бесплатные версии виртуальных машин VMPlayer http://downloads.vmware.com/d/info/desktop_downloads/vmware_player/3_0 и Oracle VirtualBox http://www.virtualbox.org/wiki/Downloads В комментарии укажите выбранную платформу.
+
 
+
Провести тестирование установки, настройки сети и простых операций на установленной системе на Oracle VirtualBox. Определить минимальную и стабильную конфигурации виртуального процессора/памяти/диска. Запротоколировать все тесты скриншотами (настройки вирт. Машины, операции на системе) приложить подробный комментарий и архив файлов.
+
 
+
Провести тестирование установки, настройки сети и простых операций на установленной системе на VMPlayer. Определить минимальную и стабильную конфигурации виртуального процессора/памяти/диска. Запротоколировать все тесты скриншотами (настройки вирт. Машины, операции на системе) приложить подробный комментарий и архив файлов.
+
 
+
На установленной в VMPlayer системе выполнить установку VMTools. Для запуска установщика использовать команду perl ./vmware-install.pl Приложить архив скриношотов.
+

Текущая версия на 18:56, 28 марта 2015

Эта страница устарела, и будет удалена. English page

Impruver-Logo.png


Описание продукта, предназначение, возможности

Импрувер - программно-аппаратный комплекс для поиска ошибок в программном обеспечении Мандривы и Росы силами пользователей. Комплекс состоит из клиентской части, серверных приложений и веб-части.

Клиентская часть - это GUI-приложение improver_client. Через него создаётся пользовательская учётная запись, закачиваются тест-планы с сервера, собирается информация об аппаратном обеспечении и системных данных пользовательской рабочей станции. Пользователь выбирает тест-план из списка доступного списка, заполняет отчёт, который затем отправляется на сервер Импрувера. Веб-интерфейс предоставляет возможность публичного доступа к статической сводке об ошибках в Мандриве.

Возможности комплекса:

  • Добавление не только "ОК" и "FAIL" ответов в тест-план, но и других произвольных.
  • Возможность одиночного и множественного вариантов ответа.
  • Возможность разделить тест-планы по группам на стороне сервера.
  • Отображение карты тест-плана.
  • Возможность выполнять несколько тест-планов вместе.
  • Автономный режим работы для клиентской части.
  • Индикация статуса тест-плана: новый, скачан, начат, завершён, отправлен.
  • Автоматическое уведомление пользователя о приёмке отчёта сервером.

Как установить

Пакет доступен для установки из репозитория через rpmdrake.

Как запустить

1) Меню приложения - утилиты - Тестирование 2) Меню быстрого запуска (Alt+F2): improver 3) Из консоли: improver

Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции для обеспечения возможности дальнейшей диагностики проблем.

Как работать

При первом запуске программы появляется сплэшскрин, во время которого происходит расчёт hardware id и соединение с сервером. Если на сервере не найдено вашей учётной записи, будет предложено зарегистрироваться.

Registration.png

Если учётная запись есть, то выведется информация об учётной записи.

Already registered.png

Далее открывается окно с общим списком тестпланов. Тестпланы разделены по группам. У каждого тестплана есть иконка, отображающая статус тестплана: новый, скачан, начат, завершён или отправлен. В нижней части экрана находятся управляющие кнопки. Обновить - обновление информации о тестплане. Карта - отображение карты вопросов тестплана. Импортировать - импортировать тестплан из XML-файла. Отправить отчеты - отправить сохранённые отчёты. По нажатию отправляются на сервер все сохранённые на рабочей станции отчёты. Начать - начать выполнять выбранный тестплан (так же можно перейти к выполнению по двойному клику на строке тестплана).

Test plans list.png

После выбора тестплана для выполнения открывается окно с описанием тестплана.

Test plan description.png

Далее идет блок с вопросами тестплана. Под текстом вопроса слева — варианты ответа, справа — поле комментария. В разных вопросах можно выбрать один или несколько ответов. В программе настроены сочетания клавиш для быстрого доступа: Alt+1..Alt+9 и Alt+q для своего варианта ответа. Далее ниже находятся кнопки: снимок экрана, снимок экрана с задержкой, приложить файл, карта тестплана.

Questions.png

По нажатию на кнопку "Карта плана" открывается окно со списком вопросов тестплана. В окне отражен статус вопроса - отвеченный или не отвеченный. Из окна с картой плана можно перейти к произвольному вопросу тестплана. В самом низу расположены кнопки: Список тестпланов - возвращение к общему списку тестпланов с сохранением результатов. Назад - переход к предыдущему вопросу. Далее - переход к следующему вопросу. Завершить - перейти к отправке отчёта.

Test plan map.png

После завершения тестплана предлагается ввести дополнительный комментарий общего плана и приложить произвольный пользовательский файл к отчёту.

Finishing.png

Далее, по кнопке "Отправка отчета" происходит формирование отчёта и отправка его на сервер. После этого вы можете перейти к выполнению другого тестплана.

Send report.png

Статистика

По адресу improver.rosalab.ru в гостевом режиме доступен генератор сводных отчетов, с помощью которого можно оценить относительное качество дистрибутива.

Вниманию желающих принять участие в тестировании систем Мандрива/Роса

Для отладки на этапе релиз-кандидата особо приоритетны тесты, проведённые с использованием какого-либо оборудования из следующего списка:

Все ноутбуки на серии Nvidia Optimus, поддерживающие как программное так и аппаратное переключение видео

Любые новые ноутбуки с технологией AMD Avivo

Ноутбуки (нетбуки) с видеокартой Intel GMA500

Макбуки

Нетбуки с нестандартной конфигурацией

Видео-карты RADEON серий: r800, r700, r600, r520; NVidya: 200-500 серия, старые начиная с 3 поколения и заканчивая 8( geforce 3/4 + 6***/7***/8***) + мобильные аналоги указанных

Видео карты с выводом видео и звука по HDMI

Видеоадаптеры SIS

Многомониторные конфигурации

Массовый сегмент неплохих звуковых карт (начиная от класса Creative)

Новые чипсеты: x58, p55, p67, am3+, в том числе с поддержкой UEFI bios

Системники работающие в конфигурации multiseat

"Экзотические" процессоры вроде Via C2000 и чипсеты для них

Материнские платы с контроллерами CD/DVD - JMicron

Максимально широкий спектр оборудования где жесткие диски SATA подключены через AHCI

SSD диски + хитрые рейдовые массивы ( 1+0, 6 )

Как можно больше внешних wifi донглов и внутренних карт

3G - модемы от Билайна, Мегафона и МТС - особенно ZTE

Модемы от Йоты

Модемы от SkyLink

Любые мобильные телефоны

Фотоаппараты не определяющиеся как флешки (как правило их определяет какой-либо софт работающий с GPHOTO2)

Любые принтеры - особенно Win-принтеры.

Интерактивные доски

Web-камеры Logitech (особенно в связке со Skype)

Любые Bluetooth устройства, особенно мышки и клавиатуры.