, що система зависла або працює в невірному режимі. У зв'язку з цим або кожне граничний час відгуку має бути зазначено у вимогах і користувальницької документації, або під час тривалих операцій повинні виводитися інформаційні повідомлення (наприклад, індикатор прогресу). Значення граничного часу і рівномірність збільшення значень індикатора прогресу повинні перевірятися відповідними тестами.
В
2.2 тестопригодності вимог до користувача інтерфейсу
В
Деякі вимоги до інтерфейсу користувача можуть виявитися тестонепрігоднимі, або їх тестування буде значно ускладнено. До таких вимог в першу чергу відносяться вимоги, що описують суб'єктивні характеристики інтерфейсу, які не можуть бути точно визначені або виміряні при виконанні тестових прикладів. При аналізі вимог до користувача інтерфейсу необхідно чітко уявляти, який елемент інтерфейсу і яким чином буде перевірятися, яка його характеристика буде вимірюватися в ході тестування.
Прикладом тестонепрігодного вимоги може служити класичне вимога
Інтерфейс користувача повинен бути інтуїтивно зрозумілим.
Без визначення чітких критеріїв інтуїтивної зрозумілості перевірка такої вимоги неможлива. При цьому необхідно розуміти, що критерій у даному випадку може бути двох видів: детермінованим або імовірнісним. Прикладом детермінованого критерію може бути додаток до вимогу виду
Під інтуїтивною зрозумілістю інтерфейсу розуміється доступність будь-якої функції системи за допомогою не більше ніж 5 клацань миші по інтерфейсним елементам.
Вимога з таким уточненням піддається як ручному, так і автоматизованого тестування, більше того, результат такого тестування не залежатиме від суб'єктивної думки тестувальника (поняття про інтуїтивної зрозумілості у всіх різні).
Прикладом імовірнісного критерію може служити наступне додаток:
Під інтуїтивною зрозумілістю інтерфейсу розуміється, що користувач звертається до керівництва користувача не частіше, ніж раз на п'ять хвилин на етапі навчання і не частіше, ніж раз на 2:00 на етапі активного використання системи. Значення повинні бути отримані на репрезентативній вибірці користувачів не менше 1000 чоловік.
Перевірка вимоги з таким доповненням не є завданням класичної верифікації і відноситься вже скоріше до перевірки зручності застосування користувача інтерфейсу. Однак тут також вводиться чіткий критерій, при використанні якого результати тестування можуть бути відтворені.
В
2.3 Повнота покриття користувальницького інтерфейсу
В
При визначенні поняття покриття користувальницького інтерфейсу можна ввести наступні його рівні:
- функціональне покриття - покриття вимог до інтерфейсу користувача;
- структурний покриття - для забезпечення повного структурного покриття кожний інтерфейсний елемент повинен бути використаний в тестових прикладах хоча б один раз;
- структурний покриття з урахуванням стану елементів інтерфейсу - для забезпечення цього рівня покриття необхідно не тільки використовувати кожен елемент інтерфейсу, але і привести його у всі можливі стани (наприклад, для чек-боксів - відзначений/НЕ відзначений, для полів введення - пусте/заповненість не цілком/заповнене повністю і т.п.)
- структурний покриття з урахуванням стану елементів інтерфейсу і внутрішнього стану системи - поведінка деяких інтерфейсних елементів може змінюватися в Залежно від внутрішнього стану системи. Кожне таке помітне поведінку інтерфейсного елемента має бути перевірено. Наприклад, система може мати два режими роботи - нормальний і для початківця користувача, в якому натискання кожного елемента супроводжується появою підказки. У цьому випадку потрібно перевірити обидва режими і при цьому перевірити, що підказки з'являються тільки в режимі для початківців.
При визначенні ступеня покриття необхідно враховувати, що реакція на деякі інтерфейсні елементи визначається не програмної системою, а на рівні операційної системи або середовища виконання. Так, наприклад, реакція на використання багатьох інтерфейсних елементів стандартного діалогового вікна відкриття файлу визначається операційною системою і може не тестуватися.
Якщо рівень покриття інтерфейсних елементів тестами недостатній, це є сигналом або до уточнення вимог до користувача інтерфейсу, або до зниження ступеня подробиці тестування.
2.4 Методи проведення тестування користувальницького інтерфейсу, повторюваність тестування користувальницького інтерфейсу
В
Функціональне тестування користувальницького інтерфейсу може проводитися різними методами - як вручну при безпосередньому участю оператора, так і за допомогою різного інструментарію, автоматизує виконання тестових прикладів. Розглянемо ці методи більш докладно.
Ручне тестування користувальницького інтерфейсу проводиться тестувальником-оператором, який керується у св...
