Выпуск №2. Проведение юзабилити-тестирований на нестандартных респондентах

Как проводить юзабилити-тестирование, если испытуемые — иностранцы, или, что еще сложнее, дети? В данной статье мы рассмотрим, чем отличается планирование и процесс проведения тестирования, если у вас нестандартные респонденты.

Кратко о юзабилити-тестировании

Юзабилити-тестированием является любой эксперимент, направленный на измерение качества интерфейса или же поиск конкретных проблем в нем.

Тестирование позволяет понять, насколько хорошо или плохо работает интерфейс; найти и обозначить проблемные места в интерфейсе и логике работы системы.

Что можно измерять

• Скорость работы пользователя. Длительность выполнения операции; время, затраченное на обнаружение ошибок; время, затраченное на исправление ошибок; длительность поиска сведений в документации; количество успешно выполненных заданий

• Ошибки. Процент операций, вызвавших ошибку; среднее число ошибок на операцию у опытных пользователей; количество ошибок, не обнаруженных и не исправленных пользователями

• Обучаемость навыкам работы с системой/сохранение навыков. Количество и частота обращений к справочной системе; разница в количестве ошибок и скорости работы у пользователей с разным опытом использования системы

• Субъективная удовлетворенность пользователя

Этапы проведения тестирования

1. Оценка объема работы
2. Формирование списков требований к респондентам и задач пользователей
3. Поиск респондентов
4. Составление тестовых сценариев
5. Самостоятельное прохождение теста
6. Проведение тестирования
7. Анализ результатов
8. Экспертная оценка интерфейса
9. Написание итогового отчета

Что нужно для тестирования

• Респонденты
• Метод тестирования
• Тестовые сценарии
• Метрики
• Рабочее место для теста

Типы пользователей

Порой необходимо провести тестирование продукта, где пользователи — не обычные взрослые люди с разными навыками работы на компьютере, социальным положением.

У иностранцев может быть не принято показывать эмоции, например, как это сделано у азиатов. Насколько корректными могут быть результаты, полученные с помощью исследований продукта на иностранцах? Какие сложности могут быть при тестировании? А как на детях тестировать продукт?

Проведение тестов на детях гораздо сложнее, чем с взрослыми. Но данные, полученные при таком тестировании, являются самыми правильными для оценки продуктов, предназначенных для детей.

Среди нестандартных респондентов можно выделить:

• Иностранцы
• Дети

Проведение тестирований на этих группах аудитории требует предварительного изучения особенностей:

• Восприятия информации, чтения — дети;
• Особенность менталитета — иностранцы.

Процесс

Дети

Учитывайте особенности детей разного возраста:

0-2

• Язык и мыслительные процессы носят ограниченный характер.
• Исследования путем наблюдения и опроса родителей.

2-4

• Дети учатся говорить и взаимодействовать.
• Проведение исследований в виде игры.
• Сложно удерживать внимание на одном объекте/задаче/цели.
• Стараются продемонстрировать умения с компьютером.
• Зачастую не могут ясно сообщить о том, насколько они удовлетворены продуктом.

4-7

• Языковые навыки получены, память и понимание ограничены; короткая концентрация внимания.
• Простые и прямые вопросы, на языке ребенка.
• Проведение исследований в виде игры, мотивация ребенка; просьба о помощи.
• Могут выполнять задания и удерживать внимание.

8-11

• Общение развито, навыки чтения улучшаются.
• Отсутствие обезличенных вопросов.
• Проведение исследований в виде интервью, фокус-групп.
• Могут выполнять задания и удерживать внимание.
• Могут сообщить об удовлетворенности подходящими словами.

11-15

• Хорошо развиты функции неформального мышления.
• Легко попадают под влияние (одноклассников, например).
• Важно проводить исследования в привычной среде.
• При тестировании детей убедитесь, что вы знаете об их возрасте, навыках.
• Подбирайте участников в соответствии с той возрастной категорией, на которую рассчитан продукт: внимательно относитесь к опыту детей и опрашивайте родителей о поведении и возможностях ребенка.

Проводите тестирование в соответствии с особенностями детского восприятия:

• Минимум специфического оборудования; минимум разницы между домом и лабораторией
• Разработайте гибкий сценарий тестирования с возможностью отдыха ребенка, возможностью переключения ребенка на другую задачу
• Составляйте простые задания; на языке ребенка (ответы на вопросы могут быть в виде смайлов); не всегда ставьте цель задания — пусть у ребенка будет возможность свободного исследования)
• Перед тестированием установите контакт с ребенком, расскажите о процессе и оборудовании, мотивируйте его к участию в тестировании
• Во время тестирования вознаграждайте ребенка, держите теплый контакт, следите за невербальными реакциями

Иностранцы

Процесс проведения тестирования на иностранцах не отличается от стандартной методики проведения исследования на взрослых, но имеет ряд особенностей (см. ниже).

Основные правила при тестировании детей и иностранцев:

• Кратко, но четко поставить задачу;
• Убедиться, что задача понята правильно.

Особенности

Языковые особенности. Иностранцам легче воспринимать информацию на их же языке. К тому же пользователи чувствуют себя увереннее, если задачу с ним обсуждаем человек его же национальности, с более правильным произношением. Даже ваше свободное владение языком не означает, что вы сможете установить хороший контакт с респондентом, и он будет уверенно и непринужденно чувствовать себя в вашем окружении.

Задания. Очень важно ставить задачи на языке испытуемого; при невозможности перевода на местный язык — иметь переводчика, который, в частности, и будет рассказывать респонденту задачу и особенности тестирования. Важно предупредить переводчика, чтобы он не рассказывал, как нужно выполнять задачу. Для детей важно давать простые задания. При распечатке заданий можно выбрать специальные шрифты в соответствии с возрастом ребенка (для тех, кто только учится читать, используется шрифт без засечек; для более взрослого возраста — так называемый «школьный» шрифт).

Расположение. Держите дистанцию. По возможности, если переводчик рассказывает о задании, то пусть он будет рядом с респондентом, а рядом сидите вы и наблюдайте реакцию испытуемого. Ни в коем случае не становитесь позади респондента.

Изучение поведения. При тестировании детей очень важно изучать поведение, поскольку детям трудно зачастую выразить свои чувства и трудности с интерфейсом; также возникает часто противоречие между результатами интервью и фактическим поведением. При изучении реакции иностранцев учитывайте особенности менталитета, а также то, что вы для него — тоже иностранец.

Стресс. Старайтесь заранее изучить особенности поведения респондента, чтобы по возможности адаптироваться к его манере поведения.

При тестировании на детях используйте следующие рекомендации:

• Дайте время, чтобы ребенок успел привыкнуть. Поболтайте об играх, школе, мультфильмах.
• Дети могут чаще просить о помощи при выполнении задания. Важно, чтобы ребенок выполнил задачу самостоятельно.
• Дети быстрее устают и теряют фокус: ограничьте время сессии (не больше часа), устраивайте перерывы, изменяйте последовательность задач для разных детей, просите детей о помощи (помоги мне понять, как это можно сделать), поощряйте ребенка
• Важность невербальных сигналов: вздохи, улыбки, зевание, смех, раскачивание
• Уровень грамотности и понимания: важно, чтобы ребенок понимал сценарий тестирования; просите детей пересказать своими словами сценарий или задачу.

Выводы

При тестировании систем и сайтов для детей не используйте подход «от задач»: дети не выполняют задачу, а исследуют, играют с интерфейсом.

При тестировании иностранцев изучите особенность менталитета.

Составляйте грамотно тестовые задания: они должны быть короткими и однозначными. При этом в задании должна быть вся информация, необходимая для выполнения задания. В задаче не должно быть рассказано, как именно ее выполнить.

Исследуйте поведение респондента и его реакцию. В то же время, соотносите его реакцию и мнение с реальным выполнением тестов.

Примеры из жизни

У меня, редактора рассылки, был интересный опыт проведения юзабилити-тестирования в Камбодже на местных жителях, кхмерах. Среди удивительных открытий было то, что эти люди не изучают что-либо в одиночку, почти не читают. В силу того, что их собственный язык в написании очень сложный, они его читают с трудом; иностранный для них еще сложнее. Все изучение происходит за счет группового рассмотрения и опробования различных действий над устройством. Как правило, местные получают вводную информацию от друга или родственника. Отсутствует мотивация к изучению отсутствует, способность делать выводы.

Также было интересно наблюдать за ходом тестирования. У местных не принято выражать эмоции, поэтому наблюдение за эмоциями исключалось. Интервью и анкетирование дали мало полезных результатов. Большинство респондентов в силу менталитета не выразили негатива и не рассказали о своих сложностях, в то время как практический опыт показал много сделанных ошибок и несколько невыполненных заданий.

Знакомая, проводя юзабилити-тестирование на детях в Америке, рассказала также о своих сложностях. Основная проблема — дискриминация. В документах нигде нельзя даже косвенно указывать на расизм, феминизм. При проведении тестирования нельзя задеть случайно или дотронуться до респондента.