Тоня Самсонова
апрель 2016.
836

Как создать модель эксперимента, чтобы протестировать эффективность редизайна веб-сервиса (когда меняешь не один элемент, а сразу много)?

Ответить
Ответить
Комментировать
0
Подписаться
1
4 ответа
Поделиться

В первую очередь, конечно, нужно определить цели редизайна, а по ним KPI (ключевые показатели).

Далее было бы неплохо конкретизировать цели и показатели для изменяемых элементов — например, проверить гипотезу "сделаем анимированную шапку — получим больше входов на страницу вопроса".

Для качественного тестирования нужна примерно одинаковая аудитория для разных вариантов теста. В случае данного сервиса это скорее одинаково перемешанная аудитория (а не, например, студенты из Москвы, 18-25).

Проконтролировать, что посетители правильно сегментированы можно с помощью А/А тестирования. То есть выделить группы аудитории, показывать им одну и ту же версию и контролировать показатели по группам. Они должны быть примерно одинаковы.

Также стоит не забывать про погрешности. Даже на правильно сегментированной аудитории А/А тест будет давать не абсолютно равные результаты. Погрешность зависит от конкретных показателей.

В целом все-таки более долгий процесс A/B тестирования по элементам покажет более точный результат, чем MVT сразу всех, если хотите использовать его для этого.

Но нужно понимать, что MVT тестирование нужно использовать скорее в случаях, когда нужно протестировать именно комбинации разных изменений, а не ускорить получение результатов по набору отдельных изменений.

5
-1
Прокомментировать

Тут может помочь А/Б тестирование
Позволяет сравнить изменение показателей до и после редизайна.
На какие именно показатели обращать внимание - зависит от специфики сайта и сферы деятельности. 
Как это сделать с Google Analytics.

2
-1
Прокомментировать

Смотря в каком виде хотим получить информацию на выходе. Если конечная и единственная цель понять, что из изменений убрать, а что оставить, то тут все довольно просто. Садимся и думаем, какая цель была у каждого из изменений и какими метриками отработку этой цели мы можем отследить. Решили мы приглашать экспертов к обсуждению конкретных вопросов. Для чего? Чтобы увеличить количество релевантных ответов, я полагаю. Хорошо. Какие клики у нас вырастут, если увеличится релевантность? 

Далее думаем, какие еще изменения, которые мы приготовили, могут привести к нетипичной динамике метрик, по которым мы решили отслеживать эффективность приглашения экспертов к обсуждению. Сравниваем вероятную степень влияния на метрики этих изменений. Если осознаем, что в случае одновременного запуска выявить, что работает хорошо, а что плохо, невозможно, а дополнительных параметров замерять не можем, безжалостно режем запуск менее значимого, по субъективному мнению ответственного лица, изменения. 

И так по порядку, задаваясь вопросом о целях и утрясая модель до приемлемого вида, добавляя основные и дополнительные метрики и исключая перекрестное воздействие, оставляем только самое важное.

То, что невозможно на коротком периоде определить с помощью метрик, стараемся затестить фокус-группами. Можно из сотрудников компании и их друзей. На фокус-группах пока тестим и то, что было безжалостно вырезано из основной модели.

Не забываем учитывать влияние на метрики сторонних факторов. Скажем,мы оцениваем релевантность по количеству плюсов от людей, имеющих высокий рейтинг по данной теме (это сходу, могут быть другие варианты). Но мы должны помнить, что у Тони Самсоновой много друзей с высоким рейтингом и, если она делится ответом на своей странице в ФБ, то вероятность прироста количества плюсов от людей с высоким рейтингом увеличивается. И это может быть не связано с нашими изменениями, хотя ответ дал человек, которого пригласили к обсуждению.

Короче, это не сложно, но кропотливо. Надо пораскинуть мозгами и увязать все воедино, исключив противоречия. Все, что вычеркнуто, вводить постепенно позже. Ну или длительное бета-тестирование в помощь.

Кирилл Саенкоотвечает на ваши вопросы в своейПрямой линии
2
-1
Прокомментировать

Тесты - все это хорошо. Но гораздо эффективнее и практичнее сделать бета-тестирование (вывести бета на отдельный субдомен по типу beta.site.com).

Таким образом вы:
а) соберете действительно заинтересованную аудиторию;
б) проведете полный цикл тестирования;
в) можете не переживать за какие-либо косяки и баги.

0
0

Эмм.. бета-тест — не тест?)

0
Ответить

Неправильно сформулировал начало ответа, Вы правы:)
Имел в виду, что полноценный бета-тест гораздо эффективен, по сравнению с "частичными", если речь идет о полноценном редизайне.

0
Ответить
Прокомментировать
Ответить
Читайте также на Яндекс.Кью
Читайте также на Яндекс.Кью