Топ-100 Многовариантное тестирование vs. A/B тестирование: Постепенные vs. Радикальные изменения | UXLab
Баннерная слепота: рекомендации по созданию промо-материалов
16.05.2018
Как проектировать эмоциональный интерфейс для скучного приложения
16.05.2018

Многовариантное тестирование vs. A/B тестирование: Постепенные vs. Радикальные изменения

Резюме: Радикальные редизайны лучше всего тестируются при помощи A/B тестирования, в то время, как многовариантные тесты показывают, как различные элементы интерфейса взаимодействуют друг с другом и способствуют постепенному улучшению дизайна.

В мире методов оптимизации дизайна A/B тестирование самый популярный метод. Многовариантное тестирование — это менее понятная альтернатива, часто считающаяся слишком трудоемкой, чтобы ее использовать. Хотя этот метод имеет свои ограничения, они уравновешиваются преимуществами, которые трудно достигнуть с помощью A/B тестирования.

Многовариантное тестирование (МВТ)

Предположим, вы хотели оптимизировать дизайн страницы продукта, чтобы максимизировать конверсию добавления товара в корзину. Вы рассматриваете несколько возможных изменений:

  • Использование видеоролика продукта вместо изображения
  • Изменение подписи кнопки призыва к действию с «Купить сейчас» на«Добавить в корзину»

Многовариантный тест может помочь вам решить, какая комбинация этих вариантов дизайна будет оптимизировать конверсии.

Давайте сначала разберемся в терминологии:

  • Переменная: элемент интерфейса (например, изображение или заголовок) с несколькими возможными вариантами дизайна

В нашем примере электронной коммерции переменные представляют собой визуальное представление продукта и подпись кнопки призыва к действию.

  • Вариант: каждая версия дизайна переменной

Изображение и видео продукта представляют собой два варианта визуального представления переменной; подписи «Добавить в корзину» и «Купить сейчас» — это варианты призыва к действию.

  • Вариация: итоговый дизайн, содержащий вариант каждой переменной, который можно сравнить с другими вариациями

В нашем примере будет 4 вариации дизайна, соответствующие всем возможным комбинациям вариантов переменных: изображение x Добавить в корзину, изображение x Купить сейчас, видео x Добавить в корзину, видео x Купить сейчас.

Определение: многовариантный тест (МВТ) — это метод оптимизации дизайна, в котором несколько вариантов указанных переменных тестируются в интерфейсе с целью максимизации конверсий (важных конверсий, таких как завершение заказа, или микроконверсий, таких как взаимодействие с элементом на странице). Этот метод определяет, какая комбинация вариантов приводит к наивысшей производительности (с точки зрения указанной цели конверсии).

многовариантный тест (МВТ)

В многовариантном тесте проверяются 2 или более элементов дизайна (переменные). Каждая из этих переменных может иметь несколько вариантов. Например, на приведенной выше странице мы могли бы протестировать две переменные: визуальное представление продукта (с двумя вариантами: изображение или видео) и подпись основного призыва к действию (с 2 вариантами: Купить сейчас или Добавить в корзину).

Разница между многовариантным и A/Bтестированием

Многовариантное тестирование часто рассматривается как разновидность A/В тестирования, хотя их настройка и сильные стороны несколько отличаются. Ниже приведены сходства и различия между ними:

  • Оба метода тестируют варианты дизайна сравнивая их путем деления трафика сайта (или приложения) между различными вариантами.
  • Оба способа измеряют, какая альтернатива дизайна (т. е. вариация) приводит к максимальной скорости конверсий для определенных целей.
  • В A/B тесте проверяемые варианты могут полностью отличаться друг от друга, и совсем не из-за манипулирования небольшим набором переменных. Например, у вас могут быть две страницы с совершенно разными макетами, текстом, навигацией, визуальным дизайном и т. д.Результат A/B теста будет указывать на то, что один вариант работает лучше другого, но вы не узнаете, что лучше: текст, визуальный дизайн или макет (или комбинация этих факторов).

Напротив, если вы используете МВТ, вы, как правило, сможете определить значимость одного конкретного варианта или комбинации вариантов. Таким образом, вы сможете, например, узнать, что видео продукта значительно увеличивает конверсию, по сравнению с изменением подписи кнопки. Это может дать вам дальнейшую стратегию и понимание дизайна (например, это может сказать вам, что стоит инвестировать в создании хороших видеороликов).

МВТ измеряет взаимодействия между элементами

Вернемся к нашему первому примеру с электронной торговлей. Вы можете задаться вопросом, дадут ли два последовательных A/B теста тот же результат, что и МВТ. В частности, давайте представим, что сначала вы запускаете A/B тест для сравнения видео с изображением — предположим, что видео победит. Затем, по вариации выигрыша (т. е. Видео), вы проведете еще один A/B тест между двумя возможными подписями кнопок, и «Купить сейчас» окажется лучше. Разве этот результат не был бы эквивалентен тесту МВТ?

Ответ: не обязательно. Возможно, оптимальная комбинация — это изображение x Купить сейчас, но вы не проверили эту версию.

Основным преимуществом запуска многовариантного теста вместо A/B теста, является способность определять, как различные элементы на странице взаимодействуют друг с другом. Только тестируя каждую комбинацию различных вариантов, вы сможете не только понять, что визуальный элемент, А работает лучше, чем визуальный элемент B, а эта кнопка C работает лучше, чем кнопка D, но вы также можете найти наилучшую комбинацию из них.

Ограничения МВТ

Вариации, возникающие из каждой комбинации вариантов, размножаются как кролики. Даже наш довольно простой пример электронной торговли имеет 4 вариации дизайна для сравнения, соответствующие всем возможным комбинациям двух переменных. Добавление еще одного варианта для переменной «призыв к действию» (например, «Покупка») создало бы еще 2 вариации, генерируемые путем объединения этого варианта с 2 другими вариантами переменной визуального представления. (В общем, количество вариаций будет получено путем умножения числа вариантов для каждой переменной. Tак что, если у вас было 2 переменные, одна с 2 и другая с 3 вариантами, вы получите 2×3 = 6 вариаций.)

Ограничения МВТ

Две переменные, каждая из которых имеет 2 варианта, приводят к 4 вариациям дизайна в многовариантном тесте, чтобы представить все возможные комбинации этих вариантов.

Большое количество вариаций, которые необходимо протестировать в многовариантном тесте, приводит к наибольшему ограничению этого метода: для того, чтобы достичь статистической значимости, обычно требуется больше трафика для выполнения многовариантного тестапо сравнению с A/B тестированием. Это связано с тем, что каждая вариация, добавленная к сравнению, приводит к тому, что реальный трафик делится на более мелкие части, и, следовательно, также может потребоваться много времени для сбора достаточного количества данных для каждой альтернативы дизайна. (Однако имейте в виду, что время, необходимое для запуска теста, зависит не только от общего трафика, но и от ожидаемого изменения коэффициента конверсии для цели эксперимента, поскольку более крупные улучшения легче измерить, чем небольшие.) В общем, разделение реального трафика между большим количеством вариаций приводит к более длительным экспериментам.

Другим ограничением МВТ является то, что все комбинации вариантов должны иметь смысл вместе. Например, при тестировании вариантов изображения и заголовка на странице не следует писать заголовки, которые относятся к деталям варианта изображения (например, «Замечательные спа-каникулы» и «Замечательный отдых на пляже» с соответствующими фотографиями), потому что каждый заголовок будет сопровождать каждое изображение в вариации для теста. Такой тип экспериментов лучше проводить как A/B тестирование, поэтому комбинации могут быть более контролируемыми.

Используйте МВТ для улучшения дизайна, а не полной его переделки

Многовариантное тестирование — скорее отличный способ внести дополнительные улучшения в дизайн, а не провести полный редизайн. Поскольку оно требует, чтобы вы идентифицировали определенные элементы, представляющие интерес, на странице для тестирования нескольких вариантов этой переменной, вы не сможете легко сравнивать радикальные изменения в разных вариантах.

Используйте МВТ для улучшения дизайна, а не полной его переделки

Для крупных редизайнов запустите A/B тест между оригиналом и предлагаемой новой версией, чтобы определить какая лучше. Затем уточняйте различные элементы выигрышного дизайна, используя многовариантные тесты. Всегда проводите итерации!

Если ваша цель — перейти к основательному редизайну (например, редизайн макета), A/B тест для сравнения этого нового дизайна с текущим является более подходящим, чем МВТ. Как только вы найдете более эффективный дизайн, используйте многовариантные тесты для дальнейшего улучшения определенных элементов в победившем макете.

Добавить комментарий

Ваш e-mail не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Бесплатный звонок

 

Вы можете оставить номер и мы сами вам перезвоним 

Представьтесь, пожалуйста:

Введите ваш номер

 

×
Заказать юзабилити-аудит

 

Для заказа аудита заполните, пожалуйста, форму, либо свяжитесь с нами по телефону: +375 29 378 16 13

Представьтесь, пожалуйста:

Как с вами связаться? Например, телефон, e-mail или скайп
Расскажите немного о вашем проекте:(необязательно)

 

×
Заказать веб аналитику

 

Для заказа веб аналитики заполните, пожалуйста, форму, либо свяжитесь с нами по телефону: +375 29 378 16 13

Представьтесь, пожалуйста:

Как с вами связаться? Например, телефон, e-mail или скайп
Расскажите немного о вашем проекте:(необязательно)

 

×
Заказать проектирование

 

Для заказа проектирования заполните, пожалуйста, форму, либо свяжитесь с нами по телефону: +375 29 378 16 13

Представьтесь, пожалуйста:

Как с вами связаться? Например, телефон, e-mail или скайп
Расскажите немного о вашем проекте:(необязательно)

 

×
С нами очень просто связаться

 

Вы можете оставить свои контакты и мы сами вам перезвоним 

Представьтесь, пожалуйста:

Введите ваш номер

Или адрес электронной почты, если вам удобнее общаться через нее

 

×