А и Б сидели на трубе: как сделать A/B-тестирование сайта

Красная кнопка или зеленая? Крупный шрифт или мелкий? Маленькая форма или большая? Ответы на эти и другие сакральные вопросы сайтостроения помогает найти A/B-тестирование — мощный инструмент для проверки гипотез и повышения конверсии.

2 256 просмотров

О пользе A/B-тестирования говорят многие, но делают его лишь единицы. А зря. С помощью этого инструмента можно определить, как улучшить элементы на сайте, чтобы вызвать положительный отклик у посетителей и увеличить конверсию. Причем таким элементом может быть совершенно любая составляющая веб-страницы, от заголовков и лид-форм до цветовой палитры и изображений.

В принципе, через A/B-тесты можно прогнать хоть весь сайт целиком. Главное — не весь сразу, а отдельными частями.

Разбираемся, что к чему и как проводить A/B-тестирование.

Что это

A/B или сплит-тестирование — метод исследования сайта, когда сравниваются два варианта реализации одного элемента. Тест проводится, чтобы выявить наиболее удачный.

По сути, это эксперимент или серия экспериментов, когда проверяется реакция пользователей на элемент «до» и на элемент «после». То есть когда вы решили что-то изменить на сайте, например, поменять цвет кнопок или разместить всплывающий виджет для подписки на новости.

В результате экспериментов мы получаем цифры. Никаких интуитивных предположений и умозрительных заключений, только статистические данные, основанные на действиях посетителей. Они говорят сами за себя и направляют вас на путь истинный. Так вы уже можете делать выводы и решать, стоит ли что-то менять или нет.

В этой статье мы рассматриваем A/B-тестирование на примерах сайтов, но держите в голове, что с помощью него можно проверять эффективность практически всех маркетинговые активностей: email-рассылок, скриптов колл-центра, текстов смс, рекламных объявлений в Яндексе и Google. Воистину универсальный инструмент.

Что можно тестировать на сайте

Что угодно.

Возьмите любой элемент:

  • Заголовок (название сайта).
  • Логотип.
  • Дескриптор.
  • Навигация (меню — главное и второстепенное).
  • Лид-формы (форма регистрации, заявка на подписку и так далее).
  • Призыв к действию (CTA, Call-to-action).
  • Разнообразные виджеты (рубрики сайта, популярные и последние посты, комментарии, погода, соцсети).
  • Рекламные ссылки и баннеры.
  • Изображения, видео.
  • Анимированные элементы.
  • Контакты.

Все это можно и нужно тестировать. Каждый перечисленный элемент имеет важное значение в воронке продаж и может повлиять на показатель конверсии.

И у сайта, и у посадочной страницы протестировать можно практически все: цвета, шаблоны, тексты, формы кнопок, дизайн, баннеры, источники трафика. Перечень безграничен.

Чем больше переменных вы сравните, тем лучшего результата вы можете достичь.

Кто пользуется A/B-тестами

Регулярно A/B-тестирование проводят такие известные IT-гиганты как Amazon, Uber, Spotify, Airbnb, Netflix, Pinterest.

Вам тоже уже давно пора начать, ну.

Из чего состоит A/B-тестирование

Пройдем по матчасти.

Принцип

Главный принцип А/B-тестирования: каждому новому посетителю сайта поочередно демонстрируют два варианта целевой страницы. Страница А — оригинальная версия, страница Б — тестовый вариант, который отличается от страницы А по одному параметру.

При этом посетитель не догадывается, что есть второй вариант. Когда число показов достигает предварительно установленной величины (к примеру, 1000), сравнивают полученные показатели конверсии и выбирают более эффективный вариант.

  Схема A/B-тестирования, Habr

Основные правила

Идея А/B-тестирования выглядит довольно соблазнительно. Больше не нужно спорить о вкусах и взывать к авторитетам. Но чтобы получить от тестов корректные данные, нужно следовать правилам. Таковы правила игры.

Для начала вам нужно:

1) Правильная гипотеза

Гипотеза — то, что отличает A/B-тестирование от проверки на «авось». Типа: «Давайте сделаем так, если не полетит — сделаем этак».

Гипотеза — это утверждение или догадка, которую мы проверяем опытным путем. Тестировать без нее, просто ради любопытства — пустая трата времени, так как даже при положительном результате никаких выводов о целевой аудитории сделать не получится.

Правильно сформулированная гипотеза — половина успеха тестирования.

Откуда их брать?

Конечно, можно из головы, но намного лучше — из проблемной ситуации. Допустим, мало переходов по кнопке заказа, или пользователи не листают страницу до конца. Гипотеза в первом случае звучит так: «Если разместить кнопку в другом месте, конверсия увеличится».

Очевидно: вопрос не в самой формулировке гипотез, а в том, как найти проблему или идею, которая станет ее фундаментом.

Какие гипотезы стоит проверять?

  • Основанные на анализе тепловой карты кликов.
  • Основанные на карте скроллинга.
  • О кнопках.
  • О заголовках
  • О изображениях
  • О формах.

Опираясь на эти гипотезы, вы значительно увеличите вероятность того, что тестирование принесет пользу.

Тепловая карта кликов в Яндекс.Метрике

2) АА-тесты

A/A — «младший брат» A/B. По сути, это такой предварительный тест, который делают заранее перед основным исследованием. A/B-тест пригоняет трафик на первоначальный и контрольный вариант и показывает, какой работает лучше.

A/A — то же самое, только для двух одинаковых страниц. Цель — не увидеть различий в показателях. Разделив трафик пополам, убедитесь, что у страниц приблизительно одинаковая конверсия. Если разница будет высокой, то проводить A/B-тестирование вообще нет смысла.

Потому что если уже на этом этапе у вас разные результаты, то при самом исследовании они окажутся еще более непредсказуемыми.

Что может повлиять на показатели A/A-теста? Много всего: и разные браузеры, и типы устройств, и интеграция инструментов аналитики.

Другими словами, A/A-тест — это проверка предварительных настроек и однородности аудитории, чтобы получить данные, наиболее приближенные к реальности.

Как видите, A/A и A/B дополняют друг друга.

Только 20% экспериментов дают достоверные результаты. Статистической значимости и большой репрезентативной выборки уже недостаточно. Поэтому не поленитесь и используйте эту технику до A/B-тестирования.

3) Формулы с доверительными интервалами

Тут уже начинается сплошная математика, напрягите извилины.

Доверительный интервал — показатель точности измерений. Он демонстрирует, насколько стабильна полученная величина, то есть насколько близкую величину (к первоначальной величине) вы получите, если повторите эксперимент.

По сути, это интервал в котором «скорее всего» лежит истинное значение. Фраза «скорее всего» весьма интуитивна, а мы здесь наоборот пытаемся избавиться от танцев с бубнами и предсказаний погоды по мху. Поэтому чтобы его формализовать, на помощь приходит понятие уровня значимости α. Уровень значимости связан с доверительным интервалом и отражает степень нашей уверенности, что истинное значение находится внутри данного доверительного интервала. Чем меньше уровень значимости, тем мы более уверены.

Формула для расчета доверительного интервала громоздкая и пользуются ей только аналитики. Но если вкратце: размер доверительного интервала зависит от количества участвующих в тестировании пользователей, полученного результата и уровня статистической значимости. Если увеличивается количество пользователей, которые участвуют в тесте, и количество кликов на сайте, доверительный интервал уменьшится.

В некоторых сервисах статистическая значимость и доверительный интервал определяются автоматически. Это значит, что формулы и аналитики не понадобятся. Наиболее часто используемые доверительные уровни: 90%, 95% и 99%.

В основном для A/B-тестов берут интервал 95%. То есть с вероятность 95% мы можем утверждать, что разница между конверсиями есть.

Правила строгие и с первого взгляда кажутся сложными, но их вполне реально выполнить.

Этапы

Итак, действуем поэтапно.

Этап № 1. Сформулируйте гипотезу

О том, зачем это нужно, мы уже сказали выше. Найдите свою боль и тестируйте ее.

Этап № 2. Определитесь с целевым показателем

Как правило, отслеживаются:

  • Доход.
  • Транзакции.
  • Цели.
  • Длительность сеанса.
  • Отказы.
  • Просмотры страниц.

Убедитесь, что у вас подключена и настроена система аналитики, которая все зафиксирует.

Этап № 3. Рассчитайте размер выборки

Выборка — это количество пользователей, которые должны пройти через страницы, чтобы результаты тестирования были статистически значимы (то есть они не могли возникнуть случайно), и вы могли бы им доверять.

Это число зависит от того, насколько сильные изменения вы ожидаете увидеть.

Например, текущая конверсия сайта составляет 4%. Следовательно, минимальное количество пользователей, при котором можно будет определить 25-процентную разницу в конверсии — 6238.

Рассчитать выборку можно с помощью специальных онлайн-калькуляторов

Этап № 4. Определите продолжительность тестирования

Минимальная продолжительность — неделя.

Даже если вы набрали статистически значимое количество посетителей за полдня, все равно надо держать тест до недели. Это связано с тем, что в разные дни недели поведение может очень сильно различаться.

Если покупка у вас — целевой показатель, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это.

В среднем рекомендуемое время тестирования — 10-14 дней.

Определившись со временем, никогда не останавливайте тест раньше, даже если в первые несколько дней один вариант уверенно лидирует. Для достоверных результатов нужно время.

Этап № 5. Проверьте однородность аудитории

После запуска теста поток посетителей будет распределяться 50/50 и важно, чтобы эти две части были максимально однородными и похожими. То есть на конечный результат должен влиять только ваш эксперимент.

Однородность можно проверить посредством A/A-теста, о котором мы уже рассказали выше.

Этап № 6. Запустите тест

Во время самого теста тоже не стоит расслабляться и курить бамбук.

Он может начать показывать аномально резкие отличия. Например, на исходной странице конверсия 5%, а на тестируемой — 0%. Если у вас произошло что-то подобное, проверьте, все ли кнопки и ссылки на странице рабочие.

Но, повторимся, ни в коем случае не прекращайте тест, пока не пройдет время, которое вы определили ранее, и пока не наберется достаточное количество человек.

Этап № 7. Анализ результатов

Когда наберется нужный размер выборки и завершится отведенное время, тестирование следует закончить. Людей недостаточно? Продолжайте тест. Не обнаружили разницы в конце эксперимента? Нажимайте на стоп и анализируйте, что получилось.

После окончания теста нужно проверить значимость полученных результатов. Если результат статистически не значим, изменения не влияют на оцениваемый показатель.

Этап № 8. Повторное тестирование

Даже если данные достоверны, эксперимент продолжался достаточное количество времени и один из вариантов точно победил, провести тестирование еще раз — обычная и хорошая практика.

Так вы точно будете уверены в результатах.

  А/В-тестирование в цифрах

— От 1 000 посетителей нужно, чтобы получить данные в ходе А/В-тестирования.

— От одной недели обычно длиться сплит-тест.

— От двух периодов, достаточных для совершения покупки, должен продолжаться А/В-тест.

Инструменты

Инструменты для A/B-тестирования в основном бесплатны, легкодоступны и чаще всего представляют собой часть более крупных сервисов аналитики.

Например, у сайтов это — Google Analytics и Яндекс. Метрика, у email-рассылок — специальные сервисы MailChimpRejoinerAbandon Aid.

Все они имеют встроенные инструменты для A/B-тестирования.

Но можно пользоваться и совсем специализированными, например, REES46 для тестирования блоков товарных рекомендаций в интернет-магазинах.

Типичные ошибки

Если А/B-тест провести с ошибкой, то вы не только потратите время зря, но и можете принять неправильные решения и понести убытки.

Конечно, от ошибок никто не застрахован, на самых распространенных вполне можно избежать.

1. Не проводить A/B-тесты вообще. Ошибка номер один — люди или вообще ничего не тестируют, или делают это интуитивно.

Сайт всегда можно сделать лучше. Если раньше сравнивали откровенно плохие и хорошие страницы и удивлялись, как взлетела конверсия после тестов и изменений, то сейчас — хорошие и еще более хорошие. Поэтому и результаты не так заметны.

Но тестировать, определенно, стоит — затем, чтобы получить еще одно конкурентное преимущество.

2. Тестировать все и сразу. Тестируйте только один элемент на одной странице или группе страниц, иначе вы не сможете определить, что именно дало результат.

Например, если вы тестируете варианты кнопки «Купить» и при этом меняете текст, то как определить, что в какой пропорции сработало? Если же вы будете тестировать только один элемент — вопросов не возникнет.

Так что не больше одного теста за раз, не разгоняйтесь.

3. Тестировать первую попавшуюся идею. Тестировать первую пришедшую в голову идею — не гут. Разница между идеей и гипотезой в том, что вторая содержит точное обоснование, почему целевой параметр изменится.

Намучившись с тестами, основанными на просто идеях, руководство и вся команда может полностью разочаровываться в оптимизации и забить на сплит-тесты. Не надо так.

4. Забывать о сезонности. Не стоит запускать A/B тестирование во время высокого и низкого сезона, это может значительно исказить результаты теста.

5. Воспринимать чужой опыт как единственно верный. Все хотят блог как Т—Ж, но не у всех получается. При А/В-тестировании важно не слепо копировать чужие решения, а учитывать особенности своей компании.

6. Тестировать незначительные изменения. Замена фразы «команда профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности «Машиностроение» и опытом 12 лет» ни на что не повлияет. Если просто поменять одну витиеватую (но бессмысленную) фразу на другую, эффект не изменится. Поэтому и тестирование тут смысла не имеет.

7. Не тестировать влияние разных элементов страницы. Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.

8. Проводить сплит-тестирование на нерелевантных фокус-группах. Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах.

Но получить достоверные результаты можно только если участниками тестирования будут именно представители целевой аудитории, никак иначе.

9. Неправильно интерпретировать данные. Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.

При работе с цифрами уже можно подключить аналитика, чтобы правильно интерпретировать результаты.

10. Переоценивать А/В тестирование. Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже.

В то же время на эффективность страницы влияют и скорость загрузки, и устройство, и источники трафика. Поэтому не забываем о бэкенде, господа.

Что в итоге

Конечная цель A/B-тестирования — повысить показатели прибыли, регистраций, скачиваний и так далее. Достигается она за счет полноценного изучения своей аудитории.

И вот мы получили результаты тестирования. Что дальше?

Если результаты теста удачные:

  1. Внедряем изменения на сайте.
  2. Если есть возможность применить аналогичные изменения на других страницах, создаем новый эксперимент и тестим уже эти гипотезы.
  3. Переходим к следующему A/B-тесту.

Если результаты теста неудачные:

  1. Анализируем данные, которые использовали при составлении гипотезы на основе полученного опыта, и пытаемся улучшить ее.
  2. Формулируем новую гипотезу.
  3. Проводим новый эксперимент.

А/B-тесты сами по себе не гарантируют успеха. Нужен системный подход, понимание конечной цели и метрики для оценки результатов. Поэтому закономерный следующий шаг — аналитика и работа над сайтом.

2 256 просмотров
Подпишись

Мы отправляем полезные материалы, которые помогут вам в работе

Популярные статьи в категории Маркетинг