Что именно означает А/Б проверка и для чего этот метод нужно
A/B проверка представляет собой способ проверки нескольких или дополнительных версий веб-страницы, интерфейса, текста, CTA-элемента, поля ввода, email-сообщения, маркетингового креатива либо прочего веб элемента. Основная задача заключается в этом, для того чтобы выяснить, какая версия лучше работает при практике. Вместо догадок плюс личных суждений применяется тест в рамках живой группы пользователей, когда одна доля получает формат A, тогда как вторая — вариант B.
Подобный метод помогает формировать решения на основе информации, но без опоры на субъективных вкусов либо случайных наблюдений. Внутри обзорных публикациях, среди них 1 win, нередко отмечается, будто сплит проверка наиболее ценно там, где точечные изменения способны сказываться по части поведение пользователей: нажатия, оформления профилей, передачу заявок, объем сессии, возвращаемость, покупки, подписки либо иные заданные шаги. Подход позволяет увидеть, реально ли именно корректировка улучшает 1win показатель.
Каким образом функционирует A/B тестирование
Принцип сплит тестирования относительно несложен. Сначала определяется объект, который требуется оценить. Таким элементом способен оказаться headline, визуальный тон кнопки, порядок секций, формулировка уведомления, логика анкеты, изображение, стоимость, формат условия а также расположение важного действия. Далее создаются как минимум двух варианта: исходный и тестовый. Вслед за этого трафик разделяется среди вариантами согласно до запуска заданным условиям.
Контрольная доля аудитории продолжает видеть исходную вариацию, тогда как вторая получает измененную. Платформа фиксирует данные касательно поведении каждой группы и анализирует результаты. Если версия B показывает лучший результат при нужном массиве данных, такой вариант получается использовать. Когда прироста нет а также обновленная версия показывает себя менее эффективно, корректировка отклоняется. В таком подходе а также проявляется прикладная польза эксперимента: он помогает оценивать гипотезы до момента полного 1вин запуска.
Почему необходимо сплит эксперимент
A/B тестирование необходимо с целью уменьшения сомнений. Внутри онлайн сервисах в том числе малая правка имеет шанс влиять на восприятие дизайна. Один headline может быть яснее альтернативного, краткая заявка имеет шанс проходиться чаще расширенной, а заметно более видимая CTA имеет шанс повысить количество нажатий. Если не использовать эксперимента такие решения обычно сохраняются гипотезами.
Метод помогает развивать платформу шаг за шагом. Вместо масштабной переработки полного ресурса а также приложения можно тестировать точечные объекты и измерять практический показатель. Такой подход сокращает вероятность слабых изменений, сокращает расход время и средства а также дает возможность собирать понимание касательно поведении аудитории. С течением периодом команда 1 win формирует не просто совокупность суждений, вместо этого модель валидированных действий.
Какие объекты получается проверять
Проверять допустимо практически разный блок, какой воздействует в отношении действия аудитории. Как правило преимущественно проверяют заголовки, вторичные заголовки, призывы к клику, тексты элементов действия, анкеты создания профиля, позицию блоков, изображения, карточки продуктов, последовательность этапов, инструменты отбора, меню, баннеры, подсказки, рассылки и промо объявления. Существенно, чтобы отобранный блок оставался соотнесен с конкретной конкретной задачей.
В случае если цель заключается в процессе росте переданных обращений, разумно проверять форму, сообщение возле нее, объем полей а также видимость кнопки. В случае если нужно увеличить длину просмотра, имеет смысл оценивать навигацию, секций рекомендаций, внутрисайтовые переходы плюс построение раздела. Если яснее связь 1win среди правкой а также метрикой, тем самым информативнее итог эксперимента.
Гипотеза в качестве фундамент теста
Каждый хороший A/B проверка стартует на основе проверяемой идеи. Гипотеза формулирует, какого типа изменение рассматривается, по какой причине оно может повлиять по части показатель плюс какой именно показатель должен сдвинуться. К примеру, можно предположить, если упрощение формы создания профиля снизит объем уходов, потому что именно пользователю нужно будет значительно меньше времени с целью завершения действия.
Корректная формулировка не следует оставаться очень размытой. Формулировка наподобие «сделать страницу качественнее» не помогает помогает измерить эффект. Более точный пример: «когда обновить растянутый формулировку элемента действия на более краткий плюс понятный, число переходов увеличится, потому ведь действие окажется яснее». Такая гипотеза непосредственно 1вин задает объект эксперимента, причину а также критерий.
Исходная плюс экспериментальная аудитории
В A/B эксперименте контрольная группа видит первоначальный версию, а тестовая — измененный. Это разделение важно для объективного анализа. Когда без контроля обновить версию затем оценить показатели до и после изменения, эффект может исказиться по причине периодичности, промо активности, изменения потоков трафика, информационного фона, технических ошибок или других окружающих факторов.
Одновременный вывод отличающихся решений уменьшает роль непредвиденных факторов. Обе аудитории находятся в похожей среде: единый плюс тот идентичный отрезок, те идентичные источники трафика, близкие платформы и общий фон. Следовательно различие внутри метриках с 1 win значительной вероятностью связано в первую очередь с корректировкой, а не с внешними внешними факторами.
Какого типа метрики используются внутри A/B проверках
Метрика — представляет собой число, согласно чему измеряется итог проверки. Определение критерия зависит на основе задачи теста. Ради лендинга с размещенной формой важны отправки форм, в случае интернет-магазина — переносы внутрь корзину плюс заказы, для медиаресурса — длина изучения а также время чтения, в случае сервиса — регистрации, активации, удержание и дальнейшие 1win действия.
Существенно различать основную а также вторичные критерии. Основная отражает, для чего делается эксперимент. Дополнительные позволяют выявить побочные эффекты. В частности, правка кнопки способно увеличить клики, но ухудшить результативность следующих действий. Следовательно полезно смотреть не исключительно лишь по начальный клик, но еще по дальнейшее действие: окончание заявки, возвращения, уходы, проблемы а также итоговую значимость результата.
Математическая существенность
Математическая существенность демонстрирует, в какой степени вероятно, будто полученная отличие среди вариантами не является считается случайным колебанием. Когда первый вариант немного опережает альтернативный вслед за ряда десятков посещений, такой результат все еще не означает показывает победу. При ограниченном количестве данных итог может оперативно поменяться, после того как 1вин группа окажется шире.
С целью корректного заключения необходимо достаточное объем событий. Насколько меньше ожидаемая дельта среди вариантами, настолько значительнее сведений потребуется накопить. Когда изменение обязано повысить метрику лишь на пару процентов, эксперименту нужно будет значительно больше длительности и посещений. Математическая значимость помогает избегать принимать поспешные решения по основе случайных изменений.
Масштаб аудитории плюс длительность эксперимента
Размер аудитории сказывается в отношении качество результата. В случае если тест получает очень ограниченный объем людей, выводы имеют шанс быть сомнительными. К примеру, малое число новых кликов внутри первой аудитории имеют шанс казаться в виде увеличение, но при большем объеме станут обычной колебанием. Поэтому до момента начала важно понимать, какой объем людей 1 win либо действий нужно ради подтверждения гипотезы.
Продолжительность проверки тоже получает роль. Чрезмерно быстрый тест имеет шанс не учитывать отличия среди рабочими а также праздничными сутками, дневной плюс поздней активностью, несколькими потоками посещений. Обычно эксперимент должен охватывать завершенный круг поведения посетителей. Но при таком подходе очень долгий тест равно неподходящ, если окружающие условия могут ощутимо измениться.
Зачем нельзя менять тест во время проведения
Распространенная в числе частых просчетов — вносить правки по ходу тест после момента старта. Когда внутри процессе эксперимента поменять текст, аудиторию, оформление, правила показа либо цель, показатели станут неоднородными. После этого станет непросто выяснить, какое изменение именно повлияло по части итог. Проверка утратит корректность, а результаты станут сомнительными 1win.
До старта следует определить гипотезу, форматы, метрики, разбивку аудитории и критерии окончания. С момента начала желательно не менять условия без критичной причины. Когда обнаружена проблема на уровне настройке а также служебный сбой, разумнее прервать эксперимент, починить сбой затем начать новый проверку, чем пытаться объяснять некорректные наблюдения.
Одновременное сравнение нескольких изменений
Иногда формируется стремление проверить сразу несколько изменений: другой headline, другую CTA, упрощенную анкету а также перестроенный порядок элементов. Этот вариант способен выдать суммарный эффект, однако не объяснит, какой конкретно элемент сказался по части метрику. Если новая версия выиграла, будет неочевидно, какой элемент повлияло лучше остального.
Для чистой сравнения обычно меняют единственный значимый фактор в 1вин раз. В случае если необходимо сравнить разные комбинаций, задействуется многовариантное тестирование. Оно многоуровневее, предполагает значительного объема посещений а также аккуратной интерпретации. В случае большинства целей A/B эксперимент с одной одной ясной идеей дает гораздо более понятный плюс практичный эффект.
Примеры A/B проверки на уровне UI
На уровне интерфейсах A/B тестирование регулярно применяется ради повышения доступности сценариев. В частности, допустимо сопоставить пару вариации анкеты: объемную с множеством полей плюс упрощенную с минимальным сокращенным набором полей. В случае если краткая анкета повышает количество оконченных оформлений профиля без риска потери результативности форм, этот вариант допустимо считать гораздо более результативной.
Другой случай — тестирование надписи CTA. Нейтральная надпись способна стать менее понятной, по сравнению с точное объяснение результата. Кроме того сравнивают позицию CTA-элементов, очередность контентных блоков, дизайн 1 win пояснений, присутствие шкалы выполнения, способ отображения ошибок плюс число действий в пути. Отдельный этот фактор воздействует по части то, в какой степени удобно выполнить целевое событие.
A/B проверка на уровне содержании
На уровне материалах проверка позволяет выяснить, какого типа названия, описания, схемы плюс типы лучше привлекают внимание. Допустимо проверять отличающиеся первые абзацы, объем текста, порядок доводов, наличие маркированных блоков, оформление элементов, описание выгод или стиль подачи сложной темы. Вместе с этом важно измерять не только только переходы, однако и следующее взаимодействие.
Headline может усилить число переходов, однако в случае если материал не будет соответствует интересам, увеличится часть отказов. Следовательно редакционные проверки должны учитывать глубину чтения: период просмотра, скролл, перемещения внутри ресурса, повторные визиты и завершение заданных действий. Сильный эффект — представляет собой не только исключительно захват внимания, но согласование запроса плюс материала.
A/B проверка в email-кампаниях
Внутри email-кампаниях часто сравнивают темы сообщений, имя автора, первые предложения, момент отправки, размер email, позицию элементов действия а также тексты офферов. Часть подписчиков получает контрольную формат сообщения, второй сегмент — тестовую. Затем рассылкой сопоставляются открытия, переходы, отказы от подписки, жалобы а также последующие действия в пределах платформе.
Существенно не ограничиваться значением open rate. Тема email может оказаться заметной плюс привлекать внимание, при этом когда она не совпадает содержанию, клики а также уверенность имеют шанс снизиться. Поэтому качественный почтовый эксперимент измеряет полную воронку: просмотр, переход, поведение после клика а также реакцию аудитории касательно рассылку.