Apple даёт каждому разработчику бесплатный канал для A/B-тестирования прямо внутри App Store Connect. Большинство инди-разработчиков ни разу им не пользовались.

Речь не о платных Custom Product Pages для рекламных кампаний. Это встроенный инструмент Product Page Optimization, и работает он на органическом трафике. То есть он тестирует тех пользователей, которые действительно нашли вас через поиск или просмотр.

Вот что стоит тестировать, как долго это делать и как читать результаты, не теряя уже завоёванных позиций.

Что такое Product Page Optimization на самом деле

Product Page Optimization (PPO) позволяет создать до трёх вариантов-трактовок страницы вашего приложения. Apple распределяет ваш органический трафик App Store между контрольной версией и вашими вариантами, а затем измеряет, какая версия конвертирует лучше.

Тестировать можно три элемента: иконку приложения, скриншоты и превью-видео. Распределение трафика и измерения берёт на себя Apple. Вы выбираете варианты и задаёте целевую долю трафика.

Это настоящий A/B-тест на реальном органическом поисковом и просмотровом трафике. Это не симуляция. Это не панельный опрос. Это ваши реальные пользователи.

Вопрос в том, что и когда тестировать.

Тестируйте скриншоты раньше иконки

Большинство разработчиков по умолчанию начинают с тестирования иконки, потому что она визуально бросается в глаза и кажется решением с высокой отдачей. Обычно это неверный первый тест.

Вот почему: иконка появляется в результатах поиска и на просмотровых экранах ещё до того, как пользователь дойдёт до вашей страницы. Она влияет на кликабельность, то есть на то, нажмёт ли человек вообще на ваш листинг. А PPO измеряет конверсию уже после нажатия, на самой странице приложения.

Скриншоты — это то, на что большинство пользователей смотрит на странице приложения, прежде чем решиться на загрузку. Для большинства инди-приложений без сильного бренда или большого числа отзывов именно скриншоты несут основную нагрузку по конверсии.

Начинайте с них.

Для приложения вроде Pi Digits, у которого сейчас всего 1 оценка в США и которое конкурирует с устоявшимися приложениями для тренировки мозга, скриншоты — это главная точка доверия. Пользователь, нашедший приложение по запросу вроде «memory trainer», оценивает скриншоты почти сразу после нажатия. Если за две секунды скриншоты не делают ценность очевидной, сессия заканчивается.

Тестируйте порядок скриншотов и подпись к первому скриншоту. Именно там для большинства инди-приложений живёт изменение конверсии с самой высокой отдачей.

Для чего на самом деле нужен тест иконки

Тестируйте иконку, когда у вас есть один из этих конкретных вопросов:

  • Вы обновили брендинг и хотите получить данные, прежде чем окончательно его закрепить.
  • Ваш кластер ключевых слов сместился, например с «math games» на «memory challenge», и вы хотите понять, по-прежнему ли иконка соответствует этому намерению.
  • Ваша кликабельность с просмотровых экранов измеримо ниже, чем у конкурентов, по данным выгрузки ключевых слов Marteso, и вы уже исключили скриншоты как причину.

Тесты иконки медленнее доходят до статистической значимости, потому что иконка влияет на кликабельность, а для чистого прочтения нужны данные по кликам в связке с данными по установкам. При малом объёме трафика тест иконки может месяцами не давать результата, на который можно опереться.

Отложите превью-видео, пока не будете готовы

Превью-видео в PPO — самый дорогой тест: оно требует продакшн-работы, требует версии видео, оптимизированной под страницу приложения, и может выйти боком, если сделано небрежно.

Для большинства инди-разработчиков превью-видео — последнее, что стоит тестировать. Осмысленная последовательность такая: скриншоты, затем иконка, затем превью-видео.

Не позволяйте самой возможности превращаться в обязанность.

Большинство тестов слишком короткие

Самая распространённая ошибка в App Store PPO — остановить тест через неделю.

Недели почти никогда не хватает для набора трафика, достаточного для статистической значимости у инди-приложения. Рекомендации Apple предлагают гонять тесты до достижения значимости, но ждать не заставляют. Дашборд может показать вам убедительного на вид победителя на 7-й день, а к 21-му дню всё развернётся в обратную сторону.

Вот практическое правило: гоняйте тест минимум 3 недели, прежде чем принимать решение, и не запускайте тест прямо перед сезонным всплеском, потому что этот трафик не отражает обычное поведение.

Если Apple показывает значимость раньше 3 недель, зафиксируйте это, но не действуйте сразу. Дайте тесту доработать. Ранняя значимость часто оказывается шумом от всплеска трафика, который искажает выборку.

Как читать результаты без диплома по статистике

Apple показывает для каждого варианта уровень доверия и оценку улучшения. Вам нужно смотреть на две вещи.

Первое — доверие выше 90%. Apple использует байесовскую модель. Когда доверие переваливает за 90%, результат достаточно надёжен. Ниже этого — вы читаете шум.

Второе — улучшение по правильной метрике. PPO измеряет конверсию: долю просмотревших страницу приложения, которые загрузили его. Вариант, повышающий конверсию на 5%, имеет значение. Вариант, повышающий её на 0,4%, — это, вероятно, шум даже при высоком уровне доверия, потому что небольшие абсолютные изменения могут возникать из-за сдвигов в составе трафика.

Для приложения с ключевым словом вроде «memory games for adults», где ранжироваться и так непросто, улучшение конверсии страницы на 5% напрямую складывается в то, стоит ли вообще удерживать эту позицию. Apple учитывает конверсию как сигнал для ранжирования. Чем выше конверсия по ключевому слову, тем легче защищать позицию.

Чтобы принять это решение, не нужно разбираться в байесовской статистике. Нужно понимать, достаточно ли велико улучшение, чтобы оно имело значение.

По одному тесту за раз

Инструмент PPO позволяет тестировать несколько элементов, но почти всегда стоит тестировать что-то одно за раз.

Если вы поменяете иконку и скриншоты одновременно, вы не сможете сказать, какое изменение дало результат. Если тест выиграет, вы не будете знать, что оставить. Если проиграет — не будете знать, что чинить.

Для инди-приложений с ограниченным органическим трафиком провести один чистый тест ценнее, чем гнать три одновременных теста с неопределёнными результатами.

Протестируйте первый скриншот. Подождите три недели. Прочитайте результат. Внедрите его. Потом тестируйте что-то ещё.

Свяжите тест со своей ставкой по ключевым словам

Каждый PPO-тест должен быть привязан к кластеру ключевых слов, который вы сейчас оптимизируете в метаданных.

Если ваша текущая ставка в метаданных — «pi memorization», то скриншот-вариант должен усиливать это намерение, а не уводить в другое позиционирование. Если вы поменяете метаданные на «number challenge» и одновременно запустите PPO-тест, вы не поймёте, пришло ли изменение конверсии от нового позиционирования или от нового скриншота.

Это тот же принцип, что и в 21-дневном цикле ревизии метаданных: по одной переменной за раз. Держите тест читаемым.

Чем чище структура вашего теста, тем быстрее вы учитесь. А для инди-разработчиков, которые гоняют эти тесты в одиночку, без команды аналитиков, скорость обучения — это единственное конкурентное преимущество, которое у вас есть.