Як ми збільшили завантаження програми на 14% за допомогою нового дизайну іконки

Це черговий кейс про те, як ми проводили А/Б-тести іконок додатків в Google Play. Ми довели, що один лише новий дизайн іконки може збільшити органічні завантаження програми на 14%. Але перед цим нам довелося провести 16 етапів тестування, змінити 6 концепцій, зіткнутися з гнітючою похибкою і вивести свою формулу успішного проведення А/Б-тестів.

А для початку, спробуйте відгадати іконку-переможця:

З чим прийшов до нас замовник

“Just Facts: Did You Know? "- це додаток, який за допомогою слайдів розповідає про цікаві факти з різних областей науки і навколишнього світу.

Основною цільовою аудиторією були чоловіки молодого віку з Індії, США, Філіппін, Пакистану і Південної Африки.

Основна маса користувачів знаходила додаток за ключовими словами «did you know» або «facts»

Ось так виглядала сама іконка додатку до звернення до нас.

Одразу 2 ключові запити

Ми вивчили конкурентів, щоб зрозуміти, яких образів краще уникати і як виділитися серед інших іконок.

Найбільш часто використовувані образи: книги, лампочки і різного роду абстракція

Замовник також розповів, що у нього вже була спроба змінити іконку програми.

Він проводив кілька експериментів:

Перша іконка принесла менше завантажень, а другу іконку тестували на аналогічному додатку про цитати, але і вона не спрацювала

На думку замовника, іконки не спрацювали, тому що були більш абстрактні і не передавали думку, про що додаток, на відміну від діючої іконки, яка містила в своєму дизайні ключові слова. Ці здогадки нам ще треба було перевірити, тому ми не приймали їх, як факт. Тим більше сам замовник, просив зробити щось кардинально нове.

Цілі та побажання замовника:

  • збільшити кількість завантажень програми;
  • протестувати кардинально інші концепції;
  • дизайн іконки зробити кольоровим, об'ємним, позитивним;
  • зробити універсальну іконку, яку, трохи змінивши, можна буде використовувати для іншого додатку з тієї ж тематики.

Коли технічне завдання було складено, нам належало створити кілька варіантів іконок відразу, щоб перейти до А/Б-тестування.

Як ми розробляли нові концепції дизайну іконки

Як і просив сам замовник, ми вирішили для початку опрацювати зовсім інші, відмінні від поточного, варіанти.

І ось до яких ідей ми прийшли:

Прості дизайни, що привертають увагу:

- Ескізи № 1 і 2 - більш велике написання назви. Ставка на основні ключові запити.

- Ескіз № 3 - іконка в стилістиці американського науково-пізнавального каналу TED. Таким чином ми хотіли охопити аудиторію США.

- Ескіз 4 - хлопець на унітазі дивиться на екран мобільного. Трохи шокує і привертає увагу.

Дизайни на тему розваг:

- Ескізи № 5, 6, 7 - картки з темами фактів або з картинками з різних областей знань, подібно тим, що використовуються в американських вікторинах або телешоу.

- Ескіз № 8 - буква «F» від слова «facts», всередині якої нескінченний всесвіт.

Дизайни - психологічні трюки:

- Ескіз № 9 - кнопка з написом англійською «Не натискати», на яку інстинктивно буде хотілося натиснути.

- Ескіз № 10 - популярна картинка з дівчиною, яка виглядає, як торшер.

- Ескіз № 11 - оптична ілюзія, що привертає увагу. Фактично повинна виглядати, як анімована іконка.

- Ескіз № 12 - дуже дрібна назва програми. Прийом, який повинен звернути на себе увагу, тому що людина не зможе прочитати відразу, що написано на іконці, і їй доведеться придивитися трохи краще.

Дизайни, що виражають емоцію:

- Ескіз № 13 - стилізований персонаж, що передає емоцію сильного подиву.

- Ескіз 14 - дивовижний прибулець.

- Ескіз № 15 - людина з щелепою, що впала до підлоги, від англійської ідіоми «someone's jaw drops», що означає дуже сильне здивування.

- Ескіз № 16 - здивований Ейнштейн або інша відома в США особистість.

- Ескіз № 17 - більш класичний персонаж, який дивиться в бік назви програми в магазині з подивом на обличчі. Таким чином ми змусимо користувача звернути увагу саме на назву програми.

У ході обговорень із замовником ми вибрали 5 ідей, кожна з яких отримала свій розвиток в декількох дизайнах і колірних варіантах.

Ось, що ми створили в підсумку перед проведенням А/Б-тестів:

Нові концепції, відібрані для А/Б-тестування

Ну, а далі виявилося не все так просто, а результати тестів абсолютно несподівані.

Як ми проводили перші А/Б-тести іконок

При проведенні першого тестування всі іконки спрацювали гірше поточної. Крім того, в налаштуваннях А/Б-тестування замовник залишив поточній іконці 25% трафіку, а 75% виділив під експерименти.

Звантаження просіли

Ми запустили другий А/Б-їсть. Цього разу поточній іконці ми виділили 70%, а трьом тестованим - по 10%. Але результат знову був несподіваним.

Коли ми вперше побачили стару іконку програми, в голові крутилося: «Так, ми легко намалюємо краще!». А тут другий тест показує, що якісна візуальна графіка працює в 2 рази гірше, ніж колишня іконка; (

Найбільше насторожувала схожість результатів нових варіантів. Всі вони показували зменшення завантажень в діапазоні 60-50%. Весь час переслідувала думка, що ми щось упустили.

Як ми зіткнулися з похибкою А/Б-тестування

Після першого А/Б-тесту, коли просіли завантаження, замовник більше не хотів ризикувати і виділяв на експерименти лише 30% трафіку, тобто кожної з іконок - 10%. Логіка ясна: навіщо виділяти більше трафіку, якщо Гугл масштабує результат.

Так звані scaled installs (масштабовані установки), на які ми орієнтуємося, - це кількість установок під час експерименту, розділених на частку аудиторії.

Тобто. начебто розподіляєш трафіку менше, а результат повинен бути той же. Але як погрішність?

Ми вирішили провести так званий ААБ-тест, щоб вирахувати похибку. Суть такого тесту в тому, щоб разом з поточною іконкою протестувати її ж, як новий варіант і ще одну альтернативну іконку.

Ми провели кілька ААБ-тестів і з'ясували, що при 7-денному тестуванні і розподілі трафіку по 25% на альтернативні іконки, похибка від -0,2 до + 10,1% при завантаженнях в 1,5-3К.

Гугл каже, що експеримент завершено і можна робити висновки: поточна іконка перемогла поточну іконку і збільшила завантаження на 4,95% (в середньому):)

Ось чим корисний ААБ-тест. Ми виявили гнітючу похибку.

Однак, навіть з урахуванням середньої похибки в 4,95%, альтернативні іконки поки працювали гірше. Ми знали, що похибка буде меншою, якщо проводити тест довше. Але ми не бачили сенсу чекати, тому що було абсолютно ясно, що обрані концепції не працюють.

Як ми знайшли те, що упустили

Нарешті, ми звернули увагу на важливий нюанс, якому не зрадили належне значення спочатку. Як би не хотів замовник кардинально нові варіанти іконок, ми дійшли висновку, що цього робити не можна, і ось чому.

  1. Іконка з текстом набагато краще передавала суть програми. Це було важко визнати, оскільки наявність слів у дизайні іконки вважається неприйнятною, крім винятків. Що ж, можливо, ми якраз і потрапили на цей виняток.
  2. Текст на старій іконці містив ключові слова, за якими користувачі зазвичай і знаходили додаток. Так навіщо ж їх прибирати, якщо це якраз те, що вони шукають?
  3. Крім того наш дизайнер звернув увагу на те, що пошук за назвою в Google показує на превью стару іконку програми, а вже в магазині - нову. Отже, користувач може розгубитися і закрити вкладку.

Здогадки замовника, які він висловлював ще спочатку роботи, про те, що текст на іконці працює набагато краще, ніж будь-яка абстракція, тепер виглядали цілком обґрунтовано.

Всі ці спостереження привели нас до висновку, що потрібно доопрацювати дизайн колишньої іконки, а не створювати кардинально новий.

Ми подивилися на протестовані нами іконки. Іконка з чорно-білим здивованим Лінкольном хоч і не спрацювала, але її результат був найкращим серед альтернативних варіантів. Крім того, цей образ відмінно вписувався в старий дизайн.

Завдання було пов'язати старий дизайн іконки з образом здивованого Лінкольна. А ось, що з цього вийшло:

Тести стали давати позитивні результати

Так з'явилася нова концепція - створити нову іконку, спираючись на старий дизайн.

Дизайнер створив кілька нових варіантів, щоб перевірити цю ідею.

Різні варіанти інтеграції старого і нового дизайну

Ми знову розпочали тестування різних варіантів. Тепер було абсолютно ясно, що ми не помилилися. Образ Лінкольна привертав увагу, а елементи старого дизайну допомагали передати суть програми.

Результати останніх тестів стали радувати.

І нарешті, ми вирішили зупинитися, коли середня конверсія стала + 14,15%

Ось вона - іконка-переможець:

Ось так виглядає іконка програми в Google Play на сьогоднішній день.

Саме з нею кількість завантажень протягом А/Б-тесту вдалося збільшити на 6.2% - 22.1%. І навіть з урахуванням середньої похибки в 4,95% цей результат нас цілком влаштував, тому що свою роботу ми вважаємо виконаною, якщо в середньому конверсія зросла на 10%. Результат досягнуто. Але, за великим рахунком, експериментувати можна було ще продовжувати. Ймовірно, це як шлях до досконалості - нескінченний процес.

Висновки про тестування іконок програм

З кожним новим А/Б-тестуванням ми отримуємо новий досвід і корисну інформацію, якою ділимося з вами. Ми вже писали вам про кейс, коли напис «Free» непередбачуваним чином вплинула на кількість завантажень програми. Цього разу ми зафіксували факт, який йде в розріз із загальноприйнятою думкою дизайнерів про те, що текст на іконці програми - це табу. Ось вам наочний приклад того, як текст на іконці в новому дизайні спрацював тільки в плюс і збільшив завантаження на 14,15%. Так, що не варто сліпо слідувати правилам і стандартам в дизайні іконок. Хто знає, може саме ваш випадок буде винятком. Краще дотримуйтесь правил, які підтверджені практичним досвідом:

  • Чим ясніше іконка програми передає його суть, тим краще вона працює.
  • При виборі дизайну іконки покладайтеся краще на А/Б-тести, ніж на власну думку, тренди або загальноприйняті правила.
  • Кардинально новий дизайн, навіть з більш якісною графікою, не гарантує вам різкий стрибок конверсії вгору. Невеликі поліпшення дрібними кроками - ось ближчий шлях до мети.
  • Не покладайтеся сліпо на результати А/Б-тестування. Враховуйте похибку за допомогою ААБ-тестів і зменшуйте її шляхом зміни факторів, які на неї впливають.
  • Пам'ятайте рекомендації Гугл, що чим довше буде проводиться А/Б-тест, тим точніше дані ви отримаєте.

І головний висновок, який можна зробити з цього кейса: іконка - це потужний інструмент, який здатний істотно вплинути на конверсію вашої програми.