Как сэкономить время специалиста при работе с крупным проектом — на примере OLX

«Что мы делаем со временем? В ответе на этот вопрос состоит смысл жизни», — считает герой фильма «Молодость без молодости». Что делают большую часть времени специалисты по контекстной рекламе в крупных проектах — отлично известно: готовят отчетность, вручную собирают и обрабатывают данные из Google Рекламы, Facebook, Директ и десятков других источников.

Я решил сэкономить время команде специалистов, рекламирующих OLX, внедрив специальный инструмент веб-аналитики. Возможно, вам такой тоже пригодится.

Что нужно было сделать?

Автоматизировать процесс сбора и консолидации данных из Google Рекламы, Facebook, Яндекс Директ, MyTarget, AT Internet и AdJust на уровне категорий рекламных кампаний, типов устройств и платформ, а также настроить визуализацию данных из всех перечисленных источников с возможностью онлайн доступа к отчётам.

В результате необходимо было получить два отчета: один для рекламы на десктопе и один для мобайла.

В таблицу для рекламы на десктопе должна была собираться информация по продвижению в разрезе категорий рекламных кампаний (брендовые, общие кампании), типов устройств, источников.

Day — день, за который была собрана статистика;
Source — рекламная площадка / источник;
Device — тип устройства;
Category — категория рекламной кампании;
Impressions — количество показов;
Clicks — количество кликов;
Cost — стоимость;
AdPosts — количество полученных постингов объявлений;
Reply — количество полученных откликов на объявления.

Google Реклама — данные о кликах, показах и тратах на рекламу;
Яндекс.Директ — данные о кликах, показах и тратах на рекламу;
AT Internet — данные о постингах и откликах на объявления.

В таблицу по мобайлу должна была собираться информация о продвижении мобильного приложения в разрезе источников, типов рекламных кампаний (инсталлы, привлечение) и платформ (Android, iOS).

Day — дата, за которую была собрана статистика;
Source — источник;
CampaignType — тип рекламной кампании;
Platform — платформа Android или iOS;
Impressions — количество показов;
Clicks — количество кликов;
Cost — стоимость;
Installs — количество инсталлов;
DAUs — среднее количество активных пользователей в приложении за один день;
MAUs — среднее количество активных пользователей в приложении за один месяц;
RetainerUsers — количество вернувшихся в приложение пользователей;
CohortsSessions — количество сессий вернувшихся в приложение пользователей;
CohortsAdPost — количество конверсий в постинг от вернувшихся пользователей;
CohortsReplies — количество конверсий в отклик от вернувшихся в приложение пользователей.

Google Реклама — клики, показы, стоимость;
Facebook — клики, показы, стоимость;
MyTarget — клики, показы, стоимость;
Яндекс.Директ — клики, показы, стоимость
AdJust — установки, количество вернувшихся пользователей, количество сессий вернувшихся в приложение пользователей, количество конверсий в постинг от вернувшихся пользователей, количество конверсий в отклик от вернувшихся в приложение пользователей, DAUs, MAUs.

Какие инструменты я использовал?

1. Язык R — для сбора информации из API всех источников, консолидации и передачи данных на хранение.

Какие пакеты языка R я использовал:

— API Google Реклама; — API Яндекс Директ; — API AdJust; — API Facebook; — API MyTarget.

2. Google BigQuery — для хранения данных, очень простая в обращении облачная база данных, не требует дополнительного администрирования. Более того — условно бесплатная.

3. Microsoft Power BI — для визуализации данных, бесплатный инструмент.

Что получилось?

Написал два скрипта, которые ежедневно запускаются в фоновом режиме, собирают все данные, приводят их к единой валюте (UAH) и записывают в Google BigQuery. К BigQuery подключена Power BI, в которой настроена визуализация отчетов. В результате в любой момент можно обновить все данные нажатием одной кнопки и поделиться ими с командой нажатием кнопки «опубликовать».

Схема готового веб-аналитического инструмента:

Принцип работы инструмента:

С понедельника по пятницу автоматически запускаются скрипты R для сбора и консолидации данных из API всех источников.
При сборе данных в Google BigQuery записываются логи работы скриптов, собирающих информацию из API.
Запускается скрипт R, который проверяет логи работы скриптов по сбору данных.
Если в логах найдены ошибки или предупреждения о том, что данные могли быть собраны некорректно, автоматически формируется письмо с информацией по ошибкам и предупреждениям. Письмо отправляется на почту ответственному специалисту и разработчику автоматизации.
В случае успешного прохождения проверки логов собранные данные передаются в соответствующие таблицы Google BigQuery.
Данные обновляются и публикуются нажатием двух кнопок в Power BI.

Так выглядит отчет по рекламе на десктопе:

Отчет по рекламе мобильного приложения:

На разработку инструмента понадобилось 30 часов, при этом много времени ушло на настройку сбора данных из шести источников. Обычно данные собираются из двух-трех источников, на разработку требуется значительно меньше времени: 10-15 часов.

Результаты

На сбор данных, составление и проверку отчетов в ручном режиме специалисты тратили примерно 30 часов в месяц. Сейчас — несколько минут.
Раньше отчеты обновлялись еженедельно, сейчас — ежедневно.

Когда работаешь с большим проектом, рано или поздно наступает момент, когда ты просто тонешь в море с отчетами. Допустим, что вы уже знаете, какие показатели и метрики необходимо анализировать, но если готовите отчеты вручную, у вас как минимум две проблемы:

1. Человеческий фактор — от ошибок никто не застрахован и они точно будут. 2. Время — на сбор и сведение всех данных уходит крайне много времени на постоянной основе.

После автоматизации отчетности мы получили, во-первых, всегда актуальные и корректные данные, а, во-вторых, свободное время, которое теперь тратим не на подготовку отчетов, а на развитие проекта.

📎📎📎📎📎📎📎📎📎📎