Выгрузка расходов и контента из ВК Реклама в Google Big Query

...

с разделением url на utm-метки

На данный момент доступно создание потока по выгрузке расходов из системы ВК Реклама в Google BigQuery. Алгоритм создания потока из системы VK в BQ:

Первоначально необходимо зайти в систему Garpun Feeds https://feeds.garpun.com/ под своим логином и паролем и нажать кнопку "+Поток данных".

1) Источник данных > Приемник данных

В открывшемся меню выбираем:

• Источник данных - VK Реклама(Статистика),
• Приемник данных - Google BQ
• Набор данных "Загрузка расходов(до уровня баннеров)Выгрузка расходов в BQ". Преимущество этого набора данных в том, что в результирующую таблицу будут добавлены поля utm_cource, utm_medium, utm_campaign, utm_term и utm_content, содержащие соответствующие метки. Это поможет более детально анализировать трафик и расходы.

Image AddedImage Removed

2) Настройка источника данных

• Выбираем подключение VK, из которого необходимо получать статистику, либо добавляем новое через кнопку "+Добавить"
• Указываем аккаунт

3

3) Настройка приемника данных

• Выбираем подключение Google BQ, либо добавляем подключение через кнопку "+Добавить"
• Указываем Project ID в BigQuery
• Указываем dataset. Не обязательно создавать Dataset вручную в самом BigQuery, можно ввести название вручную - Dataset будет создан автоматически при запуске потока.
• В качестве способа записи данных в таблицу оставляем обновление
• 
   

Результатом выгрузки будет таблица формата: 

Image Removed, 

где gadate - дата, gaadClicks - клики, gaadCost - стоимость, gaimpressions - показы, а url - ссылка на объявление с метками

Ссылку с метками можно разбить как вручную запросом в BQ, так и при помощи отдельного потока с записью в другую таблицу.

Выгрузка из ВК Реклама в Google Big Query с разделением url на utm-метки

Как и описывали ранее, результатом выгрузки расходов из ВК Реклама в Google BQ является таблица

Image Removed

Если необходимо разносить url на метки в автоматическом режиме, то в дополнение к основному потоку, процесс создания которого описан выше, можно создать дополнительный поток Google BQ → Google BQ

1) Источник данных > Приемник данных

• Источник данных - Google BQ
• Приемник данных - Google BQ

2) Настройка источника данных

...

Прописываем запрос, разбивающий url на метки

SELECT
	gadate,
	gaadClicks,
	gaadCost,
	gaimpressions,
	url,
	REGEXP_EXTRACT(url, r'utm_source=([^&]+)') AS utm_source,
	REGEXP_EXTRACT(url, r'utm_medium=([^&]+)') AS utm_medium,
	REGEXP_EXTRACT(url, r'utm_campaign=([^&]+)') AS utm_campaign
FROM
	`bigquery-project.dataset.table_name`
	/* 
	 *bigquery-project - заменить на нужное название проекта в Google Cloud.
	 *dataset - заменить на нужное название датасета
	 *table_name - заменить на название таблицы, которая была получена в предыдущем потоке(имеет похожее название google_bq_vk_ads_cost_upload_e622f844_ced2_49aa_8feb_ff124f738422)
	 */
WHERE
	DATE(gadate) BETWEEN DATE('${feed.date_from}') AND DATE('${feed.date_to}');

3) Настройка приемника данных

• Выбираем подключение Google BQ, либо добавляем подключение через кнопку "+Добавить"
• Указываем Project ID в BigQuery
• Указываем dataset. Не обязательно создавать Dataset вручную в самом BigQuery, можно ввести название вручную - Dataset будет создан автоматически при запуске потока.
• Способ записи оставляем как "Обновить данные в таблице за выбранный период"
• Прописываем префикс для уникализации таблиц

4) Общие настройки

• В графе “Название потока” ввести название либо оставить сгенерированное автоматически
• В графе “Период сбора при автоматическом запуске” можно выбрать за какой период поток будет пересобирать статистику. По умолчанию - 30 дней.
• В графе “Расписание” - выбрать например 7:00 утра, в это время поток будет запускаться ежедневно
  Во избежание потери данных, при установке расписания у второго потока важно учесть время отработки первого потока, т.е. установить расписание у второго потока на более позднее время(зависит от объема передаваемых данных в первом потоке)
• Нажать "Готово"

Результатом выгрузки будет таблица формата:

Image Removed

...

В качестве итоговой таблицы мы получаем таблицу со следующей схемой: