Выгрузка из ВК Реклама в Google Big Query без разделения url на utm-метки

На данный момент доступно создание потока по выгрузке расходов из системы ВК Реклама в Google BigQuery. Алгоритм создания потока из системы VK в BQ:

Первоначально необходимо зайти в систему Garpun Feeds https://feeds.garpun.com/ под своим логином и паролем и нажать кнопку "+Поток данных".

1) Источник данных > Приемник данных

В открывшемся меню выбираем:

• Источник данных - VK Реклама(Статистика),
• Приемник данных - Google BQ
• Набор данных "Загрузка расходов(до уровня баннеров)

2) Настройка источника данных

• Выбираем подключение VK, из которого необходимо получать статистику, либо добавляем новое через кнопку "+Добавить"
• Указываем аккаунт

3

3) Настройка приемника данных

• Выбираем подключение Google BQ, либо добавляем подключение через кнопку "+Добавить"
• Указываем Project ID в BigQuery
• Указываем dataset. Не обязательно создавать Dataset вручную в самом BigQuery, можно ввести название вручную - Dataset будет создан автоматически при запуске потока.
  
   

Результатом выгрузки будет таблица формата: 

, 

где gadate - дата, gaadClicks - клики, gaadCost - стоимость, gaimpressions - показы, а url - ссылка на объявление с метками

Ссылку с метками можно разбить как вручную запросом в BQ, так и при помощи отдельного потока с записью в другую таблицу.

Выгрузка из ВК Реклама в Google Big Query с разделением url на utm-метки

Как и описывали ранее, результатом выгрузки расходов из ВК Реклама в Google BQ является таблица

Если необходимо разносить url на метки в автоматическом режиме, то в дополнение к основному потоку, процесс создания которого описан выше, можно создать дополнительный поток Google BQ → Google BQ

1) Источник данных > Приемник данных

• Источник данных - Google BQ
• Приемник данных - Google BQ

2) Настройка источника данных

• Выбираем подключение Google BigQuery, в котором находится таблица
• Выбираем проект, в котором находится таблица 

• Прописываем запрос, разбивающий url на метки
  

  Пример запроса Expand source

  SELECT
  	gadate,
  	gaadClicks,
  	gaadCost,
  	gaimpressions,
  	url,
  	REGEXP_EXTRACT(url, r'utm_source=([^&]+)') AS utm_source,
  	REGEXP_EXTRACT(url, r'utm_medium=([^&]+)') AS utm_medium,
  	REGEXP_EXTRACT(url, r'utm_campaign=([^&]+)') AS utm_campaign
  FROM
  	`bigquery-project.dataset.table_name`
  	/* 
  	 *bigquery-project - заменить на нужное название проекта в Google Cloud.
  	 *dataset - заменить на нужное название датасета
  	 *table_name - заменить на название таблицы, которая была получена в предыдущем потоке(имеет похожее название google_bq_vk_ads_cost_upload_e622f844_ced2_49aa_8feb_ff124f738422)
  	 */
  WHERE
  	DATE(gadate) BETWEEN DATE('${feed.date_from}') AND DATE('${feed.date_to}');
  
  
  

  
  

3) Настройка приемника данных

• Выбираем подключение Google BQ, либо добавляем подключение через кнопку "+Добавить"
• Указываем Project ID в BigQuery
• Указываем dataset. Не обязательно создавать Dataset вручную в самом BigQuery, можно ввести название вручную - Dataset будет создан автоматически при запуске потока.
• Способ записи оставляем как "Обновить данные в таблице за выбранный период"
• Прописываем префикс для уникализации таблиц

4) Общие настройки

• В графе “Название потока” ввести название либо оставить сгенерированное автоматически
• В графе “Период сбора при автоматическом запуске” можно выбрать за какой период поток будет пересобирать статистику. По умолчанию - 30 дней.
• В графе “Расписание” - выбрать например 7:00 утра, в это время поток будет запускаться ежедневно
  Во избежание потери данных, при установке расписания у второго потока важно учесть время отработки первого потока, т.е. установить расписание у второго потока на более позднее время(зависит от объема передаваемых данных в первом потоке)
• Нажать "Готово"

Результатом выгрузки будет таблица формата:

где gadate - дата, gaadClicks - клики, gaadCost - стоимость, gaimpressions - показы, url - ссылка на объявление с метками, а utm_source, utm_medium и utm_campaign - метки, которые были получены из url.