На данный момент доступно создание потока по выгрузке статистики из системы Яндекс.Метрика в ClickHouse. 

Первоначально необходимо зайти в систему Garpun Feeds https://feeds.garpun.com/ под своим логином и паролем и нажать кнопку "+Поток данных".

Алгоритм создания потока из системы Я.Директ в ClickHouse:

1) Источник данных > Приемник данных

В открывшемся меню выбираем:

  • Источник данных - Yandex Metrika,
  • Приемник данных - Database (PostgreSQL, MySQL, ClickHouse)

  • Набор данных

    Набор данных - список группировок и метрик, которые будут запрашиваться у системы. У нас есть большое количество готовых наборов данных в различных разрезах, подходящие для большинства задач, однако, если вы не нашли набор данных для конкретной задачи Вы можете написать нам и мы разработаем его под Ваши нужды.

2) Настройка источника данных

  • Выбираем необходимое подключение, либо добавляем новое. Добавить новое подключение можно нажав на кнопку "+ добавить", либо на странице подключений.
  • Указываем счетчик Я.Метрики, с которого собирается статистика. По нажатию на кнопку "+ Добавить" можно добавлять счетчики, однако просим учесть, что каждый новый счетчик будет тарифицироваться как отдельный поток, т.к. для каждого счетчика нужно отправлять отдельный запрос в Яндекс.

3) Настройка приемника данных

  • Выбираем подключение ClickHouse, либо добавляем подключение через кнопку "+Добавить"

    Для создания нового подключения ClickHouse необходимо нажать кнопку "+Добавить" на третьем шаге настроек потока, либо на странице подключений(https://account.garpun.com/page?p=5184&a=2) выбрать "Database (PostgreSQL, MySQL, ClickHouse)" и нажать кнопку

    Дальнейшие действия идентичны для обоих вариантов:

    • Вводим Имя хоста, или IP-адрес
    • Порт(опционально)
    • Имя БД
    • Имя пользователя(опционально)
    • Пароль(опционально)
    • Тип БД - выбираем "ClickHouse"
    • Использовать SSL подключение? – выбираем "Да"


  • Выбираем базу данных
  • Название схемы БД заполнять не нужно, т.к. это важно только для передачи в PostgreSQL.
  • В качестве способа записи данных в таблицу оставляем обновление


 

4) Общие настройки

  • В графе “Название потока” ввести название либо оставить сгенерированное автоматически
  • В графе “Период сбора при автоматическом запуске” можно выбрать за какой период поток будет пересобирать статистику. По умолчанию - 30 дней.
  • В графе “Расписание” - выбрать например 7:00 утра, в это время поток будет запускаться ежедневно
  • Нажать "Готово"
  • No labels