Versions Compared

Old Version 2

changes.mady.by.user Влaдислaв Бeзрaчук

Saved on

compared with

New Version Current

changes.mady.by.user Влaдислaв Бeзрaчук

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Expand
titleПодключение базы данных

Чтобы система могла загружать данные в базу, её необходимо корректно подключить.
Процесс подключения расписан отдельно, поскольку сама технология организации связи с базой универсальна. Но, поскольку есть множество разных видов баз, некоторые настройки указываются не в потоках (как например при работе с Google BigQuery) а в самом подключении.

  1. Переходим в раздел "Подключения" в вашем профиле Garpun. Можно так же воспользоваться ссылкой
  2. Ищем в списке систем пункт Database (PostgreSQL, MySQL, ClickHouse), кликаем на него.
  3. В открывшемся окне кликаем "+ подключение"
  4. Далее приступаем к вводу необходимых параметров:

    а. Имя хоста или IP-адрес - адрес обращения к базе, обязательный параметр. Эту информацию можно уточнить у администратора вашей базы, если вы им не являетесь.
    б. Порт - необязательный параметр. В зависимости от того, как организована база, для подключения к ней может быть необходим определенный порт
    в. Имя базы данных - указывать обязательно. Без этого параметра система не будет знать к какому объекту обращаться при загрузке/выгрузке данных
    г. Имя пользователя и пароль - необходимо указывать если они нужны для доступа к данным и работе с базой
    д. Тип БД - указывать обязательно. У каждого типа БД свои особенности подключения и отправки запросов. Указываем ClickHouse
    е. SSL подключения для ClickHouse используется только для ClickHouse если в этом есть необходимость
  5. Нажимаем "Сохранить"

Настройка загрузки из AppsFlyer в

...

ClickHouse

Первоначально нам необходимо войти в систему https://feeds.garpun.com/ и нажать на 


1. Источник данных > Приемник данных

  • В качестве источника данных выбираем AppsFlyer, в качестве приемника - Database (PostgreSQL, MySQL, ClickHouse),
  • Далее выбираем набор данных. Чтобы понять какие данные будут забираться из AppsFlyer можно можно нажать справа от набора данных значок лупы. После всех этих действий нажимаем "Далее".

 Image Added

(info) Обратите внимание, что при использовании api token v2 необходимо выбирать соответствующие наборы данных, все они имеют отметку api token v2:

...

(info)Поддержка токенов API V1 и использующих их API будет прекращена 31 августа 2023 года, начиная с 01 сентября 2023 года необходимо использовать токен API V2. Image Removed

 

2. Настройка источника данных

На втором шаге нам нужно подключить аккаунт AppsFlyer или выбрать текущий.

...

(info) Поддержка токенов API V1 и использующих их API будет прекращена 31 августа 2023 года, начиная с 01 сентября 2023 года необходимо использовать токен API V2.

3. Настройка приемника данных

  • Выбираем существующее подключение в списке, либо добавляем новое с помощью соответствующей кнопки. Более подробно процесс подключения БД описан в начале этой статьи.
  • Выбираем название базы данных. Это необходимо для корректной передачи информации и создания таблиц.
  • Название схемы базы данных. Необходимо заполнять только если ваша база работает на PostgreSQL
  • Указываем способ записи данных в таблицу. По умолчанию установлен способ "обновить".
  • При выгрузке в ClickHouse можно включить доп.опцию, которая будет создавать реплицированные таблицы в разных узлах кластера для обеспечения сохранности полученных данных

4. Общие настройки

  • В графе “Название потока” ввести название либо оставить сгенерированное автоматически
  • В графе “Период сбора при автоматическом запуске” можно выбрать за какой период фид будет осуществлять пересбор статистики.
  • В графе “Расписание” - выбрать например 8:00 утра, в это время фид будет запускаться ежедневно. При нажатии на кнопку можно добавить дополнительную строку, таким образом фид будет отрабатывать по более гибкому графику
  • Нажать “Готово” 

...