Ранее при создании потоков с CSV- или JSON-файлами была необходима помощь техподдержки. Теперь вы можете самостоятельно настраивать пресеты для таких потоков на этапе настройки источника данных.

Выгрузки в виде CSV- и JSON-файлов - универсальный способ настроить перекладку данных для любой системы, даже если в Garpun Feeds для нее нет готового коннектора. Многие популярные приложения и сервисы позволяют экспортировать содержащиеся в них данные в файловом виде. Далее вам достаточно указать в настройках потока путь к файлу и задать правила перекладки данных (настроить пресет).

А еще мы расширили список поддерживаемых протоколов для загрузки CSV- и JSON-файлов. Теперь загрузить данные можно и через SFTP наряду с доступными ранее загрузкой по URL и через FTP.

Алгоритм создания потока


Первоначально необходимо зайти в систему Garpun Feeds https://feeds.garpun.com/ под своим логином и паролем и нажать кнопку "+Поток данных".

1) Источник данных > Приемник данных

В открывшемся меню выбираем:

  • Источник данных - CSV,
  • Приемник данных - Database или BigQuery, в зависимости от задачи

  • Набор данных – Ручная конфигурация настроек

2) Настройка источника данных

Указываем:

  • URL адрес файла FTP или SFTP
    (info) Ниже поля написаны все примеры URL, в зависимости от того, где файл расположен и требуется ли авторизация
  • Тип разделителя в CSV файле
  • Кодировка файла – UTF-8/cp1251
  • Тип архива(если есть)
  • Название файла – требуется ввести, если необходима фильтрация файлов. В строке поддерживаются регулярные выражения
  • Использовать даты из периода запуска задачи – если ВКЛ, то в названии файла будет искаться дата из периода, например, поток запущен за 2024-01-01 – 2024-01-03, будет осуществлен поиск по названиям и выгружены только файлы, в названии которых есть "2024-01-01", "2024-01-02" и "2024-01-03"
  • Данные о структуре файла – здесь мы указываем какие поля мы берем из исходного файла, в каком типе эти данные и то, в какое конкретно поле в приемники эти файлы будут помещены
        name - имя колонки куда будут загружены даные (только латинские символы и нижнее подчеркивание)
        path - заголовок колонки в исходном файле
        type - тип данных

     

3) Настройка приемника данных

Этот шаг может отличаться, зависит от того, какой приемник был выбран на первом шаге настроек потока, однако принцип схожий для всех приемников.

На примере Database(clickhouse)

  • Выбираем подключение ClickHouse, либо добавляем подключение через кнопку "+Добавить"

    Для создания нового подключения ClickHouse необходимо нажать кнопку "+Добавить" на третьем шаге настроек потока, либо на странице подключений(https://account.garpun.com/page?p=5184&a=2) выбрать "Database (PostgreSQL, MySQL, ClickHouse)" и нажать кнопку

    Дальнейшие действия идентичны для обоих вариантов:

    • Вводим Имя хоста, или IP-адрес
    • Порт(опционально)
    • Имя БД
    • Имя пользователя(опционально)
    • Пароль(опционально)
    • Тип БД - выбираем "ClickHouse"
    • Использовать SSL подключение? – выбираем "Да"


  • Выбираем базу данных
  • Название схемы БД заполнять не нужно, т.к. это важно только для передачи в PostgreSQL.
  • В качестве способа записи данных в таблицу оставляем обновление


 

4) Общие настройки

  • В графе “Название потока” ввести название либо оставить сгенерированное автоматически
  • В графе “Период сбора при автоматическом запуске” можно выбрать за какой период поток будет пересобирать статистику. По умолчанию - 30 дней.
  • В графе “Расписание” - выбрать например 7:00 утра, в это время поток будет запускаться ежедневно
  • Нажать "Готово"


  • No labels