Подключение бакета

Для интеграции кастомной инфраструктуры используется объектное хранилище (S3). Это промежуточное звено, через которое данные от ваших коллекторов попадают в Cloudmaster.

Требования к доступу и безопасности

Для корректной работы необходимо настроить права доступа для двух сторон:

• Ваши коллекторы: должны иметь права на запись (Write), чтобы загружать сформированные файлы в бакет.

• Cloudmaster: использует предоставленные вами ключи сервисного аккаунта. Ему требуются права на чтение (Read) и листинг (List) объектов бакета.

Порядок настройки в интерфейсе

1. В Cloudmaster откройте подраздел Мои подключения.

2. Нажмите Новое подключение. В верхнем блоке Универсальное подключение нажмите на кнопку Создать. Затем перейдите к шагу Настройки подключения.

3. Укажите параметры:

   • Имя подключения: (должно быть уникальным среди подключений Cloudmaster).
   • Тип инфраструктуры: (можно выбрать Яндекс Облако или Cloud.ru Advanced, в остальных случаях выбирайте Нетипизированная инфраструктура).
   • S3-эндпоинт: Укажите URL сервиса объектного хранилища (например, https://obs.ru-moscow-1.hc.sbercloud.ru).
   • Регион: Укажите идентификатор региона (например, ru-moscow-1). Его можно найти в документации вашего провайдера или в строке эндпоинта.
   • Имя бакета: Название созданного вами бакета, где будут лежать данные.
   • Идентификатор ключа доступа: Идентификатор ключа доступа сервисного аккаунта.
   • Секретный ключ: Секретный ключ доступа сервисного аккаунта.

Важно: В текущей реализации рекомендации по Cloud.ru Advanced будут формироваться на основе данных универсального подключения, только если установлен тип инфраструктуры Cloud.ru Advanced. Расчет для этого провайдера базируется на специализированном справочнике конфигураций ВМ. Тип инфраструктуры можно изменить через редактирование подключения.

После заполнения всех полей нажмите кнопку Подключить. Система проверит доступ к хранилищу и инициирует первый процесс импорта данных.

Логика и частота сбора данных

Cloudmaster работает с бакетом по следующему алгоритму:

1. Первичное подключение: Система сканирует бакет и запрашивает данные за последние 90 дней.

2. Регулярное обновление: Обращение к бакету происходит ежедневно в 05:00 (МСК).

3. Инкрементальная загрузка: Система проверяет наличие файлов за последние 90 дней и подгружает только те, которые отсутствуют или не были обработаны ранее.

4. Идентификация: Система определяет временной диапазон и тип данных (биллинг или метрики) на основании названия файла.

Важно: Объем хранимых данных напрямую зависит от масштаба вашей инфраструктуры. Рекомендуем настроить политики жизненного цикла (Lifecycle Policies) в вашем бакете для автоматического удаления старых файлов, если это необходимо для оптимизации затрат на хранение.