Актуальные новости: Новое название МОЗ - МОЗАИКА !!!

Российский ETL

МОЗАИКА Интеграция Данных

Включена в единый реестр российских программ

Собираем, обогащаем, обрабатываем, загружаем

Процессы

Выгрузка Обогащение Трансформация Загрузка данных

Платформа МОЗАИКА предоставляет возможность организации эффективного и понятного процесса интеграции данных , включающего в себя
выгрузку данных из систем-источников, с контролем нагрузки на источники
обогащение данных из пользовательских источников
трансформацию данных
загрузку данных в базы данных–приемники

Мы предлагаем E2TL подход, который в реализуемом в МОЗе инновационном подходе построения виртуальных кубов, состоящих из данных множества источников и концепции «обрабатываем данные там, где они есть» является самым оптимальным.

Задачи и решения

Позволяет настраивать гибкий процесс выгрузки, трансформации и загрузки данных, покрывающий все типовые и индивидуальные сценарии обращения за данными:
Выгрузка данных по расписанию. Например, выгрузка данных из источников должна стартовать ежедневно в 3 часа ночи.
Выгрузка данных при их обновлении в источнике. Например, выгрузка данных из источников при актуальности данных не хуже заданной.
Выгрузка части данных в зависимости от результатов обработки предыдущей части данных.
Выгрузка части данных по событию из процесса загрузки другой части данных.
Выгрузка данных по специальным условиям. Например, выгрузка данных из источника при условии, что в другом источнике появились некоторые признаки.

Кроме этого обеспечивается мониторинг доступности источников данных и автообработка некритических ошибок.

• Подключение к источникам данных через нативные коннекторы собственной разработки.
• Подключение к любым источникам данных через ODBC или гетерогенные линки
Контроль нагрузки на источники данных за счет использования Теории Массового Обслуживания с очередью запросов, учетом приоритетов, динамических ресурсных квот и т.д.

Ручной ввод данных или пакетный ввод данных из файлов различных типов, включая MS Excel сложной структуры, настраиваемой пользователями, используется для:
• сбора данных из филиалов/подразделений, не интегрированных в стандартные ИТ процессы Компани
• ввода показателей, автоматизированный расчет которых не желателен или не производится по различным причинам
• обогащения данных из источников, доступ к которым возможен только в ручном режиме
• сбора данных, когда построение автоматизированного интерфейса запрещено или невозможно в силу информационной безопасности

При этом ручной ввод данных является таким же стандартным процессом, как и автоматизированная загрузка данных из систем-источников, и поддерживает расширенные возможности:
• Расчет значений вычисляемых показателей на основе загружаемых данных при помощи вызова конфигурируемого SQL-запроса
• Автоматический контроль вводимых данных по настраиваемым контролям
• Редактирование введенных данных
• Поиск загруженных данных
• Подтверждение или отмена введенных данных ответственными сотрудниками
• Разграничение прав пользователей
• Информирования при загрузке/изменении данных и их статуса
• Логирование изменений
• Внутренняя отчетность

Алгоритмы трансформации данных могут настраиваться как администраторами, так и пользователями, имеющими базовую подготовку, в виде SQL скриптов, средств No code разработки или в привычном редакторе структур данных МОЗАИКА.

На данный момент МОЗАИКА BI может выгружать данные в Oracle, MS SQL, PostgreSQL, MySQL, MariaDB, Hadoop.
Список возможных типов приемников данных оперативно расширяется по запросам наших клиентов.