Построение измерений и загрузка данных с использованием файла правил

С помощью правил можно построить измерение и загрузить данные из текстового или другого плоского файла.

Перед началом работы убедитесь, что у вас есть следующие ресурсы.

  • Доступ к экземпляру Essbase.

  • Если в качестве источника данных не используется плоский файл, потребуется подключение и источник данных, которые были настроены в Essbase на уровне приложения.

  • Файл метаданных измерения, выгруженный на компьютер (образец файла для упражнения: dim-market.txt)

  • Файл данных, выгруженный на компьютер (образец файла для упражнения: data-basic.txt )

Теперь при наличии перечисленных ресурсов можно выполнять задачи построения измерений и загрузки данных с использованием правил.

Построение измерений с использованием файла правил

Изменения можно редактировать и сопоставлять со структурой Essbase с помощью правил, не создавая вручную пустые измерения в редакторе структур Essbase. В этом разделе рассматривается построение измерений на основе плоского файла с использованием правил.

При построении с помощью правила вы определяете иерархическую структуру измерений и метаданные элементов. Можно создать несколько измерений с помощью одного файла правил или использовать по одному файлу правил для каждого измерения.

В процессе построения измерений можно добавлять или изменять измерения, но нельзя удалять существующие измерения.

Здесь иллюстрируется пример построения измерений на основе плоского файла с использованием правил. Процесс загрузки данных с помощью SQL или потоковой передачи описывается в других разделах.

  1. Откройте выгруженный файл метаданных измерения dim-market.txt в редакторе форматированного текста. Обратите внимание, что у данного файла нет строки заголовка и в качестве разделителей используются запятые.
  2. Войдите в веб-интерфейс Essbase.
  3. На главной странице разверните приложение Sample и выберите куб Basic.
  4. Теперь необходимо создать файл правил.
    1. Из меню Действия справа от куба запустите инспектор.
    2. Нажмите Сценарии, затем Правила. Отображается редактор правил с текущими заданными правилами.
    3. Нажмите Создать и выберите Построение измерения (на основе индекса), чтобы определить правило построения измерений. Правило построения измерений на основе индекса убирает зависимость полей друг от друга, поэтому поля могут отображаться в любом порядке.
    4. В диалоговом окне "Новое правило" введите имя файла правила Dim_market1.
    5. В разделе "Предварительный просмотр данных" выберите Файл для ввода плоского файла.
    6. Нажмите на значок обзора, найдите выгруженный файл dim-market.txt и нажмите Открыть, чтобы выбрать его.
    7. Как уже упоминалось ранее, первая строка плоского файла не содержит значение заголовка. Снимите флажок Строка заголовка, если он был установлен.
    8. В поле Разделитель укажите значение "Запятая" в соответствии с форматом файла.
    9. Нажмите Продолжить.
      Теперь можно открыть структуру измерения для предварительного просмотра в редакторе правил (столбцы будут отображаться в соответствии с входным плоским файлом).
    На правой верхней панели инструментов в редакторе правил находятся глобальные настройки правила. Можно изменить эти свойства или источник данных и посмотреть результаты. На левой панели инструментов в редакторе правил находятся настройки полей правила.
  5. Теперь на странице редактора правил можно настроить и изменить правило.
    1. На странице предварительного просмотра для нового правила в первом поле (столбце) нажмите Измерение и выберите Рынок в качестве имени измерения. Всем полям будет назначено измерение "Рынок".
    2. Под элементом "Рынок" в первом поле нажмите Тип и выберите тип измерения Родительское.
      Исходный файл для этого правила имеет формат "родительский элемент-дочерний элемент". Если бы исходный файл был создан в формате поколений, для первого поля нужно было бы выбрать значение "Поколение". В этом случае для параметра "Номер поколения" было бы задано значение 2, так как по умолчанию поколением 1 является само измерение.
    3. Настройте другие поля:
      Выберите для поля 2 тип Дочерний.
      Выберите для поля 3 тип Свойство, а для поля "Родительский/дочерний" в третьей строке – значение Дочерний.
      Выберите для полей 4 и 5 тип UDA, а для полей "Родительский/дочерний" в третьей строке – значение Дочерний.
      Для полей 6–9 выберите тип Псевдоним, а для полей "Псевдоним" в третьей строке — значения ChineseNames, JapaneseNames, RussianNames и GermanNames соответственно. Для полей в четвертой строке выберите значение Дочерний.
      Для поля 10 выберите тип Элемент атрибута, для поля в третьей строке — значение Население, а для поля в четвертой строке — значение Дочерний.
      Для поля "Измерение" чаще всего задается тип "Поколение", "Родительский элемент" или "Дочерний элемент". Если нужного имени измерения нет в меню, нажмите Измерения на панели инструментов "Глобальные", добавьте имя измерения, затем нажмите кнопку Добавить и ОК.
    4. Теперь проверьте свойства для поля. Выберите столбец с последним полем Население. На панели инструментов "Параметры поля" выберите вкладку Свойства и убедитесь, что для параметра "Регистр" задано значение Нет операций > Это означает, что тексты в верхнем и нижнем регистре здесь обрабатываются так же, как и в исходном текстовом файле.
    5. Если нужно изменить файл, выбранный в качестве источника данных, выберите вкладку Источник на панели инструментов "Глобальные". Убедитесь, что для параметра "Разделитель" на вкладке "Свойства файла" выбрано значение Запятая.
    6. Завершив создание правила, нажмите Проверить на панели инструментов "Глобальные", чтобы проверить синтаксис правила.
    7. Нажмите Сохранить и закрыть.
    8. Нажмите Обновить. Созданное правило появится в списке на панели "Правила" на вкладке "Сценарии". Чтобы отредактировать это правило, нажмите на его имя, затем нажмите Продолжить.
      В меню Действия для отображенного правила можно выбрать команды копирования, переименования, копирования или экспорта сборки (в файл json, используемый для диагностики). Нажмите Закрыть, чтобы вернуться на главную страницу.
  6. Затем необходимо создать и запустить задание, чтобы создать измерение с использованием правила.
    1. На главной странице выберите Задания, затем выберите Создать задание.
    2. Выберите Построение измерений.
    3. В диалоговом окне Построение измерений в списке Приложение выберите приложение Sample.
    4. В списке База данных выберите куб Basic. Загрузка данных может занять некоторое время.
    5. В списке Сценарий выберите созданное правило построения измерений Dim_market1.rul.
    6. В поле Тип загрузки выберите Файл.
    7. В списке Файл данных выберите Dim_Market в качестве файла данных измерения данных. Этот файл находится в папке Sample, Basic.
    8. В списке Параметры реструктуризации выберите пункт Сохранить входные данные для сохраняемых данных.

      Если нужно отключить других пользователей, подключенных к кубу Sample, Basic, и сразу построить измерение, выберите Принудительно создать измерение.

      Для данных конечного уровня: сохраняются только значения нулевого уровня. Используйте этот параметр, если все данные, необходимые для расчета, находятся в элементах нулевого уровня. Для входных данных сохраняются только блоки, содержащие загружаемые данные. Ни один из этих параметров не применяется к базам данных агрегированного хранения.

    9. Нажмите ОК. Начинается выполнения задания построения измерения.
    10. На странице Задания нажмите Обновить, чтобы посмотреть статус задания.
    11. После завершения задания откройте меню Действия для выполненного задания и выберите Сведения о задании, чтобы проверить статус своего задания построения.
    12. На главной странице приложений, справа от куба Basic в приложении Sample, откройте меню Действия и выберите Структура, чтобы проверить иерархию измерений. В разделе Действия - База данных - Проверить на вкладке "Измерение" также можно посмотреть имена созданных поколений. После выполнения всех действий закройте представление.
    Вы успешно создали измерение на основе правила.

Загрузка данных с использованием файла правил

Правила можно использовать для извлечения, преобразования и загрузки значений данных в кубе Essbase. Значения данных источника могут содержать следующее:

  • Значения данных

  • Имена элементов, псевдонимы и формулы

  • Поколение и названия уровней

  • Свойства хранилища данных

  • Атрибуты и пользовательские атрибуты

При построении куба Essbase в каталоге куба создаются файлы данных и файлы правил загрузки данных. Также можно использовать данные и правила из поддерживаемой локальной версии Essbase.

Поддерживаются как сводные данные, так и формат плоских файлов с наборами строк.

При загрузке данных операции SUM, MIN, MAX, AVG и COUNT поддерживаются в столбцах данных между строками. Это поддерживает сценарии использования больших данных, в которых кубы Essbase создаются с элементами верхнего уровня. Из Essbase можно выполнить детализацию для более детального просмотра данных.

Здесь иллюстрируется пример загрузки данных из плоского файла с использованием правил. Процесс загрузки данных с помощью SQL или потоковой передачи описывается в других разделах.

  1. Откройте выгруженный файл данных, data-basic.txt, в редакторе форматированного текста. Обратите внимание, что строка заголовка отсутствует и в качестве разделителей используются запятые.
  2. Войдите в веб-интерфейс Essbase.
  3. На главной странице разверните приложение Sample и выберите куб Basic.
  4. Теперь необходимо создать правило загрузки.
    1. Из меню Действия справа от куба Basic запустите инспектор.
    2. Выберите вкладку Сценарии, затем выберите Правила. Отображается редактор правил с текущими заданными правилами.
    3. Нажмите Создать и выберите Загрузка данных, чтобы определить правило загрузки данных.
    4. В диалоговом окне Новое правило введите имя правила Data_basic1.
    5. В качестве измерения данных укажите Показатели.
    6. В разделе "Предварительный просмотр данных" выберите Файл для ввода плоского файла.
    7. Нажмите кнопку просмотра, чтобы перейдите к файлу data-basic.txt, и нажмите Открыть, чтобы выбрать его.
    8. Как уже упоминалось ранее, первая строка плоского файла не содержит значение заголовка. Снимите флажок Строка заголовка, если он был установлен. Если строка заголовка присутствует, столбцы сопоставляются автоматически.
    9. Выберите Запятая для параметра Разделитель в соответствии с форматом файла.
    10. Нажмите Продолжить.
      Теперь можно открыть данные для предварительного просмотра в редакторе правил, в зависимости от входного плоского файла.
    На панели инструментов "Глобальные параметры" в верхней части редактора правил можно изменить свойства файла или источника данных. Результаты можно посмотреть в редакторе правил. На панели инструментов "Параметры поля" в левой части редактора правил можно сопоставить поля в правиле.
    Поскольку входной файл не содержит заголовков, необходимо сопоставить каждый столбец с соответствующими измерениями и элементами.
  5. Теперь можно настроить поля правил в редакторе правил.
    1. Откройте меню Создать, чтобы настроить имена полей.
      Для поля (столбца) 1 задайте имя Продукт.
      Для поля 2 задайте имя Рынок.
      Для поля 3 задайте имя Год.
      Для поля 4 задайте имя Сценарий.
      Для поля 5 задайте имя Продажи.
      Для поля 6 задайте имя COGS.
      Для поля 7 задайте имя Маркетинг.
      Для поля 8 задайте имя Ведомость.
      Для поля 9 задайте имя Разное.
      Для поля 10 задайте имя Начальные запасы.
      Для поля 11 задайте имя Дополнения.
      Все измерения должны быть представлены в правиле загрузки данных до начала загрузки данных.
    2. Завершив создание правила и настройку глобальных параметров и параметров полей, на панели инструментов "Глобальные" нажмите Проверить, чтобы проверить синтаксис, и нажмите Закрыть.
    3. После проверки синтаксиса нажмите Сохранить и закрыть.
    4. Нажмите Обновить. Созданное правило появится в списке на панели "Правила" на вкладке "Сценарии". Чтобы отредактировать это правило, нажмите на его имя, затем нажмите Продолжить.
    5. Нажмите Закрыть, чтобы вернуться на главную страницу "Приложения".
    Затем создайте задание для загрузки данных с использованием правила.
  6. На домашней странице выберите Задания, затем выберите Создать задание.
    1. Выберите Загрузка данных.
    2. В диалоговом окне Загрузка данных откройте меню Приложение и выберите приложение Sample.
    3. В списке База данных выберите куб Basic.
    4. В списке Сценарий выберите созданное правило загрузки данных Data_market1.rul.
    5. В поле Тип загрузки выберите Файл.
    6. Выберите файл Data_Basic1 в списке Файл данных. Этот файл находится в папке Sample > Basic.
    7. Вариант: если требуется, чтобы загрузка данных прекращалась при возникновении ошибок, установите флажок Прервать при ошибке.
    8. Нажмите ОК. Задание загрузки данных будет выполнено.
    9. На странице "Задания" нажмите Обновить, чтобы посмотреть статус задания.
  7. После завершения задания убедитесь, что входные записи были обработаны и загружены.
    1. На главной странице "Приложения" нажмите Действия справа от куба Basic в приложении Sample.
    2. Выберите Сведения о задании, чтобы проверить сведения о задании загрузки данных.
    3. По завершении нажмите кнопку Закрыть.
    4. На главной странице "Приложения" откройте инспектор Действия для куба Sample.
    5. Выберите Статистика для просмотра итоговой статистики куба Basic.
    Вы успешно выполнили загрузку данных с использованием правила.