О потоках данных

Потоки данных позволяют организовать и интегрировать данные для создания набора отобранных данных, который может визуализироваться пользователями.

Используйте потоки данных для визуального управления данными без необходимости в навыках написания кода вручную.

Например, поток данных можно использовать, чтобы:

  • Создать набор данных.
  • Объединить данные из разных источников.
  • Агрегировать данные.
  • Обучить модели машинного обучения или применить прогностическую модель машинного обучения к своим данным.
  • Обнаружить объекты, классифицировать изображения или распознать текст с помощью искусственного интеллекта сервиса OCI Vision.

Потоки данных создаются на панели проектирования потоков данных.
Описание GUID-2B831D4B-0478-4EAC-917D-EA910D9FFFE3-default.png ниже
.png

Чтобы создать поток данных, требуется добавить шаги. Каждый шаг выполняет определенную функцию, например добавление данных, объединение таблиц, объединение столбцов или преобразование данных. Для добавления и настройки шагов используется редактор потоков данных. Каждый шаг проверяется при добавлении или изменении. После настройки потока данных его следует выполнить, чтобы создать или обновить набор данных.

При добавлении собственных столбцов или преобразовании данных можно использовать широкий набор операторов SQL (например, BETWEEN, LIKE, IN), условные выражения (например, CASE) и функции (например, Avg, Median, Percentile).

Обновление наборов данных, созданных потоками данных

Можно повторно запустить потоки данных, чтобы поддерживать наборы данных в актуальном состоянии.

Примечание.:

При повторном запуске потока данных все преобразования, примененные непосредственно к набору выходных данных вне потока данных, теряются. Набор данных создается заново.

Поддержка баз данных для потоков данных

Потоки данных позволяют отбирать данные из наборов данных, предметных областей или подключений к базам данных.

Потоки данных можно выполнять по отдельности или последовательно. В поток данных можно включить несколько источников данных и указать способ их объединения.

Действие Добавить данные позволяет добавить данные в поток данных, а действие Сохранить данные — сохранить выходные данные потока.

Выходные данные из потока данных можно сохранить как в наборе данных, так и в базе данных одного из поддерживаемых типов. В случае сохранения данных в базе данных источник данных можно преобразовать, перезаписав его данными из потока данных. Таблицы источника данных и потока данных должны находиться в одной и той же базе данных и должны иметь одинаковые имена. Перед началом работы создайте подключение к одному из поддерживаемых типов баз данных.

Примечание.:

Данные можно добавить из удаленных баз данных, подключенных с помощью Data Gateway. Однако сохранить данные в таких базах данных нельзя.

Выходные данные

Выходные данные потока можно сохранить в базах данных следующих типов:
  • Oracle Autonomous Data Warehouse
  • Обработка анонимных транзакций Oracle
  • База данных Oracle
  • Apache Hive
  • Hortonworks Hive
  • MapR Hive
  • Spark

Подробнее о версиях баз данных см. в разделе Поддерживаемые источники данных.

Ввод данных

Данные в поток можно вводить из большинства типов баз данных (кроме Oracle Essbase и EPM Cloud).