Применяйте инкрементную обработку в потоке данных для загрузки лишь новых или обновленных записей из базы данных.
Применяя инкрементную обработку в потоке данных, можно загружать лишь новые данные, а не перезагружать их каждый раз полностью, тратя лишнее время и ресурсы. Иначе говоря, каждый раз при загрузке данных с помощью потока данных будут обрабатываться только новые данные, добавленные после прошлого запуска.
Перед началом работы создайте подключение к одной из поддерживаемых баз данных, например Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive или Map R Hive. Затем настройте новый индикатор данных для этой базы данных. См. раздел "
Указание нового индикатора данных для источника данных".
- Создайте или откройте поток данных, в котором требуется применить инкрементную обработку.
- В редакторе потоков данных выберите шаг Сохранить данные, чтобы отобразить панель редактора шагов.
- В поле Набор данных укажите имя набора входных данных, указанного в ходе выполнения шага Добавить данные.
- В меню Сохранить данные в выберите Подключение к базе данных.
- Нажмите Выбрать подключение и выберите подключение к одной из поддерживаемых целевых баз данных.
- В поле Таблица укажите имя целевой таблицы, в которую выполняется запись.
- В меню Когда выполняется выберите Добавить новые данные к существующим.
- Нажмите Сохранить.