13 データ・ストリームの分析
このトピックは、Data Integration Platform Cloud Classicにのみ適用されます。
Stream Analyticsは、ユーザー管理のData Integration Platform Cloudインスタンスでのみ使用できます。
Stream Analyticsインストールのプランニング
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
次の必要なソフトウェアをData Integration Platform Cloud VMにダウンロードします:
-
JDK 8 Update 131+
-
Hadoop 2.7以降のSparkバージョン2.2.1
-
OSA-18.1.0.0.1.zip
ローカル・マシンにGoogle Chromeのバージョン60以上がダウンロードされていることを確認してください。
Database Cloud Service、Data Integration Platform Cloud、およびStorageインスタンスがプロビジョニングされたOracle Cloudアカウントがあると想定しています。 それ以外の場合は、「Data Integration Platform Cloudのインスタンスの作成」を参照してください
Oracle Event HubおよびBig Data Cloudインスタンスのプロビジョニング
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
次のセクションのステップを実行して、Oracle Stream AnalyticsとData Integration Platform Cloudを使用するために必要なサービス・インスタンスをプロビジョニングします。
Oracle Event Hubのプロビジョニング - 専用インスタンス
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
- Oracle Cloud My Servicesダッシュボードにログインします。
- 「インスタンスの作成」をクリックし、「すべてのサービス」をクリックして「イベント・ハブ - 専用」を選択します。
- Create New InstanceウィザードのInstanceページで、「インスタンス名」、「説明」、および「通知電子メール」を入力し、「次」をクリックします。
- 詳細ページで、次のフィールドに入力し、次をクリックします:
- 「デプロイメント・タイプ」の場合は「基本」または「推奨」を選択します。
- 「SSH公開キー」をクリックして、ローカル・マシンに新しいキーをダウンロードします。
- 「RESTアクセスを有効にします」を選択し、REST Proxy Acesssのユーザー名とパスワードの資格証明を入力します。
- インスタンスの詳細を確認し、「終了」をクリックします。
- イベント・ハブの後 - 専用インスタンスが正常にプロビジョニングされたら、「このサービスを管理」をクリックし、「アクセス・ルール」を選択します。
- 「アクション」に行き、「すべてのルールを有効にします」を選択して下さい。
Oracle Event Hubクラウド・インスタンスのプロビジョニング
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
- Oracle Cloud My Servicesダッシュボードにログインします。
- 「インスタンスの作成」をクリックし、「すべてのサービス」をクリックして「イベント・ハブ」を選択します。
- 新規インスタンスの作成ウィザードのインスタンス・ページで、「インスタンス名」、「説明」および「通知電子メール」を入力します。
- あなたのOracle Event Hubを選択してください - 「ホストされた」メニューの専用インスタンス。
- 「パーティション数」と「保存期間」を時間単位で入力し、「次」をクリックします。
- インスタンスの詳細を確認し、「作成」をクリックします。
インストールOracle Stream Analytics
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
Stream Analyticsの構成
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
メタデータ・ストアの初期化
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
注意:
データベース管理者の資格証明がない場合は、データベース管理者にOracle Stream Analyticsデータベース・ユーザーを作成し、OSA-18.1.0.0.1/osa-base/sqlフォルダで使用可能なSQLスクリプトを使用してユーザーの下にコンテンツを初期化するよう依頼してください。 Oracle Stream Analyticsデータベースのユーザー名は、jetty-osa-datasource.xmlで構成されたユーザー名と一致する必要があります。
管理者パスワードの変更
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
osaadminが付属しています。 そのユーザーIDを使用してログインするには、独自のパスワードを作成する必要があります。
注意:
このOracle Stream Analyticsのオンプレミス版は、ロールベースのアクセスをサポートしていません。 すべてのユーザーには管理者権限があります。 難読化されたパスワードで追加のユーザーを作成するには、「ユーザーの追加」を参照してください。アップグレードOracle Stream Analytics
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
メタデータのアップグレード
データソース構成と環境変数以外に追加の構成がない場合は、次のステップを使用します:
Stream Analyticsの管理
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
Stream Analyticsでのユーザーの管理
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
このリリースのOracle Stream Analyticsでは、ユーザーの詳細がデータベースに格納されます。 インストール時にOracle Stream Analyticsスキーマを作成すると、次のデータベース表に各表のレコードが1つずつ挿入されます:
-
osa_users- ユーザーを含む表 -
osa_user_roles- ユーザー名と関連するロールを含む表
osa_usersテーブルからすべてのデータを取得するために問合せを実行すると、次の情報が表示されます:
select * from osa_users;+----+----------+--------------------------------------+
| id | username | pwd |
+----+----------+--------------------------------------+
| 1 | osaadmin | MD5:201f00b5ca5d65a1c118e5e32431514c |
+----+----------+--------------------------------------+ ここで、osaadminは暗号化されたパスワードと共に事前構成されたユーザーです。
osa_user_rolesテーブルからすべてのデータを取得するために問合せを実行すると、次の情報が表示されます:
select * from osa_user_roles;+---------+---------+
| user_id | role_id |
+---------+---------+
| 1 | 1 |
+---------+---------+
値1のrole_idは、ユーザーが管理者であることを示します。
Stream Analyticsシステム設定の構成
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
- Kafka Zookeeper、Yarn Resource Manager、またはSpark Standalone、Path、HA Namenodeがデプロイされ実行されているサーバー名とURLを指定します。 Hadoop認証はオプション設定です。
図system_settings_environment.pngの説明-
Kafka Zookeeper Connection - Zookeeperサーバーが構成されているURLをコンマで区切って指定します。 Kakfaは内部輸送として使用されます。
-
「ランタイム・サーバー」 - Stream Analyticsインスタンスを実行するランタイム・サーバー
-
「YARNリソース・マネージャのURL」 - ランタイム・サーバーがYarnの場合、YARNリソース・マネージャが構成されているURL
-
Spark REST URL - ランタイム・サーバーがSparkスタンドアロンの場合は、スタンドアロンのREST URLをスパークします。 Stream AnalyticsパイプラインをSparkに送信するには、すべてのSparkノードがアクセス可能なストレージ・ロケーションにパイプラインをコピーする必要があります。
-
「ストレージ」 - パイプラインのストレージのタイプ
-
「パス」 - ストレージが存在するパス。 このフォルダにアクセスするユーザーには、そのフォルダに対する書き込み権限が必要です。 このパスのフォルダは、管理者が作成するか、実行時にStream Analyticsがフォルダを作成します。
-
HA Namenodes - 上記のURLのホスト名が論理HAクラスタを参照している場合は、
hostname1<port>, hostname2<port>などの形式で実際のネーム・ノードをここで指定します。 -
「Hadoop認証」 - Hadoopクラスタで構成されている認証のタイプ。 Stream Analyticsは単純認証のみをサポートします。
-
ユーザー・プリファレンスの構成
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
一般
ユーザー設定を設定/更新するには:
-
画面の右上隅のユーザー名をクリックします。
-
「Preferences」をクリックします。 「設定」ページが開きます。
要件に応じて表示および設定できる一連の一般的な設定を提供します。
開始ページ
「ホーム」ページ、「カタログ」ページまたは「パターン」ページをスタート・ページとして表示するかどうかを選択します。
通知
要件に応じて表示および設定できる通知設定を提供します。
情報通知の表示
情報通知をパイプラインに表示する場合は、このオプションを選択します。 このオプションはデフォルトで選択されます。
情報通知期間(単位は秒)
通知が表示される秒数を選択します。 デフォルト値は5です。
カタログ
要件に応じて表示および設定できる一連のカタログ設定を提供します。
デフォルトのソート列
列がソートされる基準となる列を選択します。 この値は、再び値を変更するまで、すべての列のデフォルトとして使用されます。
デフォルトのソート順
列をソートする順序を選択します。 この値は、再び値を変更するまで、すべての列のデフォルト値として使用されます。
デフォルト・ページ・サイズ
デフォルト・ページサイズとして使用される値を選択します。 ページ上に表示されるレコードの数は、選択された値に基づいて異なります。 この値は、再び値を変更するまで、すべてのページのデフォルトとして使用されます。
パイプライン
要件に応じて表示および設定できる一連のパイプライン設定を提供します。
パイプライン・エディタでパイプラインのユーザー・アシスタント・テキストを表示する場合は、Yesを選択します。
ライブ出力ストリーム
要件に応じて表示および設定できるパイプライン・ライブ出力ストリーム・プリファレンスのセットを提供します。
パイプラインのライブ出力ストリームのデータのデフォルト表サイズとして適用する値を選択します。
Stream Analyticsの使用
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
ホーム・ページ
「ホーム」ページは、Stream Analyticsにログインすると表示される最初のページです。 このページには、Stream Analyticsでサポートされている業種の一覧が表示されます。
各業種にはそれに関連付けられたタグがあり、タグでは大文字と小文字が区別されます。
-
IOT用の分散インテリジェンス - エッジとデータ・センター両方のセンサーとデバイスからの大量の高速データをリアルタイムで取得、分析し、それに対処します。 この業種のタグは、IOTです。
-
リスクと不正の管理 - 業界最高のストリーム処理プラットフォームを活用して、リアルタイムでリスクを評価し、金融詐欺を防止します。 この業種のタグは、riskです。
-
運送と物流 - ストリーミング・データをOracleの先進の空間機能と結びつけることによって、車両を管理し、アセットを追跡し、サプライ・チェーンの効率を改善します。 この業種のタグは、transportationです。
-
顧客の経験と消費者の分析 - リアルタイムで顧客感情を理解して、混乱を軽減し、忠実度を高め、オファーを届け、顧客を引きつけます。 この業種のタグは、customerです。
-
電気通信 - プロアクティブにネットワークをモニターし、ネットワーク障害を予測して、分散型サービス拒否タイプの攻撃を防止します。 この業種のタグは、telecomです。
-
小売業 - その時点の小売購買傾向を理解および適用し、有効な品質保持期限パターンと配置を調査し、顧客カートの使用に応答し、先進の自動販売機と相互作用します。 この業種のタグは、retailです。
ホームページを次に示します。
Stream Analyticsを使い始めるには、ホームページのカタログ・ページまたはパターン・ページに移動します。
カタログについて
「カタログ」ページは、パイプライン、ストリーム、参照、マップ、接続、ターゲット、ダッシュボード、予測モデル、カスタムjar、ビジュアライゼーション、キューブなどのリソースがリストされているロケーションです。 これは、Stream Analyticsで何らかのタスクを実行するための手がかりです。
スター・アイコンをクリックして、リソースをカタログでお気に入りとしてマークできます。 アイコンを再度クリックして、お気に入りからします。 お気に入りアイコン右のメニュー・アイコンを使用して、リソースの削除あるいはトポロジの表示が可能です。
カタログ内のアイテムに適用されるタグは、左側のナビゲーション・ペインの下の画面にも表示されます。 これらのタグのいずれかをクリックすると、カタログのそのタグの付いた項目のみを表示できます。 画面上部にタグが表示されます。 画面上の「すべてクリア」をクリックし、カタログをクリアしてすべての項目を表示します。
左パネルの「表示」の「すべてを表示」リンクを使用して、パイプライン、ストリーム、参照、予測モデル、ジオ・フェンス、接続、ターゲット、カスタムjar、ビジュアライゼーション、ダッシュボード、およびキューブを含めるか除外できます。 「すべてを表示」をクリックすると、その横にチェックマークが表示され、すべてのコンポーネントがカタログに表示されます。
Catalog内の少数のアイテムまたは選択項目のみを表示または表示する場合は、「すべてを表示」の選択を解除し、個々のコンポーネントを選択します。 選択したコンポーネントのみがカタログに表示されます。
Stream Analyticsを管理するための典型的なワークフロー
典型的なワークフローでは、Stream AnalyticsStream Analyticsでパイプラインを作成するために必要なアーティファクトがリストされています。
パイプラインの前提条件は次のとおりです:
-
ファイル・ストリーム以外のストリームを作成するには、接続が必要です。
-
パイプラインを作成するにはストリームが必要です。
接続の作成
- タイプ・プロパティページの次のフィールドの詳細を入力し、次をクリックします:
-
「名前」 - 接続の名前
-
「説明」 - 接続の説明
-
「タグ」 - 接続に使用するタグ
-
「接続タイプ」 - 接続のタイプ: 一貫性、データベース、Druid、JNDI、またはKafka
-
一貫性のためのキャッシュ構成
Stream Analyticsには、コヒーレンスに接続できるように特別なコヒーレンス・キャッシュ構成とプロキシ・スキーマが必要です。
外部コヒーレンス・クラスタ参照データを使用してストリーム・データを充実させるには、拡張クライアントAPIを使用して外部コヒーレンス・クラスタにアクセスする必要があります。 クライアントとして外部クラスタにアクセスするには、cache-configをExtendTcpCacheServiceとExtendTcpInvocationServiceに構成する必要があります。
Coherenceクラスタの構成
Coherence for Javaがインストールされていることを確認してください。
外部クラスタをクライアントとして構成するには、次の手順を実行します:
-
cache-config.xmlという名前のXMLファイルを作成します。 -
このファイルに次のXMLをコピーします。
<?xml version="1.0"?> <cache-config xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.oracle.com/coherence/coherence-cache-config" xsi:schemaLocation="http://xmlns.oracle.com/coherence/coherence-cache-config coherence-cache-config.xsd"> <caching-scheme-mapping> <cache-mapping> <cache-name> externalcache* </cache-name> <schema-name> remote </schema-name> </cahce-mapping> </caching-scheme-mapping> <caching-schemes> <remote-cache-scheme> <scheme-name> remote </scheme-name> <service-name> ExtendTcpCacheService </service-name> <initiator-config> <tcp-initiator> <remote-addresses> <socket-address> <address>localhost </address> <port>9099</port> </socket-address> </remote-addresses> </tcp-initiator> <outgoing-message-handler> <request-timeout>5s</request-timeout> </outgoing-message-handler> </initiator-config> </remote-cache-scheme> <remote-invocation-scheme> <scheme-name>extend-invocation</scheme-name> <service-name>ExtendTcpInvocationService</service-name> <initiator-config> <tcp-initiator> <remote-addresses> <socket-address> <address>localhost</address> <port>9099</port> </socket-address> </remote-addresses> </tcp-initiator> <outgoing-message-handler> <request-timeout>5s</request-timeout> </outgoing-message-handler> </initiator-config> </remote-invocation-scheme> </caching-schemes> </cache-config> -
保存してファイルを閉じます。
-
クラスタへの接続をテストします。
InvocationService service = (InvocationService) CacheFactory.getConfigurableCacheFactory().ensureService("ExtendTcpInvocationService");ensureService()は、指定されたホストとポートで使用可能なコヒーレンス・クラスタがない場合、例外をスローします。 -
コヒーレンス接続を使用してコヒーレンス参照を作成します。
-
コヒーレンスを参照として登録します。
コヒーレンスを参照として登録するサンプル・コードを次に示します:
override def initialize():Unit = {
repartition = true
val externalEvent = EventType("externalorders",IntAttr("orderId"), VarCharAttr("orderDesc", 20))
val sExtSrcProps = Map(EXT_URL -> "",EXT_ENTITY_NAME -> "externalcache")
val jExtSrcProps = new java.util.HashMap[String,String](sExtSrcProps)
val converter = ConverterFactory(ConverterType.COHERENCE,externalEvent)
cc.registerEventType(externalEvent)
cc.registerRelation(externalEvent).onExternal(jExtSrcProps,ExtSourceType.COHERENCE,converter)
}
def main(args: Array[String]) {
cql = "istream(select R.orderId as orderId, R.orderStatus as orderStatus, Ext.orderDesc as orderDesc from orders[now] as R, externalorders as Ext where R.orderId = Ext.orderId)"
name = "CoherenceCorrelation"
processOrders(args)
}
}
// EXT_URL is not used for coherence as reference , currently used for webservice & database, so this will be set to EMPTY
//EXT_ENTITY_NAME is the cache name of the external coherence cluster上の例では、コヒーレンス・キャッシュは、keyをorderId <Integer>、valueをMap of values for orderId and orderDescとして持つ必要があります。 次のようなサンプル・キャッシュが作成されます:
NamedCache cache = CacheFactory.getCache("externalcache");
Map<String,Object> order1 = new HashMap<String, Object>();
order1.put("orderId", new Integer(1));
order1.put("orderDesc", "HP Deskjet v2");
Map<String,Object> order2 = new HashMap<String, Object>();
order2.put("orderId", new Integer(2));
order2.put("orderDesc", "Oracle Database 12");
MapString,Object> order3 = new HashMap<String, Object>();
order3.put("orderId", new Integer(3));
order3.put("orderDesc", "Apple iPhone6s");
Map<String,Object> order4 = new HashMap<String, Object>();
order4.put("orderId", new Integer(4));
order4.put("orderDesc", "Logitech Mouse");
cache.put(1,order1);
cache.put(2,order2);
cache.put(3,order3);
cache.put(4,order4);ストリームの作成
ストリームは、特定のコンテンツ(シェイプ)を持つイベントのソースです。
ストリームを作成する手順:
-
「カタログ」に移動します。
-
「新規アイテムの作成」メニューの「ストリーム」を選択します。
-
タイプ・プロパティページの次のフィールドの詳細を入力し、次をクリックします:
-
「名前」 - ストリームの名前
-
「説明」 - ストリームの説明
-
「タグ」 - ストリームに使用するタグ
-
「ストリーム・タイプ」 - 適切なストリーム・タイプを選択します。 サポートされるタイプは、File、GoldenGate、JMS、およびKafkaです。
-
-
ソースの詳細ページの次のフィールドの詳細を入力し、次をクリックします:
ストリーム・タイプがFileの場合:
-
「ファイル・パスまたはURL」 - アップロードするファイルのロケーション
-
「コンテンツ全体を読む」 - このオプションを選択すると、ファイルの内容全体を読み込みます
-
「バッチごとのイベント数」 - バッチごとに処理するイベントの数
-
「ループ」 - ループ内でファイルを処理する場合は、このオプションを選択
-
「データ・フォーマット」 - データの形式。 サポートされるタイプは次のとおりです: CSVとJSON。
ストリーム・タイプがGoldenGateの場合:
-
「接続」 - ストリームの接続
-
「トピック名」 - 分析したいイベントを受け取るトピック名
-
「データ・フォーマット」 - データの形式。 サポートされるタイプは次のとおりです: CSV, JSON, AVRO 。 AVROはデータ直列化システムです。
ストリーム・タイプがJMSの場合:
-
「接続」 - ストリームの接続
-
「JNDI名」 - トピック、トピック、キュー、および分散キューからメッセージを読み込むJndi
-
「クライアントID」 - 恒久サブスクライバに使用するクライアント
-
「メッセージ・セレクタ」 - メッセージをフィルタリングするメッセージ・セレクタ。 メッセージング・アプリケーションが受信したメッセージをフィルタリングする必要がある場合は、JMS APIメッセージ・セレクタを使用して、メッセージ・コンシューマが関心のあるメッセージを指定できるようにします。 メッセージ・セレクタは、フィルタリング・メッセージの処理をアプリケーションではなくJMSプロバイダに割り当てます。
メッセージ・セレクタは、式を含む
Stringです。 式の構文は、SQL92の条件式構文のサブセットに基づいています。 次の例のメッセージ・セレクタは、NewsTypeプロパティが'Sports'または'Opinion'の値に設定されているメッセージを選択します:NewsType = ’Sports’ OR NewsType = ’Opinion’createConsumerおよびcreateDurableSubscriberメソッドを使用すると、メッセージ・コンシューマを作成するときに引数としてメッセージ・セレクタを指定できます。 -
「サブスクリプションID」 - 耐久性のあるセレクタのサブスクリプションID
-
「データ・フォーマット」 - データの形式。 サポートされるタイプは次のとおりです: CSV, JSON, AVRO, MapMessage 。 MapMessageは、JNDIベースのストリームに対してのみサポートされています。
データ形式がAVROの場合は、
org.apache.kafka.clients.producer.ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIGおよびKEY_SERIALIZER_CLASS_CONFIGパラメータをByteArraySerializerに設定して、メッセージ・スキーマも指定する必要があります。MapMessageオブジェクトは、名前と値のペアのセットを送信するために使用されます。 名前はStringオブジェクトで、値はJavaプログラミング言語の基本データ型です。 名前には必ず値が必要であり、値をnullや空の文字列にすることはできません。 このエントリには、名前を指定して順次的またはランダムにアクセスできます。 エントリの順序は定義されません。
ストリーム・タイプがKafkaの場合:
-
「接続」 - ストリームの接続
-
「トピック名」 - 分析したいイベントを受け取るトピック名
-
「データ・フォーマット」 - ストリーム内のデータの形式。 サポートされるタイプは次のとおりです: CSV, JSON, AVRO 。
データ形式がAVROの場合は、
org.apache.kafka.clients.producer.ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIGおよびKEY_SERIALIZER_CLASS_CONFIGパラメータをByteArraySerializerに設定して、メッセージ・スキーマも指定する必要があります。
-
-
「シェイプ」ページでシェイプを定義するメカニズムの1つを選択します:
-
「推測シェイプ」 - 入力データ・ストリームから自動的にシェイプを検出します。
Kafka、JSONスキーマ・ファイル、またはCSVメッセージ/データファイルからシェイプを推論できます。 自動検出されたシェイプを保存し、後で使用することもできます。
-
「既存のシェイプを選択」 - ドロップダウン・リストから既存のシェイプの1つを選択できます。
-
「手動シェイプ」 - 既存のフィールドを作成し、シェイプに列を追加または削除することもできます。 また、フィールドのデータ型を更新することもできます。
-
指定された詳細でストリームが作成されます。
定義済みの形式のCSVデータ
データ形式がCSVの場合、これらのCSVの発信元によって異なるCSVデータのバリエーションに基づいて、事前定義された形式を選択します。 次の表に、これらの定義済みの各形式のCSVデータを示します:
| CSV定義済みフォーマット | 説明 |
|---|---|
|
|
|
|
|
Excelファイル形式(カンマを値デリミタとして使用)。 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
タブ区切り形式 |
JMSソースの機能
次の表に、JMSソースの機能を示します:
| 機能 | 説明 | コメント |
|---|---|---|
|
JMSクラスタに接続する機能 |
JMSコンシューマはJMSクラスタに接続し、JMSサーバーのフェイルオーバーを処理できる必要があります |
|
|
メッセージ・フォーマットのサポート |
MapおよびTextMessage (JSON、CSVおよびAVRO) |
xmlとオブジェクトをサポートしていません |
|
メッセージ・セレクタ |
メッセージのフィルタ処理に使用されるJMSメッセージ・セレクタ。 セレクタと一致するメッセージだけがイベントを生成します。 |
|
|
Re-connection |
JMSサーバーまたはJMSクラスタに再接続 |
|
|
キュー/分散キューからのメッセージの読み取り |
|
|
|
トピックからメッセージを読む |
JMSトピックからメッセージを読み取ります。 デフォルトでは、サブスクライバは耐久性がありません |
|
|
恒久サブスクライバのサポート |
恒久サブスクライバは、JMSプロバイダによって保持される一意のアイデンティティを指定して永続サブスクリプションをサブスクライブします。 コンシューマがJMSトピックに再接続すると、メッセージは最後に読み込まれた場所から読み取られます。 |
|
|
T3サポート |
Weblogic JMSプロトコル |
|
JMSサーバーのクリーンアップ
JMSストリームを作成し、永続サブスクリプション・オプションを選択すると(クライアントIDとサブスクリプションIDの値を指定して)、Stream Analyticsはこのストリームを使用しているパイプラインが実行されているときに永続サブスクリプションを作成します(存在しない場合)。 パイプラインから出てきたり、pipeline(or kill the running pipeline)のパブリッシュを解除すると、永続サブスクリプションはJMSサーバーに残ります。 このパイプラインをもう公開しない場合は、永続サブスクリプションをJMSサーバーから削除してリソースをクリーンアップすることをお勧めします。
参照の作成
参照は、ストリームを豊かにするための参照データの読み取り専用ソースを定義します。 顧客名を含むストリームは、顧客データを含む参照を使用して、顧客名を使用して検索を行うことによって、顧客の住所をストリームに追加することができます。
データベース参照は、データベース内の指定された表への参照です。 データベース参照用にキャッシュが有効になっている場合、値がデータベースから取得されると、次のリクエスト時に参照できるように、一貫性キャッシュに保持されます。 データベース参照にはデータベース接続が必要です。
コヒーレンス・リファレンスは、外部システムからのデータを持つことができるコヒーレンス・クラスタで定義された任意の外部キャッシュです。
参照を作成するには:
-
「カタログ」に移動します。
-
「新規アイテムの作成」メニューの「参照」を選択します。
-
タイプ・プロパティページの次のフィールドの詳細を入力し、次をクリックします:
-
「名前」 - 参照の名前
-
「説明」 - 参照の説明
-
「タグ」 - リファレンスに使用するタグ
-
「参照タイプ」 - 参照の参照型。 サポートされている参照型は: 一貫性とデータベース。
-
-
ソースの詳細ページの次のフィールドの詳細を入力し、次をクリックします:
参照タイプが「コヒーレンス」の場合は、次の値を入力または選択します:
-
「接続」 - コヒーレンス参照の接続
-
「キャッシュ名」 - Sparkアプリケーションのより高いメモリー使用量を犠牲にしてより良いパフォーマンスを得るためにキャッシュを有効にするキャッシュの名前。 キャッシングは、単一の等価結合条件でのみサポートされます。 キャッシュを更新すると、アプリケーションは更新されたデータを非常に迅速に受信します。
コヒーレンス参照には、キーと値のペアのデータがあります。 キーはオブジェクト・タイプで、値は
Map<String,Object>です。Map<String,Object>は属性名と値のマップです。属性リストは外部イベント・タイプと一致する必要があります。 このリリースでは、キーと値の外部スキーマのみがサポートされています。参照タイプが「データベース表」の場合は、次の値を入力または選択します:
-
「接続」 - データベース参照の接続
-
「キャッシュの有効化」 - キャッシングを有効にする場合は、このオプションを選択
-
「失効遅延」 - エントリが期限切れとマークされる前にキャッシュによって保持される最後の更新からの時間。 期限切れのエントリを読み取るには、構成済のキャッシュ・ストアからエントリをリロードすることになります。 このフィールドは、キャッシュが有効な場合にのみ有効です。
-
-
シェイプページの次のフィールドの詳細を入力し、保存をクリックします:
参照タイプがコヒーレンスの場合:
-
「既存のシェイプを選択」 - 参照に使用するシェイプを選択
注意:
列名としてCQL予約語を使用しないようにしてください。 予約されたキーワードを使用する場合、パイプラインをデプロイすることはできません。 -
「手動シェイプ」 - 独自のシェイプを定義する場合は、このオプションを選択
注意:
コヒーレンス・データをロードするときは、数値型の精度と位取りを必ず含めてください。 これらの値が指定されている場合のみ、結合が機能します。 次に例を示します。NamedCache cache = CacheFactory.getCache("externalcachetimestamp"); java.math.BigDecimal big10 = new java.math.BigDecimal("10",new MathContext(58)).setScale(56, RoundingMode.HALF_UP); Map<String,Object> order1 = new HashMap<String, Object>(); order1.put("strValue", "Test"); order1.put("intervalValue", "+000000002 03:04:11.330000000"); order1.put("orderTag", big10); cache.put(big10,order1);参照タイプがデータベース表の場合:
-
「シェイプ名」 - 参照に使用するシェイプを選択
-
表データのデータ型がサポートされていない場合、表の列には自動生成データ型はありません。 次のデータ型のみがサポートされています:
-
numeric -
interval day to second -
text -
timestamp(タイムゾーンなし) -
date time(タイムゾーンなし)注意:
date列をtimestampにマップすることはできません。 これは現在のリリースの制限です。
指定された詳細で参照が作成されます。
参照としての一貫性の制限
参照として一貫性がある場合、いくつかの制限があります:
-
接続をテストすることはできません
-
キャッシュ名を手動で指定する必要があります
-
コヒーレンス参照との相関を確立する際には、等価演算子のみを使用できます
-
手動のシェイプを使用する必要があります
ダッシュボードの作成
Dashboardは、視覚化のようなさまざまな指標に基づいてパイプラインに関連するデータを見て分析するのに役立つ視覚化ツールです。 ダッシュボードには、キューブから作成されたビジュアライゼーションも含まれます。
ダッシュボードはアナリティクス機能です。 Stream Analyticsでダッシュボードを作成して、メトリックをすばやく表示できます。
ダッシュボードを作成するには:- 「新しいアイテムを作成」メニューで「ダッシュボード」を選択します。
「ダッシュボードの作成」画面が表示されます。
ダッシュボードを作成した後は、空のダッシュボードに過ぎません。 ダッシュボードにビジュアライゼーションを追加する必要があります。
ダッシュボードの編集
ダッシュボードを編集するには:
-
カタログで必要なダッシュボードをクリックします。
ダッシュボード・エディタでダッシュボードが開きます。
-
既存の視覚化のリストを表示するには、「新しい視覚化を追加」アイコンをクリックします。 パイプラインからの可視化とキューブの探索からの可視化がここに表示されます。 リストを表示し、1つまたは複数のビジュアライゼーションを選択し、ダッシュボードに追加します。
-
「リフレッシュ間隔を指定」アイコンをクリックして、ダッシュボードのリフレッシュ頻度を選択します。 これは、パイプラインから作成されたストリーミング・チャートには適用できないキューブ・ベースのビジュアライゼーションにのみ適用されます。
これはちょうどクライアント側の設定であり、Supersetバージョン
0.17.0で永続化されません。 -
「CSSをダッシュボードに適用」アイコンをクリックしてCSSを選択します。 ライブ・エディタでCSSを編集することもできます。
「アクティブなダッシュボード・フィルタ」アイコンをクリックすると、ダッシュボードに適用されているアクティブなフィルタが表示されます。 リンクをダッシュボードに保存するか、「リンクをクリップボードにコピー」および「リンクをメールで送信」アイコンを使用して、誰かにリンクを電子メールで送信することができます。
-
「保存」アイコンをクリックして、ダッシュボードの変更を保存します。
-
追加された視覚化にカーソルを合わせ、「チャートを見る」アイコンをクリックして、視覚化のチャート・エディタを開きます。
視覚化のメタデータを見ることができます。 チャートをキャンバスの周りに移動したり、リフレッシュしたり、ダッシュボードから削除したりすることもできます。
キューブの探索は次のようになります:
時間単位、グループ単位、表タイムスタンプ形式、行制限、フィルタ、および結果フィルタなどのさまざまなオプションは、より詳細な情報と詳細をダッシュボードに追加します。
-
「別名保存」をクリックして、ダッシュボードを次のように変更します:
-
視覚化を上書きします
-
現在の視覚化を別の名前で上書きします
-
既存のダッシュボードにビジュアライゼーションを追加
-
ビジュアライゼーションを新しいダッシュボードに追加
-
キューブの作成
キューブは、複数のディメンションのビジネス問題に関連するデータを迅速に分析するのに役立つデータ構造です。
キューブを作成するには、次の手順を実行します。
- キューブの作成 - タイプ・プロパティ画面で、次のフィールドに適切な情報を入力します:
- 「名前」 - キューブの名前を入力します。 これは必須フィールドです。
パイプライン名、Druid接続、およびKafkaターゲットのようなキューブの基になるソースに使用する名前は、英数字、ハイフン、およびアンダースコア文字を含む名前を使用するようにしてください。
- 「説明」 - キューブの適切な説明を入力します。 これはオプションのフィールドです。
- 「タグ」 - キューブの論理タグを入力または選択します。 これはオプションのフィールドです。
- 「ソース・タイプ」 - ドロップダウン・リストからソース・タイプを選択します。 現在、パブリッシュされたパイプラインのみがサポートされています。 これは必須フィールドです。
- 「名前」 - キューブの名前を入力します。 これは必須フィールドです。
- 次をクリックし、摂取の詳細画面の次のフィールドに適切な情報を入力します:
- 「接続」 - キューブの接続。 これは必須フィールドです。
- 「パイプライン」 - キューブのベースとして使用するパイプラインを選択します。 これは必須フィールドです。
- 「Kafkaターゲット」 - キューブのKafkaターゲット。 これは必須フィールドです。
- 「タイムスタンプ」 - パイプラインからタイムスタンプとして使用する列を選択します。 これは必須フィールドです。
- 「タイムスタンプ書式」 - Joda時間形式を使用してタイムスタンプに適した形式を選択または設定します。 これは必須フィールドです。autoがデフォルト値です。
- 「メトリック」 - メジャーを作成するためのメトリックの選択
- 「ディメンション」 - グループのディメンションを選択
- 「高いカーディナリティ・ディメンション」 - ユニークなIDなどの高いカーディナリティ・ディメンション。 ハイパーログ近似が使用されます。
- 「次」をクリックし、「メトリック機能」画面の「メトリック」に必要な値を選択します。
- 「次」をクリックし、必要に応じて「高度な設定」画面で変更を加えます。
- 「セグメント粒度」 - セグメントを作成するための粒度を選択
- 「問合せ粒度」 - 結果を問合せできる最小の粒度と、セグメント内のデータの細かさを選択
- 「タスク数」 - レプリカ・セット内の読み取りタスクの最大数を選択します。 これは、読み取りタスクの最大数が
taskCount*replicasであり、タスクの総数(読み取り+発行)がこれより高いことを意味します。 読み取りタスクの数はtaskCount if taskCount > {numKafkaPartitions}より少なくなっています。 - 「タスクの期間」 - タスクが読み上げを停止してセグメントを公開するまでの時間を選択します。 セグメントはディープ・ストレージにプッシュされ、索引作成タスクが完了すると履歴ノードによってロード可能です。
- 「メモリーの最大行数」 - 0以上の数値を入力します。 この数値は、永続化する前に集計する行の数を示します。 この数値は集計後の行であるため、入力イベントの数とは異なりますが、それらのイベントが集計される行の数に相当します。 これは、必要なJVMヒープ・サイズを管理するために使用されます。
maxRowsInMemory*(2 + maxPendingPersists)を使用した索引付けスケールの最大ヒープ・メモリー使用量。 - 「セグメントあたりの最大行数」 - 0以上の数値を入力します。 セグメントに集計する行数です。この数値は集計後の行です。
- 「即時永続化期間」 - 中間が持続する割合を決定する期間を選択します。 これにより、インデックス作成タスクが終了する前に、データ・キューブの問合せの準備ができます。
- 「パース例外の報告」 - このオプションを選択すると、解析中に発生した例外をスローし、摂取を停止します。
- 「高度なIO構成」 - 名前と値のペアをCSV形式で指定します。 利用可能な構成は、
replicas、startDelay、period、useEarliestOffset、completionTimeout、およびlateMessageRejectionPeriodです。 - 「高度なチューニング構成」 - CSV形式で名前と値のペアを指定します。 使用可能な構成は、
maxPendingPersists、handoffConditionTimeout、resetOffsetAutomatically、workerThreads、chatThreads、httpTimeout、およびshutdownTimeoutです。
キューブの探検
druidベースのキューブを作成すると、その中のデータを探索できます。
キューブを探索するには:
- さまざまなパラメータを設定して問合せを作成します。
-
視覚化タイプ - データを表示するために使用される視覚化のタイプ。 サポートされている視覚化は次のとおりです:
配布 - 棒チャート
セパレータ
サンバースト
円グラフ
ワールド・クラウド
サン・キー
時系列 - ライン・チャート
ツリーマップ
指示された力のレイアウト
時系列 - 二重軸線図
カレンダ・ヒートマップ
ワールド・マップ
時系列 - 棒チャート
ボックス・プロット
フィルタ・ボックス
時系列 - パーセント変更
バブル・チャート
iFrame
時系列 - 積上げ
弾丸の図
ストリーミング・チャート
表ビュー
トレンド・ラインの大きな数字
パラレル座標
マークアップ
ビッグ・ナンバー
ヒートマップ
ピボット表
ヒストグラム
横
-
時間 - 時間の粒度、起点(開始時点)、時間範囲などの時間関連のフォーム属性
-
グループ化基準 - 問合せデータを集計するパラメータ
-
グループ化されていない - アトミック行を問合せするパラメータ
-
オプション
-
フィルタ - フィルタで使用できる列
-
結果フィルタ - 結果フィルタで使用できる列
-
ターゲットの作成
ターゲットは、パイプラインからの出力データの宛先を定義します。
ターゲットを作成するには:
-
「カタログ」に移動します。
-
「新しいアイテムを作成」メニューで「ターゲット」を選択します。
-
タイプ・プロパティページの次のフィールドの詳細を入力し、保存および次をクリックします:
-
「名前」 - ターゲットの名前
-
「説明」 - ターゲットの説明
-
「タグ」 - ターゲットに使用するタグ
-
「ターゲット・タイプ」 - ターゲットのトランスポート・タイプ。 サポートされているタイプはJMS、KafkaおよびRestです。 ターゲットは出力イベントのシンクです。 各タイプのターゲットは異なるシンク・システムであるため、異なるタイプの構成パラメータが必要です。
-
-
ターゲットの詳細ページの次のフィールドの詳細を入力し、次をクリックします:
ターゲット・タイプがJMSの場合:
-
「接続」 - ターゲットの接続
-
「JNDI名」 - ターゲットで使用されるJndiで定義されたトピック名またはキュー名
-
「データ・フォーマット」 - 適切なデータ形式を選択します。 これは必須フィールドです。 サポートされるデータ形式のタイプは次のとおりです: CSVとJSON。
ターゲット・タイプがKafkaの場合:
-
「接続」 - ターゲットの接続
-
「トピック名」 - ターゲットで使用されるKafkaトピック
-
「データ・フォーマット」 - 適切なデータ形式を選択します。 これは必須フィールドです。 サポートされるデータ形式のタイプは次のとおりです: CSVとJSON。
ターゲット・タイプがRESTの場合:
-
URL - RESTサービスURLを入力します。 これは必須フィールドです。
-
「カスタムHTTPヘッダー」 - HTTP用のカスタム・ヘッダーを設定します。 これはオプションのフィールドです。
-
「バッチ処理」 - このオプションを選択すると、1つずつではなくバッチでイベントが送信されます。 ハイ・スルー・プット・パイプラインでこのオプションを有効にします。 これはオプションのフィールドです。
-
「データ・フォーマット」 - 適切なデータ形式を選択します。 これは必須フィールドです。
「接続のテスト」をクリックして、接続が正常に確立されたことを確認します。
テストRESTターゲットはヒューリスティクなプロセスです。 プロキシ設定を使用します。 テスト・プロセスは、指定されたURLにpingするためにGETリクエストを使用し、サーバーが
OK (status code 200)を返した場合に成功を返します。 返品内容のタイプはapplication/jsonです。 -
-
データ・フォーマットページの次のフィールドの詳細を入力し、次をクリックします:
データ形式のタイプがCSVの場合:
-
「CSV定義済みフォーマット」 - 定義済みのCSV形式を選択します。 このサポートされている形式は: Excel, InfomixUnload, InfomixUnloadCsv, MySQL, PostgreSQLCsv, PostgreSQLText。
-
「見出し行を作成」 - ターゲットにヘッダー行を作成する場合は、このオプションを選択します。
データ形式のタイプがJSONの場合:
-
「入れ子になったjsonオブジェクトを作成」 - ターゲットに対してネストされたjsonオブジェクトを作成する場合は、このオプションを選択
-
-
シェイプページでシェイプを定義するメカニズムの1つを選択し、保存をクリックします:
-
「既存のシェイプを選択」を使用すると、ドロップダウン・リストから既存のシェイプの1つを選択できます。
-
「手動シェイプ」は既存のフィールドにデータを挿入し、シェイプに列を追加または削除することもできます。 また、フィールドのデータ型を更新することもできます。
-
指定された詳細でターゲットが作成されます。
パイプライン・エディタからターゲットを作成
また、パイプライン・エディタからターゲットを作成することもできます。 ターゲット・ステージで「作成」をクリックすると、「ターゲットの作成」ダイアログ・ボックスに移動します。 必要な詳細をすべて提供し、ターゲット作成プロセスを完了します。 パイプライン・エディタからターゲットを作成すると、最後のステージからシェイプがあらかじめ入力されます。
ジオ・フェンスの作成
ジオ・フェンスはさらに2つのカテゴリに分類される: 手動のジオ・フェンスとデータベース・ベースのジオ・フェンス。
手動ジオ・フェンスを作成
マニュアル・ジオ・フェンスを作成するには:
-
「カタログ」ページにナビゲートします。
-
「新しいアイテムを作成」をクリックし、ドロップダウン・リストから「ジオ・フェンス」を選択します。
「ジオ・フェンスの作成」ダイアログが開きます。
-
「ジオ・フェンス」の適切な名前を入力します。
-
「タイプ」として「手作業で作成されたジオ・フェンス」を選択します。
-
「保存」をクリックします。
「エディタ」が開きます。 このエディタでは、必要に応じてジオ・フェンスを作成できます。
-
「エディタ」、「ズーム・イン」または「ズーム・アウト」の中で、画面の左上にあるツールバーのズーム・アイコンを使用して必要な領域に移動します。
「キー・ズーム」ツールを使用して、マップ上の特定の領域をズームすることもできます。 キー・ズームを使用してエリアにマークを付けることができ、マップ内のそのエリアがズームされます。
-
「ポリゴン・ツール」をクリックし、リージョンの周りのリージョンをマークしてジオ・フェンスを作成します。
-
名前と説明を入力し、「保存」をクリックして変更を保存します。
手動ジオ・フェンスを更新
マニュアル・ジオ・フェンスを更新するには:
-
「カタログ」ページにナビゲートします。
-
更新するジオ・フェンスの名前をクリックします。
「エディタ」が開きます。 ここでジオ・フェンスを編集/更新できます。
マニュアル・ジオ・フェンス内で検索
国とリージョンまたは住所に基づいてジオ・フェンスを検索することができます。 検索フィールドでは、利用可能な国のリスト内で検索できます。 ジオ・フェンスの左中央の検索結果タイルをクリックして結果を選択すると、その特定のエリアに自動的に拡大表示されます。
手動ジオ・フェンスを削除
マニュアル・ジオ・フェンスを削除するには:
-
「カタログ」ページにナビゲートします。
-
「アクション」をクリックし、次に「アイテムの削除」を選択して、選択したジオ・フェンスを削除します。
データベース・ベースのジオ・フェンスを作成
データベース・ベースのジオ・フェンスを作成するには:
-
「カタログ」ページにナビゲートします。
-
「新しいアイテムを作成」をクリックし、ドロップダウン・リストから「ジオ・フェンス」を選択します。
「ジオ・フェンスの作成」ダイアログが開きます。
-
ジオ・フェンスの適切な名前を入力します。
-
TypeとしてDatabaseから「ジオ・フェンス」を選択します。
-
「次」をクリックし、「接続」を選択します。
-
「次へ」をクリックします。
フィールド・タイプが
SDO_GEOMETRYのすべてのテーブルがドロップダウン・リストに表示されます。 -
シェイプを定義するために必要な表を選択します。
-
「保存」をクリックします。
注意:
データベース・ベースのジオ・フェンスは編集/更新できません。データベース・ベースのジオ・フェンスを削除
データベース・ベースのジオ・フェンスを削除するには:
-
「カタログ」ページにナビゲートします。
-
「アクション」をクリックし、「アイテムの削除」を選択して、選択したジオ・フェンスを削除します。
タイル・レイヤーを使用してマップを表示
タイル・レイヤーは、即座の地理的コンテキストを提供するベース・マップです。 タイルはマップ・タイル・サーバーに格納されます。<ph ishcondition="Product_Family=Cloud" varref="streaming"> Stream Analytics </ph> <ph ishcondition="Product_Family=OnPremise" varref="osa"> Oracle Stream Analytics </ph>は、2タイプのタイル・レイヤーをサポートしています。 オープン・ストリート・マップ・タイル・レイヤーは無料のマップです。 また、Elocationタイル・レイヤーはOracleタイル・レイヤーです。 これらのタイル・レイヤーには、次のような膨大な量のデータが含まれています:
-
Roads, railways, waterways, など。
-
レストラン、ショップ、駅、ATMなど
-
ウォーキングとサイクリングの道
-
Buildings, campuses, など。
Elocationタイル・レイヤーまたはOpen Street Mapsタイル・レイヤーでマップを表示するかどうかを選択できます。 あなたのプリファレンスを設定するには:
-
画面の右上隅のユーザー名をクリックします。
-
「Preferences」をクリックします。 「設定」ページが開きます。
-
「マップ」をクリックします。
-
「タイル・レイヤー」の下で、ドロップダウン・リストから「オープン・ストリート・マップ・タイル・レイヤー」オプションを選択します。
-
「保存」をクリックします。 マップは次のようになります:
-
Elocationタイル・レイヤーにマップを表示するには、ステップ1〜3を実行します。
-
「タイル・レイヤー」ドロップダウン・リストから、「ロケーション・タイル・レイヤー」を選択します。
-
「保存」をクリックします。 マップは次のようになります:
予測モデルの作成
- 予測モデルの詳細の下で、次のようにして保存をクリックします:
- (オプション)「ツール」ドロップダウン・リストで、PMMLファイルを作成したツールを選択します。
カスタムJARの作成
カスタムjarは、パイプライン内で使用されるカスタム・ステージ・タイプまたはカスタム関数のJavaクラスを含むユーザー提供のJarアーカイブです。
- タイプ・プロパティページで、適切な値を入力または選択して次へをクリックします:
- 「名前」フィールドに、アプリケーションにインポートしようとしているカスタムjarの意味のある名前を入力します。
- 「説明」フィールドに適切な説明を入力します。
- 「タグ」フィールドで、既存のタグを1つ以上選択するか、独自のタグを入力します。
- 「カスタムJarタイプ」ドロップダウン・リストで、「カスタムJar」を選択します。
パイプラインの作成
パイプラインは、ビジネス・ロジックを実装するSparkアプリケーションです。 問合せステージ、パターン・ステージ、ビジネス・ルール・ステージ、問合せグループ・ステージ、カスタム・ステージなど、複数のステージを持つことができます。
パイプラインを作成するには:
-
「カタログ」に移動します。
-
「新しいアイテムを作成」メニューで「パイプライン」を選択します。
-
次のフィールドの詳細を入力し、保存をクリックします:
-
「名前」 - パイプラインの名前
-
「説明」 - パイプラインの説明
-
「タグ」 - パイプラインに使用するタグ
-
「ストリーム」 - パイプラインに使用するストリーム
-
指定された詳細でパイプラインが作成されます。
パイプラインとそれに依存するアーティファクトのエクスポートとインポート
エクスポートおよびインポート機能を使用すると、数回のクリックで、Stream Analyticsシステム間でパイプラインおよびその内容を(開発および生産など)移行することができます。 また、選択したアーティファクトのみをマイグレーションすることもできます。 Stream Analyticsの最新バージョンで開発されたパイプラインをインポートすることができます。 再インポート時に、パイプラインが公開されていない場合、既存のメタデータは新しくインポートされたメタデータで上書きされます。 インポートされたアーティファクトを右クリックし、「削除」を選択することで削除できます。
-
キューブ
-
ダッシュボード
-
カスタム・ステージ
-
ビジュアライゼーション
-
ファイル・ストリーム
-
予測モデル
- Stream Analyticsインスタンスで、「カタログ」の下で、Stream Analyticsの別のインスタンスにエクスポートするパイプラインまたはアーティファクトを右クリックし、「エクスポート」を選択します。
アイテムはZIPファイルとしてエクスポートされます。
- ツールバーの「インポート」をクリックします。
- 「インポート」ダイアログ・ボックスで、「ファイルの選択」をクリックし、エクスポートされたZIPファイルを選択します。
- 「インポート」をクリックします。
メタデータが正常にインポートされると、次のようなメッセージが表示されます:
パイプラインの公開
パイプラインを公開して、Stream Analyticsのすべてのユーザーがパイプラインを利用できるようにし、データをターゲットに送信する必要があります。
パブリッシュされたパイプラインは、リソースを解放するために配備されていないドラフト・パイプラインとは異なり、パイプライン・エディタを終了するとSparkクラスタ上で実行され続けます。
パイプラインを公開するには:
トポロジ・ビューアの使用
「トポロジ」は、接続されたエンティティの図形表示とイラストレーション、およびアーティファクト間の依存関係です。
トポロジ・ビューアは、選択したエンティティが他のエンティティに持つ依存関係を識別するのに役立ちます。 依存関係を理解することにより、注意深くエンティティを削除あるいはアンデプロイできます。 Stream Analyticsは、トポロジの2つのコンテキストをサポート - 「即時家族」および「大家族」。
トポロジ・ビューアは、次のいずれかの方法で起動できます。
-
選択したエンティティに対してトポロジ・ビューアを起動するには、カタログ・アクションメニューから「トポロジの表示」を選択します。
-
パイプライン・エディタで「トポロジの表示」アイコンをクリックします。
エディタの右上にある「トポロジの表示」アイコンをクリックしてトポロジviewer.Byを開きます。トポロジ・ビューアを起動するエンティティのトポロジが表示されます。 このトポロジのコンテキストは即時ファミリで、エンティティと他のエンティティの間の即時依存関係および接続のみが表示されることを示します。 トポロジのコンテキストを切り替えて、トポロジ・ビューアで起動したエンティティのトポロジ全体を表示できます。 拡張ファミリコンテキストのトポロジでは、トポロジのすべての依存関係および接続が階層的に表示されます。
注意:
トポロジ・ビューアでは、トポロジが表示されているエンティティはグレーのボックスに囲まれています。即時ファミリ
即時ファミリコンテキストによって、選択したエンティティとその子または親との間の依存性が表示されます。
次の図は、即時ファミリでどのようにトポロジが表示されるかを示しています。
拡張ファミリ
「大家族」コンテキストは、フル・エンティティ間の依存関係を表示します。エンティティに子エンティティと親エンティティがあり、親エンティティに他の依存関係がある場合、すべての依存関係がFullコンテキストに表示されます。
次の図は、拡張ファミリでどのようにトポロジが表示されるかを示しています。
パターンの使用
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
Stream Analyticsのパターンについて
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
使用可能なすべてのパターンを表示するには、ホームページの「パターン」をクリックします。 さまざまなカテゴリのパターンを表示するには、左側のフィルタを使用します。 ユーザー・アシスタントのアイコンをクリックすると、完全な説明が表示され、各パターンの詳細が表示されます。 追加情報を非表示にするには、再度クリックします。
パターンは、共通のビジネス・シナリオに基づくライブ出力ストリームの形式に結果を表示します。
注意:
特定のパターンのフィールドにデータを入力する際、入力するデータがフィールドのデータ型に一致していることを確認してください。 入力されたデータとデータ型が一致しない場合、パターンはデプロイされず、エラーがスローされます。「表示」下の左側のパネルの「すべて表示」リンクを使用して、カテゴリに基づいてパターンを包含または除外できます。 「すべてを表示」をクリックすると、その横にチェックマークが表示され、すべてのパターンがページに表示されます。
いくつかの選択したパターンのみを表示するには、「すべて表示」の選択を解除し、個別にパターンを選択します。 選択したパターンのみがカタログに表示されます。
次の表に、パターンのカテゴリを示します:
| カテゴリ | パターン |
|---|---|
|
エンリッチメント |
逆ジオコード: 近所の 左の外部結合 |
|
Outlier |
変動 |
|
包含 |
論理和 左の外部結合 |
|
イベントがありません |
'A'に続いて'B' 欠落イベントの検出 |
|
空間 |
近接性: ジオ・フェンスでストリーム ジオフェンス 空間: 速度 相互作用: シングル・ストリーム 逆ジオコード: 近所の ジオ・コード 空間: ポリゴンをポイント 相互作用: 2つのストリーム 近接性: 2つのストリーム 方向 逆ジオ・コード: ニア・バイ場所 近接性: シングル・ストリーム フィルタ |
|
フィルタ |
Eliminate Duplicates 変動 |
|
状態 |
'A'に続いて'B' 逆W 欠落イベントの検出 W 'A'に続いて'B' 'B'は先行しない'A' |
|
会計 |
逆W W |
|
Trend |
'A'に続いて'B Top N 変更検出 Up Trend 欠落イベントの検出 Down Trend 'A'に続いて'B' Detect Duplicates Bottom N |
|
シェイプ検出器 |
逆W W |
|
統計 |
Correlation 分位 |
式ビルダー関数について
このトピックは、Oracleユーザー管理サービスにのみ適用されます。
トピックス:
セル関数とは何ですか?
整数の数学的な円筒関数は、セル関数として知られています。
| 関数名 | 説明 |
|---|---|
|
|
double引数の0次の修正セル関数をdoubleとして返します。 |
|
|
double引数の0次の指数関数的にスケーリングされた修正Bessel関数をdoubleとして返します。 |
|
|
double引数の1次の修正セル関数をdoubleとして返します |
|
|
double引数の1次の指数関数的にスケーリングされた修正Bessel関数をdoubleとして返します。 |
|
|
引数の最初の種類のセル関数をdoubleとして返します |
|
|
引数の3番目の種類のBessel関数をdouble型として返します |
|
|
double引数の3番目の種類の0の指数関数的にスケーリングされた修正Bessel関数をdoubleとして返します |
|
|
double引数の第3の種類のorder 1の指数関数的にスケーリングされた修正Bessel関数をdoubleとして返します |
|
|
double引数の2番目の種類の次数のセル関数をdoubleとして返します |
変換関数とは何ですか?
変換関数は、あるデータ型の値を他のデータ型に変換するのに役立ちます。
このリリースでは、次の変換関数がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
指定された値をbigdecimalに変換 |
|
|
指定された値を論理値に変換 |
|
|
指定された値をdatetimeに変換 |
|
|
指定された値をdoubleに変換 |
|
|
指定された値をfloatに変換 |
|
|
指定された値を整数に変換 |
|
|
指定された値をlongに変換 |
|
|
指定された値を文字列に変換 |
日付機能とは何ですか?
このリリースでは、次の日付関数がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
日付の日を返します。 |
|
|
ストリームからのイベント・タイムスタンプを返します。 |
|
|
日付の時間を返します。 |
|
|
日付の分を返します。 |
|
|
日付の月を返します。 |
|
|
日付のナノ秒を返します。 |
|
|
日付の秒を返します。 |
|
|
アプリケーションが実行されているシステムのタイムスタンプを返します。 |
|
|
指定されたタイムスタンプを必要な時間形式で返します。 |
|
|
現在の出力時間を返します。 |
|
|
日付の年を返します。 |
ジオメトリ関数とは何ですか?
ジオメトリ関数を使用すると、与えられた値を幾何学的シェイプに変換できます。
このリリースでは、次のインターバル機能がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
与えられた緯度と経度から2ディメンションの点タイプのジオメトリを返します。 デフォルトのSRIDは8307です。 戻り値は、 |
|
|
緯度、経度の最初のセットと緯度、経度の2番目のセットの間の距離を返します。 デフォルトのSRIDは8307です。 戻り値は、 |
インターバル機能とは何ですか?
Interval関数は、与えられた値から時間間隔を計算するのに役立ちます。
このリリースでは、次のインターバル機能がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
指定された値を 戻り値は、 |
|
|
形式 戻り値は、 |
数学関数とは何ですか?
数学関数を使用すると、単純なものから複雑なものまでさまざまな数学的演算や計算を実行できます。
このリリースでは、次の数学関数がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
IEEE 754標準に従って、2個の引数について剰余を計算します |
|
|
数値の絶対値を返します。 |
|
|
値の逆余弦を返します。 |
|
|
値の正弦を返します |
|
|
値の逆正接を返します。 |
|
|
点の極角を返します( |
|
|
指定された力に上げられた基底の2項係数を返します。 |
|
|
BitsSet (From, To)のBitsSet |
|
|
指定された値の3乗根を返します。 |
|
|
天井までの丸め |
|
|
2番目の浮動小数点引数の符号を付けた、最初の浮動小数点引数を返します |
|
|
値のサインを返します。 |
|
|
値のサイン双曲線を返します。 |
|
|
値の指数を返します。 |
|
|
より正確に |
|
|
自然数の階乗を返します。 |
|
|
床へのラウンド |
|
|
doubleの表現で使用されている、バイアスなしの指数を返します |
|
|
定義済みシードの(一見巨大な)行列からの整数としての確定的シードを返します。 |
|
|
指定されたdouble値の整数ハッシュ・コードを返します。 |
|
|
2つの引数の平方和の平方根を返します。 |
|
|
このUUIDの128ビット値の最下位64ビットを返します |
|
|
|
|
|
数値の自然対数を返します。 |
|
|
指定された引数の基数10へのログ値を計算 |
|
|
指定された引数の基数2に対するログ値を計算 |
|
|
その整数引数の階乗の自然対数(底e)をdoubleとして返します |
|
|
その整数引数(k >= 0 & & k <21の範囲)の階乗をlongとして返します< span> |
|
|
最大2つの引数を返します。 |
|
|
最小2つの引数を返します。 |
|
|
数値のモジュロを返す |
|
|
このUUIDの128ビット値の最上位64ビットを返します |
|
|
2番目の引数の方向で、最初の引数に隣接する浮動小数点値を返します |
|
|
負の無限大の方向に入力引数に隣接する浮動小数点値を返します。 |
|
|
正の無限大の方向に入力引数に隣接する浮動小数点値を返します |
|
|
n乗したmを返します。 |
|
|
引数の値にもっとも近く、計算上の整数に等しいdouble値を返します |
|
|
最も近い整数値に丸めます。 |
|
|
double値セットのメンバーに単一の正しく丸められた浮動小数点を掛けることによって実行される場合と同様に、d×2scaleFactorを丸めて返します |
|
|
引数のsignumをdouble値として返します。 |
|
|
値の正弦を返します。 |
|
|
値の正弦双曲線を返します。 |
|
|
値の平方根を返します。 |
|
|
整数引数の階乗の自然対数(底e)のスター・リング近似の補正項をdoubleとして返します |
|
|
値の正接を返します。 |
|
|
値の正接双曲線を返します。 |
|
|
引数の値を度に変換 |
|
|
ラジアン単位の角度の測定値を返します。 |
|
|
引数のulpのサイズを返します |
統計関数とは何ですか?
統計関数は、さまざまな値の統計を計算するのに役立ちます。
このリリースでは、次の統計関数がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
ベータ密度関数の下でゼロから |
|
|
ベータ密度関数の右側テールの下の領域( |
|
|
二項確率密度の項0〜 |
|
|
二項確率密度の項 |
|
|
|
|
|
|
|
|
正規分布の誤差関数を返します。 |
|
|
正規分布の補数誤差関数を返します。 |
|
|
引数のガンマ関数を返します。 |
|
|
|
|
|
ゼロから評価された不完全なベータ関数を |
|
|
不完全なガンマ関数を返します。 |
|
|
補完された不完全なガンマ関数を返します。 |
|
|
ガンマ関数の自然対数を返します。 |
|
|
負の二項分布の項の0から |
|
|
負の二項分布の無限大に対する項 |
|
|
マイナス無限大から |
|
|
正規分布(ガウス分布)確率密度関数の下の領域が引数 |
|
|
ポアソン分布の最初の |
|
|
ポーズ分布の無限大に対する項 |
|
|
|
|
|
Student-t確率密度関数の下の領域が |
文字列関数とは何ですか?
このリリースでは、次のString関数がサポートされています:
| 関数名 | 説明 |
|---|---|
|
|
リスト内の最初のnullでない式を返します。 すべての式がNULLと評価された場合、COALESCE関数はNULLを戻します。 |
|
|
文字列に変換された値の連結を返します。 |
|
|
|
|
|
指定されたテキスト式を返します。各単語の最初の文字は大文字で、その他の文字はすべて小文字で返します。 |
|
|
指定された文字列の長さを返します。 |
|
|
一致するパターンを返します。 |
|
|
指定された文字列を小文字に変換 |
|
|
文字列の左側に特定の文字セットを貼り付けます( |
|
|
文字列の左側から指定されたすべての文字を削除 |
|
|
|
|
|
文字列の右側に特定の文字セットを貼り付けます( |
|
|
文字列の右側から指定されたすべての文字を削除 |
|
|
インデックスが'from' (両端を含む)〜文字列の最後までの間にある場合、'string'の部分文字列を返します |
|
|
インデックスが\'from\' (両端を含む)と\'to\' (これを含まない)の間にある場合、\'string\'の部分文字列を返します。 |
|
|
文字列内の一連の文字を、別の文字のセットで置き換えます。 ただし、一度に1文字ずつ置換されます。 |
|
|
与えられた文字列を大文字に変換 |