4.2.1.4 Kafkaストリームの作成

前提条件: Kafka接続。

Kafkaストリームを作成するには:

1. 「カタログ」ページで、「新規アイテムの作成」をクリックします。
2. マウスを「ストリーム」の上に置き、サブメニューから「Kafka」を選択します。
3. 「タイプ・プロパティ」画面で、次の詳細を入力します:
   • 名前: ストリームの一意の名前を入力します。これは必須フィールドです。
   • 表示名: ストリームの表示名を入力します。空のままにすると、「名前」フィールドの値がコピーされます。
   • 説明
   • タグ
   • ストリーム・タイプ: 選択したストリームが表示されます。
4. 「次」をクリックします。
5. 「ソース詳細」画面で、次の詳細を入力します:

   • 接続: ストリームのKafka接続を選択します。

   • トピック名: ストリームを格納するkafkaトピックの名前を入力します。

   • データ形式: ストリームのデータ形式としてCSV、JSONまたはAVROを選択します。

     形式タイプごと:
6. 「次」をクリックします。
7. 「データ形式」画面で、選択したデータ形式に基づいてストリームの形状の詳細を入力します。
   • JSONの場合:
     • 列名の欠落の許可: このオプションを選択して、形状に定義されていない列を含む入力ストリームを許可します。
   • CSVの場合:
     • CSV事前定義済形式: ドロップダウン・リストから事前定義済データ形式のいずれかを選択します。詳細は、「事前定義済CSVデータ形式」を参照してください。
     • 最初のレコードをヘッダーとする: 最初のレコードをヘッダー行として使用するには、このオプションを選択します。
   • AVROの場合:
     • スキーマ・ネームスペース: ストア内のスキーマを一意に識別するために、スキーマ名をネームスペースと組み合せて入力します。
     • スキーマ(オプション): 形状の推測元のスキーマ・ファイルをアップロードします。
8. 「次」をクリックします。
9. 「形状」画面で、形状を定義するいずれかの方法を選択します:

   • 形状の推測: このオプションを選択すると、入力データ・ストリームから形状が自動的に検出されます。

   • 既存の形状の選択: ドロップダウン・リストから既存の形状のいずれかを選択します。

   • 手動形状: ストリームまたはファイルからフィールドを手動で推測するには、このオプションを選択します。フィールドのデータ型を更新することもできます。

     ノート:

     • JSONペイロード全体を取得するには、パス$を持つ新しいフィールドを追加します。
     • 配列の内容を取得するには、パス$[arrayField]を持つ新しいフィールドを追加します。

     どちらの場合も、返される値はテキスト型です。

   • ストリームから: kafkaトピックの最も古いか最新のオフセットに基づいて形状を検出するには、このオプションを選択します。デフォルトのオプションは「最も古い」です。「最新」を使用して、Kafkaトピックの最新のレコードに基づいて形状を推測します。

     このオプションは現在JSONデータ形式にのみ使用できます。

   • ファイルから: Kafka、JSONスキーマ・ファイル、JSONまたはCSVデータ・ファイルから形状を推測するには、このオプションを選択します。自動検出された形状を保存して、後で使用することもできます。

     このオプションは、データ形式としてCSVを選択した場合に有効になります。

   • スキーマから: ステップ6で選択したスキーマに基づいて形状を推測する場合は、このオプションを選択します。このオプションは、データ形式としてAVROを選択した場合に有効になります。
10. 「保存」をクリックします。