Integrator ETLでは、Endecaデータ・ドメインへのデータのロードをサポートするため、Bulk Add/Update Recordsコンポーネント(通常バルク・ローダーと呼ばれます)およびMerge Recordsコンポーネントの、2つのコンポーネントが用意されています。
データのロードの際は、少なくとも処理リソースの一部がロード処理に振り分けられるため、結果として、データのロード中は問合せのパフォーマンスが低下します。Merge Recordsコンポーネントでは、データ収集Webサービスが使用され、ごく一部の処理リソースが消費されます。したがって、問合せのパフォーマンスは低下しますが、問合せ処理の一部の継続が可能です。バルク・ローダーでは、Endeca Serverのバルク・ロードAPIが使用され、実行中にすべての処理リソースが消費されます。問合せ処理は、バルク・ロード中は基本的に保留され、バルク・ロード処理の完了後に再開されます。
Bulk Add/Replace Recordsコンポーネントは、目に見える更新が遅れることや、問合せ処理がロード処理の間停止することが許容される場合、一括でデータをロードするために使用します。
このコンポーネントを選択する具体的な状況には、次のものがあります。
- 属性スキーマの構成の有無にかかわらず、データ・ドメインへのレコードの初期ロードを行う場合。スキーマが構成されておらず(つまり、PDRがロードされていない)、事前にロードされたユーザーのデータがない場合、新しいプロパティはすべて、システムのデフォルト値で作成されます。
- 初期アップロード後の任意の時点でデータ・ドメインに新しいレコードを追加する場合。データ・ドメインに存在しない、すべての新しい標準属性が、システムのデフォルト値で自動的に作成されます。
- データ・ドメイン内の既存のレコードを置き換える場合。Bulk Add/Replace Recordsコンポーネントを使用しており、ロードされたレコードが既存のレコードと一致する場合、ロードされたレコードで既存のレコードが上書きされます(完全に置き換えられます)。
このコンポーネントは、次のロードには使用できないことに注意してください。
- グローバル構成レコード(GCR)
- プロパティ詳細レコード(PDR)
- ディメンション詳細レコード(DDR)
- 管理対象属性値(mval)
- すべてのデータ・ドメイン構成ドキュメント
Merge Recordsコンポーネントは、少数のレコードの追加や更新、またはロード中にも(低下したパフォーマンスで)問合せ処理を継続し、ロード時間が長くなることを許容できる場合のレコードの追加や変更に使用します。
このコンポーネントを選択する具体的な状況には、次のものがあります。
- 属性スキーマをロードする場合。
- レコードの初期ロード後に、新しいレコードでデータ・ドメインを増分更新する場合。データ・ドメインに存在しない、すべての新しい属性が、システムのデフォルトで自動的に作成されます。
- 初期アップロード後に、データ・ドメインの既存のレコードを増分更新する場合。動作は、標準属性の複数割当ての構成に依存します。単一割当てのプロパティがfalseに構成されている場合、アップロードされたデータは完全に付加されます。つまり、ロードされたキーと値のベアが既存のレコードにマージされます。単一割当てのプロパティがtrue(デフォルト)に構成されている場合、既存の割当てに追加の値がアップロードされると、操作が失敗します。
- 任意の時点でデータ・ドメインに新しいレコードを追加する場合。
このコンポーネントは、次のロードには使用できないことに注意してください。
- グローバル構成レコード(GCR)
- 管理対象属性値(mval)
- すべてのデータ・ドメイン構成ドキュメント
一般的には、次のとおりです。
- Bulk Add/Replace Recordsコンポーネントは、大量のレコードのロード、追加または置換を行い、かつ問合せ処理や目に見える変更が遅れることが許容される場合に選択します。(したがって、この操作は営業時間外や週末にスケジュールすることを検討します。)
- Add/Update Recordsコンポーネントは、少ないレコード数のロード、追加および更新を行い、問合せ処理をロード処理中に継続し(前述のとおり、問合せ処理のパフォーマンスは低下します)、変更が即座に目に見えるようにする場合に選択します。