小売在庫分析用のデータ・レイクハウスを設計
Groceryのお客様は、在庫切れの商品を、買い物が悪い理由として挙げています。製品の可用性だけでなく、顧客は店内の時間を短く効率的であると期待しています。今やこれまで以上に、小売業者はシームレスなショッピング体験を提供し、その実現がデータを作るための重要な要素となっている。
小売業者は、豊富なデータを入手し、クラウドベースのビッグ・データ・ソリューションに切り替えて、リアルタイムで在庫状況を把握するためのデータを集約および管理したいと考えています。Oracle Cloud Infrastructure (OCI)上に設計されたデータ・レイクハウスは、POS、在庫、顧客および業務システムから生成されたデータからインサイトを取得し、リアルタイムの在庫管理を理解できます。
このリファレンス・アーキテクチャは、プラットフォーム・トポロジ、コンポーネントの概要、およびOCIで成功するデータ・レイクハウスを実装するための推奨ベスト・プラクティスを紹介します。
- 顧客は、オンラインのマーチャント(Webまたはモバイル)とピックアップまたは配信を行う顧客、またはストア従業員とやり取りするかセルフサービス・マシンを使用してやり取りするかにかかわらず、店舗で物理的にやり取りします。
- 店舗マネージャは、製品や製品カテゴリがどのように販売されているかを可視化し、在庫使用量などの予測インサイトを取得し、自動処理(自動調達など)を促進します。
- 可視化、レポート、AI機能による高度なリアルタイム分析に関心のある経営陣。
- データ・サイエンティストがビッグ・データに取り組んでいるため、データ量が増え、ソース数が増え、高速処理と柔軟性が求められ、モデルを容易に導入できます。
- ローコード開発者、既存データおよび新しいデータ駆動型アプリケーションの使用に重点を置いて、シンプルさとセキュリティと運用の管理に最低限の時間を費やします。
アーキテクチャ
小売ビジネスの主な複雑さの1つは、システムやデータ・モデル、タイプの複雑さ、および増加し続けるデータの量です。このような課題は、シンプル化と統合を呼びかけるものです。これはOCIデータ・レイクハウス・アーキテクチャが実現します。
次の図は、コンセプト小売業のビジネス・レイクハウスのリファレンス・アーキテクチャを紹介しています。
Autonomous Data Warehouse (ADW)は、OCIデータ・レイクハウス・アーキテクチャの中核となる部分の1つです。データ・ウェアハウスのプロビジョニング、構成、保護、チューニング、スケーリングおよびバックアップを自動化します。これには、セルフサービスのデータ・ロード、データ変換、ビジネス・モデル、自動インサイト、および複数のデータ型や機械学習分析にわたる単純な問合せを可能にする組込みのコンバージド・データベース機能のためのツールが含まれます。ADWで機械学習を導入すれば、データの場所が正確かつ最大限のパフォーマンスを得られるという利点があります。ADWはOCI Object Storageと密接に統合されており、これはデータ・レイクとして機能し、非構造化データには無制限で低コストのストレージとして機能します。
データ・サイエンスと機械学習イニシアチブにより、シーズンに基づくインテリジェントな販売予測、マーケティング・キャンペーンの出現、顧客の人口の特性(年齢グループなど)、場所などの結果が得られる可能性があります。Oracle Spatial & Graphによって、必要な場所のサポートが提供されます。このようなイニシアティブは、ADWのOMLノートブック(Apache Zeppelinに基づく)でサポートされ、データ・サイエンス(JupyterLab/Python中心)を使用してOACを介してアクセスできます。Oracle APEXは、ローコード・カスタム・アプリケーションのゴールド・スタンダードとして画像を取り込んでいます。
顧客がマーチャントとやり取りする様々なチャネル(上の図を参照)は、多くの場合、カスタマイズしたアプリケーションに依存します。Oracle Container Engine for Kubernetesは、マイクロサービスやアプリケーションに対する拡張性と追加の制御を提供する堅牢なプラットフォームです。
最新のエンタープライズAI使用例は、デジタル・アシスタントです。このユース・ケースでは、アプリとキオスク向けの会話型インタフェースとして、レイクハウス・データに基づいてAI駆動型のデジタル・アシスタントを使用でき、実行可能な推奨事項も提示されます。
- マーケティング:ソーシャル・メディア、レビューおよびニュースを分析し、お客様や業界の専門家が製品について何を言っているかを確認します。好きなことや嫌いなこと、必要な新機能、競合他社と比較してみましょう。
- カスタマー・サポート:サポート・チケットを製品および部門別に分類し、チケットを適切なチームに迅速に入手できるようにします。センチメント分析を使用して緊急の問題点を特定し、チケットを優先します。
- 人事管理:エンティティ認識を使用して重要なスキルおよび教育を識別することにより、履歴書のスクリーニングを自動化します。センチメント分析とエンティティ認識を使用して従業員のフィードバックを分類し、最も一般的な問題点と次のステップを特定します。
データ・レイクハウスを使用すれば、場所を問わず、あらゆるデータを活用してデータを正規化されたデータを飛躍的に活用し、埋込みAI/MLをExadataスケールで実行し、いつでも(ADW)オートスケール・アップ/ダウンを実行し、高度なセキュリティ制御を利用してリスクを大幅に低減できます。
- Oracle ERP、CRM、POSおよび外部プラットフォームは、データ・レイクハウス、リアルタイムでまたはバッチ処理を通じて、Oracle GoldenGateおよびOracle Data Integrationを使用してデータとイベントを送信します。
- この例では、Oracle Integration Cloudは、データ・レイクハウスからOracle Procurementにデータを送信するための追加の役割を果たします。この役割によって、自動的に配置された発注についてサプライヤに通知できます。
- ADWでは、オブジェクト・ストレージ・データ・レイクの高速かつシームレスな問合せにクエリ・アクセラレータを使用します。
- 拡張性の高いAPIゲートウェイがアプリに大規模にデータを公開
- Oracle Analytics CloudとOracle Data Scienceは、データ・レイクハウスのサービスとシームレスに統合します。
- Autonomous Data Warehouse
Oracle Machine Learningを含む、完全に管理されたOracleおよび自動スケーリングの自律型データベース。データ・サイエンティストは、データベースのOracle Machine Learning機能と関連するNotebooksインタフェースを使用して、機械学習モデルを構築、評価、スコアリングおよびデプロイできます。
- オブジェクト・ストレージ
OCI Object Storageは、信頼性が高くコスト効率の高いデータ耐久性を実現するインターネットスケールのハイパフォーマンス・ストレージ・プラットフォームです。オブジェクト・ストレージは、分析データを含め、あらゆるコンテンツ・タイプの非構造化データを無制限に格納できます。インターネットまたはクラウド・プラットフォーム内から直接データを格納または取得するには、安全かつセキュアです。複数の管理インタフェースにより、パフォーマンスやサービスの信頼性を低下させることなく、簡単に小さく始めて、シームレスに拡張することができます。
Object Storageは、頻繁に使用されるデータを格納し、Oracle Autonomous Data Warehouseのハイブリッド表を使用して最新のデータとシームレスに結合することで、データ・ウェアハウスのコールド・ストレージ・レイヤーとして使用することもできます。
- データ・カタログ
OCIデータ・カタログは、エンタープライズ・データの完全管理のセルフサービス・データ検出およびガバナンス・ソリューションです。データ・カタログは、技術メタデータ、ビジネス・メタデータおよび運用メタデータを管理するための単一のコラボレーション環境を提供します。
- Oracle Analytics Cloud
Oracle Analytics Cloudは、拡張性と安全性に優れたパブリック・クラウド・サービスであり、ビジネス・アナリストが、データ準備、ビジュアライゼーション、エンタープライズ・レポート、拡張分析および自然言語の処理および生成のための最新のAI駆動型セルフサービス・アナリティクス機能を提供します。Oracle Analytics Cloudでは、迅速なセットアップ、容易なスケーリングとパッチ適用、自動化されたライフサイクル管理など、柔軟なサービス管理機能もご利用ください。
Oracle Analytics CloudはOracle Machine Learningと統合されています。この統合により、アナリストは、使用可能なデータベース内モデルを一覧表示し、Oracle Analytics Cloudの分析およびダッシュボードでそのモデルを使用できます。OAC Data Visualizationを使用すると、ユーザーは、データを視覚化しながら、事前構築済の機械学習モデルまたは独自のトレーニング済モデルを適用できます。
- Data Science
OCI Data Scienceは、データ・サイエンス・チームがOCIを使用して機械学習(ML)モデルを作成、トレーニングおよび管理するための、完全に管理されたサーバーレス・プラットフォームです。Autonomous Data Warehouse、Object Storageなど、他のOCIサービスと簡単に統合できます。高品質の機械学習モデルを構築および評価し、企業信頼のデータを迅速に機能させ、MLモデルを導入しやすくしてデータ主導型のビジネス目標をサポートすることで、ビジネスの柔軟性を高められます。
データ・サイエンスは、ファンクション、データ・フロー、Autonomous Data Warehouseおよびオブジェクト・ストレージを含む残りのOCIスタックと統合されます。Oracle Accelerated Data Science (ADS)ソフトウェア開発者キット(SDK)は、OCI Data Scienceサービスの一部として含まれるPythonライブラリで、データへの接続、データの探索とビジュアル化、AutoMLによるモデルのトレーニング、モデルの評価、モデルの説明を含む、データ・サイエンス・ワークフローのステップを自動化または簡素化するファンクションとオブジェクトが多数あります。ADSは、Data Scienceサービス・モデル・カタログや他のOCIサービス(オブジェクト・ストレージなど)にアクセスするための簡単なインタフェースも提供します。
- Oracle Data Integration
OCI Data Integrationを使用して、システム間の最適なデータ・フローを実現します。宣言的、コーディングなし、またはローコードのETLとデータ・パイプライン開発をサポートしています。
- GoldenGate
Oracle Cloud Infrastructure GoldenGateは、リアルタイムのデータ・メッシュ・プラットフォームを提供するマネージド・サービスです。レプリケーションを使用してデータの高可用性を維持し、リアルタイム分析を実現します。お客様は、コンピュート環境の割り当てや管理を必要とせずに、データ・レプリケーションとストリーム・データ処理ソリューションを設計、実行および監視できます。
- APIゲートウェイ
APIゲートウェイ・サービスでは、ネットワーク内からアクセス可能なプライベート・エンドポイントとともに、必要に応じてパブリック・インターネットに公開できるAPIを公開できます。エンドポイントは、API検証、リクエストとレスポンスの変換、CORS、認証と認可およびリクエスト制限をサポートします。
- 仮想クラウド・ネットワーク
OCIの最初のステップの1つは、クラウド・リソースの仮想クラウド・ネットワーク(VCN)を設定することです。VCNは、OCIリージョンで設定するソフトウェア定義ネットワークです。VCNは、リージョンまたは可用性ドメインに固有のサブネットに分割できます。リージョン固有および可用性ドメイン固有のサブネットは両方とも、同じVCN内に共存できます。サブネットはパブリックまたはプライベートにできます。
- Container Engine for Kubernetes
OCI Container Engine for Kubernetesは、完全に管理されたスケーラブルで高可用性のサービスです。コンテナ化されたアプリケーションをクラウドにデプロイする際に使用できます。アプリケーションで必要なコンピュート・リソースを指定すると、Container Engine for Kubernetesによって既存のテナンシのOracle Cloud Infrastructureにそれらがプロビジョニングされます。Container Engine for Kubernetesは、Kubernetesを使用して、ホストのクラスタ間でコンテナ化されたアプリケーションのデプロイメント、スケーリングおよび管理を自動化します。
- レジストリ
OCIレジストリは、本番開発のワークフローを簡略化できる、Oracle管理のレジストリです。レジストリによって、Dockerイメージなどの開発アーティファクトを簡単に格納、共有および管理できます。Oracle Cloud Infrastructureの可用性と拡張性に優れたアーキテクチャにより、アプリケーションの確実なデプロイと管理が可能になります。
推奨
- VCN
VCNを作成する際、VCNのサブネットにアタッチする予定のリソース数に基づいて、必要なCIDRブロックの数および各ブロックのサイズを決定します。標準プライベートIPアドレス領域内にあるCIDRブロックを使用します。
プライベート接続を設定する予定のその他のネットワーク(Oracle Cloud Infrastructure、オンプレミス・データ・センターまたは別のクラウド・プロバイダ)と重複しないCIDRブロックを選択します。
VCNを作成した後、そのCIDRブロックを変更、追加および削除できます。
サブネットを設計する際は、トラフィック・フローおよびセキュリティ要件を考慮してください。セキュリティ境界として機能する、特定の層またはロール内のすべてのリソースを同じサブネットにアタッチします。
- セキュリティ
ポリシーを使用して、会社が所有するOCIリソースにアクセスできるユーザーとそのアクセス方法を制限します。
Oracle Cloud Guardを使用して、OCIでのリソースのセキュリティを事前に監視および保守します。Cloud Guardは、セキュリティ上の弱点についてリソースを調査し、オペレータやユーザーにリスクのあるアクティビティを監視するために定義できるディテクタ・レシピを使用します。構成の誤りや安全でないアクティビティが検出された場合、Cloud Guardは修正アクションを推奨し、定義できるレスポンダ・レシピに基づいてそれらのアクションを支援します。最大限のセキュリティが必要なリソースの場合、Oracleではセキュリティ・ゾーンを使用することをお薦めします。セキュリティ・ゾーンは、ベスト・プラクティスに基づくOracle定義のセキュリティ・ポリシーのレシピに関連付けられたコンパートメントです。たとえば、セキュリティ・ゾーン内のリソースにパブリック・インターネットからアクセスできず、顧客管理キーを使用して暗号化する必要があります。セキュリティ・ゾーンでリソースを作成および更新すると、OCIではセキュリティ・ゾーン・レシピのポリシーに対して操作が検証され、ポリシーに違反する操作が拒否されます。
- Autonomous Data Warehouse
Object Storageは、信頼性とコスト効率に優れたデータ耐久性を備え、データベース・データ、分析データ、イメージ、ビデオなど、あらゆるコンテンツ・タイプの構造化データと非構造化データにすばやくアクセスできます。標準ストレージを使用して外部ソースからデータを取り込み、迅速かつ頻繁にアクセスできるため、さらに処理に使用することをお薦めします。頻繁には不要になったデータを標準からコールド・ストレージに移動するためのライフサイクル・ポリシーを作成できます。
- データ・カタログ
データ・カタログプラットフォームに保存およびフローするデータの完全で包括的なエンドツーエンドのビューを保持するには、データ永続性レイヤーをサポートするデータ・ストアだけでなく、ソース・データ・ストアも収集することを検討してください。収集されたこの技術メタデータをビジネス用語集にマップし、カスタム・プロパティでエンリッチ化すると、ビジネス概念をマップしたり、セキュリティおよびアクセス定義を文書化および制御できます。
Oracle Cloud Infrastructure Object Storageに格納されているデータを仮想化するOracle Autonomous Data Warehouse外部表の作成を容易にするために、Oracle Cloud Infrastructureデータ・カタログによって以前に収集されたメタデータを活用します。これにより、外部表の作成が簡素化され、データ・ストア全体でメタデータの一貫性が維持され、ヒューマン・エラーにはあまり影響を受けません。