すべてのMLモデルはデータから始まります。OCIデータ・サイエンスを使用するデータ・サイエンティストは、あらゆるクラウドまたはオンプレミス環境のデータ・ソースにアクセスして使用できるため、より多くのデータ機能とより優れたモデルの実現が可能になります。ADS SDKでサポートされているデータ・ソースおよび形式の完全なリストを参照してください。

データ・サイエンス・サービスを使用する場合は、すばやくアクセスできるように、データをノートブック・セッションに格納することをお薦めします。ノートブック・セッションから、次のソースからのデータにアクセスできます:

• オブジェクト・ストレージ: データを取得するには、まずオブジェクト・ストレージへの接続を設定する必要があります。この設定後、ノートブック・セッションでOCI Python SDKを使用してデータを取得できます。ADS SDKを使用してオブジェクト・ストレージからデータをプルすることもできます。
• ローカル・ストレージ: ADS SDKを使用してローカル・ソースからデータフレームをロードするには、pandasの関数を直接使用します。
• HTTPおよびHTTPSエンドポイント: リモートWebサーバー・ソースからデータフレームをロードするには、pandasを直接使用します。
• データベース: ノートブック・セッションからAutonomous Data Warehouseに接続できます。autonomous_database.ipynbノートブック例では、このタイプの接続を対話形式で示します。
• ストリーミング・データ・ソース: kafka-pythonクライアント・ライブラリはノートブック・セッションで使用できます。Apache Kafka分散ストリーム処理システムのPythonクライアント・ライブラリを使用すると、データ・サイエンティストはKafka互換APIを使用してストリーミング・サービスに接続できます。ノートブック・セッション環境でのstreaming.ipynbノートブック例を示します。
• 参照ライブラリ: 参照ライブラリからデータセットを開くには、DatasetBrowserを使用します。サポートされているライブラリを表示するには、DatasetBrowser.list()を使用します。

セキュリティ

準備

データが不完全、一貫性がない、またはエラーが含まれている可能性があります。ADS SDKを使用すると、次のタスクを実行できます:

• 行と列の操作を使用したデータの結合およびクリーニング
• null値の検索および置換によるデータの補完
• Encode categories.

変換

ADS SDKの次のメソッドを使用して、データセットの自動変換を行うことができます:

• suggest_recommendations()は問題を表示し、問題を修正するための変更およびコードを推奨します
• auto_transform()は、すべての推奨事項および最適化が自動的に適用された変換済データセットを返します
• visualize_transforms()データセットで実行された変換をビジュアル化します

OCIデータ・サイエンスでは、pandas、Dask、NumPyなどのオープン・ソースのデータ操作ツールもサポートされます。

ビジュアル化および探索

ビジュアライゼーションは、データから値を導出するために使用される初期ステップの1つです。これにより、アナリストはデータから効率的にインサイトを取得して、探索的なデータ分析を行うことができます。ADS SDKには、データ型を自動的に検出し、データの特性を最適に表すプロットをレンダリングするスマート・ビジュアライゼーション・ツールが含まれています。次に、いくつかの自動ビジュアライゼーション・メソッドを示します:

• show_in_notebook()は、データセットの基本情報の包括的なプレビューを提供します
• show_corr()には、相関比、PearsonメソッドおよびCramer Vメソッドが含まれます
  ヒント
  
  これらの手法を使用してデータの関係を検出する方法を示したブログ投稿をお読みください。
• plot()は、自動プロットを使用して2つの列間の関係を調べます
• feature_plot()は、機能タイプを使用したカスタム・プロットおよびビジュアライゼーションを使用します

ADS SDKのcall()メソッドを使用して、seaborn、Matplotlib、Plotly、Bokeh、Geographic Information System (GIS)などの優先ライブラリおよびパッケージを使用してデータをプロットすることもできます。ADS SDKの例を参照してください。

AutoML

成功するMLモデルを構築するには、多くの反復と実験が必要であり、最初の反復で、最適なハイパーパラメータのセットを使用してモデルが実現されることはほとんどありません。AutoMLは、MLモデリング・プロセスの4つのステップを自動化します:

1. アルゴリズムの選択は、データと問題に最適なアルゴリズムを特定するもので、網羅的な検索よりも高速です。
2. 適応サンプリングは、適切なサンプル・サイズを特定し、不均衡なデータを調整します。
3. 機能選択は、最適な機能サブセットを特定し、機能の数を減らします。
4. モデル・チューニングは、ハイパーパラメータを自動的にチューニングして、モデルの精度を最大限に高めます。

詳細は、ADS SDKのAutoMLパイプラインのドキュメントを参照してください。

ADS SDKを使用した自動評価

自動評価により、新しいデータに対するモデル・パフォーマンスを測定し、モデル候補を比較するためのメトリックおよびビジュアライゼーションの包括的なスイートが生成されます。ADSは、複数のモデルの対比に関するツール、メトリックおよびチャートの集合を提供します。エバリュエータは次のとおりです:

• バイナリ分類子は、出力がバイナリであるモデルに使用されます。たとえば、「はい」または「いいえ」、「上」または「下」、「1」または「0」などです。これらのモデルは、多項分類の特殊なケースであるため、特別に対応したメトリックがあります。
• 多項分類子は、出力が個別であるモデルに使用されます。これらのモデルには、評価のための専用のチャートとメトリックのセットがあります。
• 回帰は、価格、高さ、売上、長さなど、出力が連続するモデルに使用されます。これらのモデルには、モデルのベンチマークに役立つ固有のメトリックがあります。

検証、説明および解釈

機械学習の説明可能性(MLX)は、MLモデルおよびディープ・ラーニング・モデルを説明および解釈するプロセスです。説明可能性は、モデルの予測の背後にある理由を説明する機能です。解釈性は、人間がその説明を理解できるレベルです。MLXは、次のタスクの実行に役立つ可能性があります:

• モデルの動作の理解および解釈の向上
• モデルの品質のデバッグおよび改善
• モデルへの信頼と、モデルのデプロイに対する信頼性の向上

モデルの説明可能性の詳細を読み、グローバル説明機能、ローカル説明機能およびWhatIf説明機能についてよく理解してください。

モデル・カタログの概要

モデルをデプロイする前に、モデル・カタログにモデルを保存する必要があります。モデル・カタログとは、モデル・アーティファクトの一元化された管理対象リポジトリです。カタログに格納されているモデルは、チームのメンバー間で共有でき、ノートブック・セッションに再度ロードできます。モデル・アーティファクトは、次のファイルとデータを含むアーカイブ・ファイルです:

• score.py: シリアル化されたモデル・オブジェクトをメモリーにロードするためのカスタム・ロジックを含み、推論エンドポイント(predict())を定義するPythonスクリプト
• runtime.yaml: モデルのランタイム環境。モデル・デプロイメントの目的で必要なConda環境参照を提供します
• アーティファクトでモデルを実行するために必要な追加ファイル
  重要
  
  推論に使用されるコードは、score.pyと同じレベルまたは下位レベルでアーカイブする必要があります。必要なファイルがscore.pyファイルより上のフォルダ・レベルにある場合、それらは無視され、これによりデプロイメントが失敗する可能性があります。
• Git関連情報を含むモデルの来歴に関するメタデータ
• モデルをカタログにプッシュするために使用されるスクリプトまたはノートブック

モデル・メタデータおよびドキュメントの準備

モデル・メタデータはオプションですが、推奨されています。モデル・メタデータの準備およびメタデータの操作を参照してください。メタデータには、次の情報が含まれています:

• モデル入力および出力のスキーマ: モデル予測の成功に必要な機能の説明
• 来歴: モデルの再現性と監査可能性を改善するためのドキュメント
• タクソノミ: モデル・カタログに保存するモデルの説明
• モデル・イントロスペクション・テスト: モデルの操作ヘルスのすべての側面をテストするために、モデル・アーティファクトで実行される一連のテストおよびチェック

カタログへのモデルの保存

ADS SDK、OCI Python SDKまたはコンソールを使用して、カタログにモデルを保存できます。詳細は、モデル・カタログへのモデルの保存を参照してください。

モデルのデプロイ

モデルを本番環境にデプロイする最も一般的な方法は、HTTPエンドポイントとしてリアルタイムで予測を提供することです。データ・サイエンス・サービスは、モデル・デプロイメントをリソースとして管理します。また、コンピュート・プロビジョニングおよびロード・バランシングを含むすべてのインフラストラクチャ操作を処理します。ADS SDKまたはコンソールを使用して、モデルをデプロイできます。

モデルの起動

モデルがデプロイされてアクティブになると、エンドポイントはクライアントによって行われたリクエストを正常に受信できます。モデル・デプロイメントを起動すると、特徴ベクトルまたはデータ・サンプルを予測エンドポイントに渡すことができます。次に、モデルからこれらのデータ・サンプルの予測が返されます。詳細は、モデル・デプロイメントの呼出しを参照し、デプロイ済モデルの編集、非アクティブ化およびその他の管理についてお読みください。

ジョブ

データ・サイエンス・ジョブでは、完全管理型のインフラストラクチャで繰返し可能なMLタスクを定義して実行できます。ジョブを使用して、次のタスクを実行できます:

• ノートブック・セッションの外部でのMLまたはデータ・サイエンス・タスクの実行
• 再利用可能で実行可能な操作など、個別のデータ・サイエンスおよびMLタスクの運用可能化
• MLOpsまたはCI/CDパイプラインの自動化
• イベントまたはアクションによってトリガーされるバッチ・ジョブまたはワークロードの実行
• バッチ、ミニ・バッチまたは分散バッチ・ジョブの推論の実行
• JupyterLabノートブック・セッションでは、データ・サイエンス・ジョブで長時間実行タスクまたは計算集中型タスクを作成し、作業を継続するためにノートブックを解放しておくことができます

モニタリング

モニタリングおよびロギングは、ジョブ・ライフ・サイクルの最後のステップです。ジョブのパフォーマンスおよびメトリックに関するインサイトを提供するだけでなく、ジョブ実行ごとに後で参照できるレコードも提供します。モニタリング、アラームおよびメトリックの詳細は、メトリックに関する項を参照してください。

• モニタリングはメトリックおよびアラームで構成され、クラウド・リソースのヘルス、容量およびパフォーマンスを確認できます。このデータを使用して、負荷の増加を管理するためにより多くのインスタンスを作成するタイミングを決定したり、インスタンスの問題のトラブルシューティングを行うことができ、またはシステム動作の理解をより深めることができます。
• メトリックが設定されたしきい値に違反すると、アラームがトリガーされます。
• メトリックは、CPUまたはGPUの使用率、使用可能なジョブ実行コンテナ・メモリーの使用率、コンテナ・ネットワーク・トラフィックおよびコンテナ・ディスクの使用率を追跡します。これらの数値が特定のしきい値に達すると、ワークロードに対応するために、ブロック・ストレージやコンピュート・シェイプなどのリソースをスケール・アップできます。
• イベントを使用すると、ジョブやジョブ実行イベントなどのリソースの変更をサブスクライブし、機能、通知またはストリームを使用してそれらに応答することができます。イベントを使用した自動化の作成を参照してください。

ロギング

サービス・ログまたはカスタム・ログをジョブ実行で使用できます。ジョブ実行は、サービス・ログをOCIロギング・サービスに発行します。カスタム・ログでは、特定のコンテキストで収集されるログ・イベントおよびログが格納される場所を指定できます。ロギング・サービスを使用して、ジョブのジョブ実行ログを有効化、管理および参照できます。詳細は、ロギングおよびログについてを参照してください。