5 ファイルでの操作

ファイルをAI Data Platform Workbenchのボリュームに格納でき、ユーザーはこれらのファイルをボリューム内のフォルダに編成できます。AIデータ・プラットフォーム・ワークベンチは、ボリュームおよびワークスペースに格納されているデータにアクセスするための複数の方法を提供します。

AI Data Platform Workbenchは、ボリュームに格納されているデータにアクセスするための複数の方法をサポートしています。
  • POSIXスタイルのパス:ユーザーがドライバ・ルート(/)を基準としたデータへのアクセスを提供できるようにします。ユーザーは、ボリュームまたはワークスペース・フォルダに対してデータの読取り/書込みを実行できます。
  • URI形式のパス:ユーザーがURIスキームを使用してデータへのアクセスを提供できるようにします。たとえば、OCIオブジェクト・ストレージのデータを読み取る場合は、そのデータを読み書きするための有効なURIスキームを指定する必要があります。

いくつかの例を示します。

ソース: アクセス・パターン 例
ボリューム POSIX 例1
df_csv = spark.read.csv("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/<<file_name>>.csv",
    header=True,
    inferSchema=True,
    sep=",")
例2
import pandas as pd
df_panda_csv=pd.read_csv("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/<<file_name>>.csv", 
    header=0,
    sep=",")
例3
import os
os.listdir("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/")
URI 
df = spark.read.format("csv").option("header",True).load("file:///Volumes//<<catalog_name>>/<<schema_name>/<<volume_name>>/<<folder_path>>/<<file_name>>.csv")df.show()
ワークスペース POSIX 例1
df_csv = spark.read.csv("/Workspace/<<folder_path>>/<<file_name>>.csv", header=True, inferSchema=True, sep=",")
df_csv.show()
例2
import pandas as pd
df_panda_csv=pd.read_csv("/Workspace/<<folder_path>>/<<file_name>>.csv", header=0, sep=",")
df_panda_csv.head()
例3
import osos.listdir("/Workspace/<<folder_path>>/")
URI 
spark.read.format("json").load("file:///Workspace/<<folder_path>>/<<file_name>>.json").show()
OCIオブジェクト・ストレージ URI 
df_csv = spark.read.csv("oci://<<bucket_name>>@<<namespace>>/<<folder/file>>",
    header=True,
    inferSchema=True,   
    sep=",")