5 使用文件

您可以在 AI Data Platform Workbench 中将文件存储在卷中,用户可以在卷内的文件夹中组织这些文件。AI Data Platform Workbench 提供了多种访问卷和工作区中存储的数据的方法。

AI Data Platform Workbench 支持多种访问卷中存储的数据的方法:
  • POSIX 样式的路径:允许用户提供对相对于驱动程序根 (/) 的数据的访问权限。用户可以将数据读取/写入到卷或工作区文件夹。
  • URI 样式的路径:允许用户使用 URI 方案提供对数据的访问。例如,如果要在 OCI Object Storage 中读取数据,则应提供有效的 URI 方案来读取/写入该数据。

以下是一些示例:

访问模式 范例
POSIX 示例 1
df_csv = spark.read.csv("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/<<file_name>>.csv",
    header=True,
    inferSchema=True,
    sep=",")
示例 2
import pandas as pd
df_panda_csv=pd.read_csv("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/<<file_name>>.csv", 
    header=0,
    sep=",")
示例 3
import os
os.listdir("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/")
URI
df = spark.read.format("csv").option("header",True).load("file:///Volumes//<<catalog_name>>/<<schema_name>/<<volume_name>>/<<folder_path>>/<<file_name>>.csv")df.show()
工作区 POSIX 示例 1
df_csv = spark.read.csv("/Workspace/<<folder_path>>/<<file_name>>.csv", header=True, inferSchema=True, sep=",")
df_csv.show()
示例 2
import pandas as pd
df_panda_csv=pd.read_csv("/Workspace/<<folder_path>>/<<file_name>>.csv", header=0, sep=",")
df_panda_csv.head()
示例 3
import osos.listdir("/Workspace/<<folder_path>>/")
URI
spark.read.format("json").load("file:///Workspace/<<folder_path>>/<<file_name>>.json").show()
OCI 对象存储 URI
df_csv = spark.read.csv("oci://<<bucket_name>>@<<namespace>>/<<folder/file>>",
    header=True,
    inferSchema=True,   
    sep=",")