5 Trabajo con Archivos

Puede almacenar archivos en volúmenes en AI Data Platform Workbench y los usuarios pueden organizar estos archivos en carpetas dentro de un volumen. AI Data Platform Workbench proporciona varias formas de acceder a los datos almacenados en volúmenes y espacios de trabajo.

AI Data Platform Workbench admite varios métodos para acceder a los datos almacenados en volúmenes:
  • Rutas de estilo POSIX: permite a los usuarios proporcionar acceso a los datos relativos a la raíz del controlador (/). Los usuarios pueden leer/escribir datos en volúmenes o carpetas del espacio de trabajo.
  • Rutas de estilo URI: permiten a los usuarios proporcionar acceso a los datos mediante un esquema de URI. Por ejemplo, si desea leer datos en OCI Object Storage, debe proporcionar un esquema de URI válido para leer/escribir esos datos.

A continuación se muestran algunos ejemplos:

Origen Patrón de acceso Ejemplo
Volumen POSIX Ejemplo 1
df_csv = spark.read.csv("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/<<file_name>>.csv",
    header=True,
    inferSchema=True,
    sep=",")
Ejemplo 2
import pandas as pd
df_panda_csv=pd.read_csv("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/<<file_name>>.csv", 
    header=0,
    sep=",")
Ejemplo 3
import os
os.listdir("/Volumes/<<catalog_name>>/<<schema_name>>/<<volume_name>>/")
URI 
df = spark.read.format("csv").option("header",True).load("file:///Volumes//<<catalog_name>>/<<schema_name>/<<volume_name>>/<<folder_path>>/<<file_name>>.csv")df.show()
Espacio de Trabajo POSIX Ejemplo 1
df_csv = spark.read.csv("/Workspace/<<folder_path>>/<<file_name>>.csv", header=True, inferSchema=True, sep=",")
df_csv.show()
Ejemplo 2
import pandas as pd
df_panda_csv=pd.read_csv("/Workspace/<<folder_path>>/<<file_name>>.csv", header=0, sep=",")
df_panda_csv.head()
Ejemplo 3
import osos.listdir("/Workspace/<<folder_path>>/")
URI 
spark.read.format("json").load("file:///Workspace/<<folder_path>>/<<file_name>>.json").show()
OCI Object Storage URI 
df_csv = spark.read.csv("oci://<<bucket_name>>@<<namespace>>/<<folder/file>>",
    header=True,
    inferSchema=True,   
    sep=",")