Los lagos de datos son una parte clave de las arquitecturas de gestión de datos actuales con datos almacenados en ofertas de almacenes de objetos de Oracle, Amazon, Azure, Google y otros proveedores.

Los data lakes aumentan y complementan los almacenes de datos:

• Como motor de procesamiento de datos para ETL: esto le permite reducir la carga de trabajo del almacén de datos.

• Al almacenar datos que pueden no ser adecuados para un almacén de datos: esto incluye archivos log, datos de sensor, datos IoT, etc. Estos datos de origen tienden a ser voluminosos con baja densidad de información. El almacenamiento de estos datos en un almacén de objetos puede ser más adecuado que en un almacén de datos, mientras que la información derivada de los datos es ideal para el análisis SQL.

• Para su uso con la ciencia de datos y el análisis empresarial: es fácil cargar archivos en el lago de datos y, a continuación, utilizar varios métodos de procesamiento a través de esos datos (Spark, Python, etc.).

  Los analistas empresariales que utilizan Autonomous Database pueden aprovechar fácilmente estos juegos de datos sin ETL. Puede combinar los juegos de datos con los datos del almacén para obtener nuevas estadísticas. Por ejemplo, un analista carga archivos demográficos de clientes de terceros en el almacenamiento de objetos y, a continuación, utiliza inmediatamente esos datos con los datos del almacén para realizar análisis de segmentación de clientes, combinando los datos demográficos con los datos de clientes y ventas existentes.

La profunda integración de Autonomous Database con el lago de datos representa una nueva categoría en la gestión de datos moderna: el data lakehouse. Autonomous Database simplifica el acceso al lago de datos al proporcionar acceso SQL enriquecido y de alto rendimiento y análisis integrados, incluidos: aprendizaje automático, gráficos, espaciales, JSON y mucho más. Este acceso abierto permite que cualquier herramienta o aplicación de inteligencia empresarial basada en SQL se beneficie mediante el uso de datos almacenados en varios lugares sin necesidad de comprender las complejidades del lago de datos.

Data Studio está diseñado para el usuario de negocio y proporciona funciones para la carga de datos que cargan datos de forma eficaz desde el origen de datos y el enlace de datos que crea tablas externas que se utilizan para consultar datos de forma dinámica.

Puede empezar creando un puntero a una ubicación de almacenamiento en la nube. Una ubicación de almacenamiento en la nube es un cubo de un almacén de objetos. A continuación, utilice las herramientas de base de datos para arrastrar y soltar los datos para asignar orígenes de almacenamiento de objetos a tablas de destino.

Al crear la asignación, los esquemas (columnas y tipos de dato) de los objetos del almacén de objetos subyacente se derivan automáticamente para simplificar la definición del trabajo. En la presentación, Data Studio utiliza las API DBMS_CLOUD de Autonomous Database para enlazar y cargar datos.

Consulte Página Carga de Datos para obtener más información.

Una vez que haya integrado Autonomous Database con el lago de datos, puede utilizar toda la amplitud de Oracle SQL para consultar datos en la base de datos y el almacenamiento de objetos.

La ubicación de los datos es completamente transparente para la aplicación. La aplicación simplemente se conecta a Autonomous Database y, a continuación, utiliza todo el lenguaje de consulta SQL de Oracle para realizar consultas en los juegos de datos.

Esto le permite lo siguiente:

• Correlacione la información del lago de datos y el almacén de datos.
• Acceda a los datos desde cualquier herramienta o aplicación SQL.
• Conserva tu inversión en herramientas y conjuntos de habilidades.
• Proteja los datos confidenciales mediante políticas de seguridad avanzadas de Oracle Database.

La integración de los distintos tipos de datos permite a los analistas empresariales aplicar los análisis incorporados de Autonomous Database en todos los datos y no es necesario desplegar motores de análisis especializados.

El uso de la configuración de Autonomous Database como un data lakehouse elimina la costosa replicación de datos, los desafíos de seguridad y la sobrecarga administrativa. Lo más importante es que permite el análisis entre dominios. Por ejemplo, los modelos de aprendizaje automático pueden aprovechar fácilmente el análisis espacial para responder preguntas como "¿Cuál es el impacto previsto del movimiento de un huracán en nuestros envíos de productos?"

En la siguiente tabla se proporciona una instantánea de las capacidades analíticas avanzadas que puede aprovechar en Autonomous Database.

Históricamente, uno de los principales desafíos de cualquier solución de gestión de datos es comprender los datos en sí.

Puede tener preguntas importantes sobre sus datos:

• ¿Qué datos contiene una tabla?
• ¿Cuál es el significado de una columna?
• ¿Cuál es la fiabilidad de los datos? Si no es lo suficientemente preciso para los informes financieros, ¿es útil para fines de marketing?
• ¿Cuándo se actualizaron los datos por última vez?
• ¿Cuál es el esquema para los archivos incluidos en el almacenamiento de objetos?

Oracle Cloud Infrastructure ofrece un catálogo de datos centralizado, Oracle Cloud Infrastructure Data Catalog (Data Catalog), que proporciona las respuestas a estas preguntas. Data Catalog permite detectar rápidamente datos en Object Storage, Autonomous Database, bases de datos Oracle, MySQL, Kafka, Hive y mucho más.

La recopilación automatizada de metadatos, por ejemplo, a partir de definiciones de tabla y columna, deriva metadatos técnicos de estos orígenes. También es posible derivar metadatos de orígenes no estructurados en el lago de datos de almacenamiento de objetos. Una vez recolectadas las fuentes, los analistas de negocios y los administradores de datos aplican términos y categorías de negocio a los datos. Ahora dispone de un entorno de colaboración para que los proveedores y consumidores de datos busquen activos en función de nombres, términos de negocio, etiquetas y propiedades personalizadas.

Autonomous Database se integra con Data Catalog, lo que simplifica el proceso administrativo y promueve la consistencia semántica en todo el lakehouse. Los metadatos del lago de datos recogidos por Data Catalog se sincronizan automáticamente con Autonomous Database. Esto permite a los analistas de negocio consultar inmediatamente los datos del almacén de objetos y combinar esa información con los datos de Autonomous Database mediante su herramienta y aplicación favoritas basadas en SQL.

Ver detalles sobre cómo configurar la conexión a Data Catalog

No existe un único motor de procesamiento o análisis para los datos de almacenamiento de objetos. Sin embargo, uno de los principales motores de procesamiento es Apache Spark.

Spark es un marco de procesamiento de datos distribuido que se utiliza mucho en cargas de trabajo de ETL y ciencia de datos. Los servicios de Oracle Cloud Infrastructure utilizan Spark, que incluye:

• Oracle Cloud Infrastructure Data Flow: servicio de Apache Spark totalmente gestionado.
• Oracle Cloud Infrastructure Data Integration: un servicio en la nube totalmente gestionado que le ayuda con tareas comunes de extracción, carga y transformación (ETL), como la ingestión de datos desde diferentes orígenes, la limpieza, transformación y remodelación de esos datos y, a continuación, su carga eficiente en orígenes de datos de destino.
• Oracle Cloud Infrastructure Data Science: servicio de aprendizaje automático (ML) que ofrece entornos de bloc de notas JupyterLab y acceso a cientos de herramientas de código abierto populares y basadas en frameworks.Spark.

Hay una profunda integración de Spark con Autonomous Database. Spark en Oracle es un proyecto de código abierto que optimiza el acceso a Autonomous Database desde aplicaciones basadas en Spark. El catálogo de Spark se amplía con el diccionario de datos de la base de datos: piense en la base de datos como simplemente un espacio de nombres adicional disponible. Las consultas que se ejecutan a través de Spark se convierten automáticamente en Oracle SQL de alta eficacia reescribiendo Spark en Autonomous Database. Esto significa que en Autonomous Database la integración va mucho más allá de lo que proporcionan la mayoría de los "conectores" de Spark (es decir, transfiere proyecciones y filtros al sistema subyacente). Spark en Oracle puede transferir por completo pipelines de análisis complejos que contienen todas las funciones analíticas y los operadores de Spark SQL. Por ejemplo, más del 90 % de las consultas TPC-DS se han transferido completamente a Oracle Database para su procesamiento.

Vea el blog de Spark en Oracle y el proyecto de código abierto.