Migración de Hadoop a Oracle mediante el migrador WANdisco LiveData
LiveData El migrador se despliega en un nodo perimetral del cluster de Hadoop. El despliegue se realiza en minutos sin que esto afecte a las operaciones de producción actuales. Los usuarios pueden comenzar a utilizar el producto inmediatamente mediante la línea de comandos, la API de REST o la interfaz de usuario (UI) para realizar la migración.
Acerca de la Migración de Datos de Hadoop
A continuación, se muestran los pasos típicos implicados en una migración de Apache Hadoop a la nube:
El diagrama siguiente ilustra la arquitectura y los componentes del flujo.
Descripción de la ilustración hadoop-lakehouse-migration.png
hadoop-lakehouse-migration-oracle.zip
- Detección: identifique los conjuntos de datos y las cargas de trabajo que se van a migrar a la nube.
- Planificación: Desarrolle un plan y una cronología para las fases en las que se realizará la migración.
- Migración de datos: realice la migración de los datos necesarios del entorno local de Hadoop a la nube.
- Migración de carga de trabajo: realice la migración de las cargas de trabajo y/o las aplicaciones del entorno local a la nube.
- Nuevo desarrollo de análisis: comience a desarrollar nuevos análisis, IA y aprendizaje automático, aprovechando así el nuevo entorno en la nube.
- Medición y acción: realice análisis para medir los KPI, evaluar el rendimiento, hacer predicciones y permitir que el negocio actúe de manera adecuada.
Para intentar simplificar su migración a la nube, muchas organizaciones eligen seguir una estrategia de migración a la nube. Esta estrategia hace la suposición simplista de que la migración se puede realizar sin realizar cambios en los datos ni en las aplicaciones. La lógica es "pasarlas a la nube". Esta suposición da como resultado muchos proyectos o proyectos fallidos que exceden su tiempo y sus costos. Necesita que los sistemas existentes se cierren para garantizar que no se produzcan cambios en los datos o que las organizaciones empleen tiempo desarrollando soluciones personalizadas para manejar los cambios de datos. Otras desventajas de esta estrategia son, en primer lugar, que requiere que las organizaciones realicen una migración a gran escala de todas las aplicaciones y datos al mismo tiempo y, en segundo lugar, no aprovecha las nuevas capacidades en la nube.
WANdisco fomenta un enfoque centrado en los datos para las migraciones de lago de datos. Un enfoque centrado en los datos se centra en conseguir que los datos se muevan rápidamente y no intentar migrar todas las aplicaciones existentes al mismo tiempo. Este enfoque hace que los datos estén disponibles para los científicos de datos más rápido para que puedan comenzar a trabajar con los datos migrados desde el primer día. Esto permite un tiempo mucho más rápido para obtener nuevas estadísticas e innovaciones en IA. Las organizaciones pueden demostrar un rendimiento de la inversión en la migración a la nube mucho más rápido, mientras que las cargas de trabajo de producción locales existentes pueden seguir sin verse afectadas. Este enfoque también proporciona flexibilidad para la migración de aplicaciones y cargas de trabajo. Evita cualquier enfoque de big-bang y proporciona a las organizaciones tiempo para optimizar las cargas de trabajo para el nuevo entorno en la nube, asegurándose de que funciona de manera óptima y aprovecha las nuevas capacidades disponibles. Las organizaciones pueden realizar tanto pruebas paralelas como sea necesario para garantizar que no experimenten ningún costo oculto, y un enfoque centrado en los datos también les da tiempo para determinar si algunas de las aplicaciones pueden no tener que migrar en absoluto, sino que en su lugar se sustituye por el nuevo desarrollo que se ha producido.
Definir orígenes y objetivos
Durante el despliegue, WANdisco LiveData Migrator detecta automáticamente el cluster de Apache Hadoop Distributed File System (HDFS) de origen para que solo necesite definir el entorno de destino.
Definir la migración
Las migraciones transfieren los datos existentes del origen al destino definido. WANdisco LiveData Migrator migra los cambios realizados en los datos de origen mientras se migran y garantiza que el destino esté actualizado con esos cambios. Lo hace mientras continúa realizando la migración.
Los usuarios suelen crear varias migraciones para que puedan seleccionar contenido específico del sistema de archivos de origen por ruta. También puede migrar a varios sistemas de archivos independientes al mismo tiempo mediante la definición de varios destinos de migración.
Para crear una migración, proporcione un nombre de migración, seleccione los sistemas de archivos de origen y de destino y especifique la ruta del sistema de archivos de origen que desea migrar. Opcionalmente, puede aplicar exclusiones para especificar reglas para los datos que se deben excluir de una migración y puede aplicar otros valores de configuración opcionales.
LiveData Migrator también admite la migración de metadatos de Hive de metastores de origen a destino. LiveData Migrator se conecta a los metastores mediante el uso de agentes de metadatos locales o remotos. Las reglas de metadatos se utilizan para definir los metadatos que se van a migrar del origen al destino.
Al definir las migraciones, puede especificar que se inicie automáticamente la migración y determinar si debe ser una migración en directo, lo que significa que aplicará continuamente los cambios en curso de origen a destino.