Consideraciones para seleccionar un patrón de solución

Al implantar su data lake en la nube, considere nuestros patrones de diseño recomendados para migrar su data lake actual a Oracle Cloud.

Prepárese para los proyectos de migración

Al migrar sus datos a Oracle Cloud, debe planificar su proyecto y su personal. Recopile información sobre redes y almacenamiento y pese las ventajas y desventajas antes de seleccionar un patrón de solución. Cree una descripción de alto nivel para los sistemas y las aplicaciones en el ámbito de la migración.

Considere nuestras recomendaciones en función del entorno, los plazos y el nivel de conocimientos del equipo.

Planificar el proyecto y el ámbito. Identifique al equipo de su proyecto, incluidos el jefe de proyecto, el propietario de la aplicación, los ingenieros de big data, los ingenieros de OCI para la infraestructura y la seguridad y los desarrolladores. Asegúrese de incluir desarrolladores de aplicaciones e ingenieros de rendimiento y pruebas. Determine las fechas clave y los objetivos del proyecto.

Utilice el siguiente ejemplo para crear una descripción de alto nivel de sistemas y aplicaciones.

Componente Descripción
Big Data Appliance (BDA)

Ejecución de un dispositivo BDA con distribución de CDH

BDA de 24 nodos (6x Dev, 6x DR, 12x Prod)

  • 2x 22-Core Xeon
  • 2x40 IB, 4x10 Ethernet
  • Disco de 96 TB y 256 GB de RAM
Uso
  • 300TB HDFS (anteriormente 500 GB/día)
  • 30% de CPU
  • 1 TB de RAM
  • Online 24x7
Entornos

Producción, desarrollo, recuperación ante desastres

Componentes de la solución
  • Hive
  • HBase
  • HDFS
  • Spark (Scala)
  • Kerberos y Active Directory
  • Sqoop
  • Oozie
  • Análisis: OBIEE
  • Controladores JDBC para conectar a orígenes externos

Consideraciones sobre redes y almacenamiento

Al planificar la migración del data lake, recopile información sobre todos los activos de almacenamiento y redes y determine el método más adecuado para migrar los datos a OCI.

En la siguiente tabla, se proporciona una orientación general de alto nivel sobre las opciones de migración de datos para OCI.

Origen de migración Volúmenes de datos < 1 TB Volúmenes de datos entre 1 y 50 TB Volúmenes de datos > 50 TB
Big Data Appliance (BDA) o clusters de Hadoop autogestionados locales

Túneles de VPN de hardware

(si FastConnect no está disponible)

FastConnect (preferido)

Los túneles VPN de hardware se pueden utilizar si el ancho de banda > 100 Mbps
Dispositivo de transferencia de datos
Big Data Cloud Service (BDCS) Túneles VPN de software

Seleccione una de estas opciones en función de los requisitos y restricciones de la organización. El tiempo necesario para la transferencia de datos dependerá del método de migración que elija.

  • Para la transferencia fuera de línea con un único dispositivo de transferencia de datos, puede transferir hasta 150 TB de datos a la vez y varios dispositivos para cada trabajo de transferencia de datos. Incluido el tiempo de envío, la migración tardará unos días en completarse.
  • Para la transferencia de datos en línea a través de Internet mediante túneles VPN o FastConnect, puede utilizar esta fórmula para obtener el tiempo aproximado necesario:

    Number of days = (Total Bytes)/(Megabits per second * 125 * 1000 * Network Utilization * 60 seconds * 60 minutes * 24 hours)

    Con esta fórmula para transferir hasta 50 TB de datos con una conexión FastConnect de 1 Gbps que tenga un uso de red del 100%, la transferencia de datos finalizará en 6 días. También puede utilizar FastConnect para volúmenes más bajos si está configurado. Con FastConnect de 10 Gbps, el tiempo será del 1/10o.

  • Para que los túneles VPN transfieran 1 TB con conectividad de 10 Mbps y un uso de red del 80%, la transferencia de datos tardará unos 13 días. También puede utilizar Data Transfer Appliance si la conectividad de red es inferior o no muy fiable.

En la siguiente tabla, se presenta una estimación del tiempo aproximado de carga de datos en OCI, según el ancho de banda de conexión y el tamaño del juego de datos.

Tamaño del Juego de Datos 10 Mbps 100 Mbps 1 Gbps 10 Gbps Servicio de transferencia de datos
10 TB 92 días 9 días 22 horas 2 horas 1 semana
100 TB 1,018 días 101 días 10 días 24 horas 1 semana
500 TB 5,092 días 509 días 50 días 5 días 1 semana
1 PB 10,185 días 1,018 días 101 días 10 días 2 semanas

Diseñar la arquitectura de su solución

Al planificar el patrón de solución, tenga en cuenta las ventajas y desventajas de la siguiente tabla antes de tomar su decisión.

Patrón de la solución Ventajas Desventajas
Nube (Greenfield)
  • Puede realizar la transición a una pila moderna y preparada para el futuro
  • Costos generales de gestión y operaciones menos continuas
  • Rendimiento máximo de inversión (ROI) y opción de costo más bajo para la mayoría de los clientes
  • Puede haber algunas lagunas en la funcionalidad que requieran su propia implantación de ciertos componentes
  • Más trabajo necesario para la aplicación que algunos de los otros patrones
Servicio Big Data (Greenfield)
  • Se beneficia de unos menores costos y gastos generales operativos gracias al uso de datos gestionados y servicios de IA
  • Funciona como una solución a largo plazo y a corto plazo a medida que realiza la transición a Oracle Cloud
  • Más trabajo necesario para la aplicación que algunos de los otros patrones
Reconstrucción (Migración)
  • Puede realizar la transición a una pila moderna y preparada para el futuro
  • Costos generales de gestión y operaciones menos continuas
  • Máximo de ROI y opción de menor costo para la mayoría de los clientes
  • Puede que haya algunas lagunas en la funcionalidad que puedan requerir su propia implantación de algunos componentes
  • Más trabajo necesario para la aplicación que algunos de los otros patrones
Replataforma (Migración)
  • Se beneficia de unos menores costos y gastos generales operativos gracias al uso de datos gestionados y servicios de IA
  • Funciona a largo plazo, así como una solución a corto plazo, a medida que realiza la transición a Oracle Cloud
  • Más trabajo necesario para la aplicación que algunos de los otros patrones
Rehost (Migración)
  • Interrupción mínima en la funcionalidad
  • No hay nada nuevo que aprender desde un punto de vista de uso
  • Su responsabilidad aumenta para las operaciones y el soporte
  • Puede que la licencia existente no sea válida

Criterios de revisión para la selección de patrones de solución

Tenga en cuenta estos criterios cuando tome una decisión sobre el patrón más adecuado para su organización. Tenga en cuenta criterios como el grado relativo de modernización, el ahorro del rendimiento de la inversión (ROI) y el costo total de propiedad (TCO), la facilidad y duración de la implantación, los costos continuos, la eficiencia operativa, la flexibilidad, la escalabilidad, la disponibilidad y los cambios relativos en el código existente.

En la siguiente tabla, se muestran algunos criterios de alto nivel para ayudarle a decidir qué patrones cumplen las necesidades de su organización.

Patrón de la solución Grado relativo de modernización Potencial relativo al ahorro de rendimiento de la inversión y del costo total de propiedad Facilidad relativa y duración de la implantación Ahorro de costos continuo relativo y eficiencia operativa Flexibilidad, escalabilidad y disponibilidad relativas Cambios relativos a códigos y flujos de trabajo existentes
Nube (Greenfield) Alto (mejor que) Alto (mejor que) Medio (mejor que) Alto (mejor que) Alto (mejor que) No aplicable
Servicio Big Data (Greenfield) Medio (mejor que) Medio (mejor que) Medio (mejor que) Medio (mejor que) Medio (mejor que) No aplicable
Reconstrucción (Migración) Alto (mejor que) Alto (mejor que) Bajo (bueno) Alto (mejor que) Alto (mejor que) Alto (bueno)
Replataforma (Migración) Medio (mejor que) Medio (mejor que) Medio (mejor que) Medio (mejor que) Medio (mejor que) Medio (mejor que)
Rehost (Migración) Bajo (bueno) Bajo (bueno) Alto (mejor que) Bajo (bueno) Bajo (bueno) Bajo (mejor)

En función de los requisitos de entorno, la cronología y las habilidades del equipo, Oracle recomienda utilizar el patrón que mejor se adapte a sus necesidades.

Tenga en cuenta estos puntos cuando decida la solución más adecuada para su organización.

  • Muchos clientes utilizan más de un patrón en su adopción de la nube.
  • La clasificación real depende del contexto específico del cliente y de los casos de uso.
  • No hay un patrón único que se adapte a todas las necesidades de nuestros clientes.
  • Entre los criterios adicionales se incluyen las preferencias del cliente, la experiencia y los requisitos únicos.