En savoir plus sur le chargement automatisé d'une Mart de données pour l'analyse des secteurs d'activité
L'utilisation d'Oracle Functions et d'Oracle Cloud Infrastructure Events pour automatiser le chargement de la mart de données Oracle Autonomous JSON Database rend le processus efficace et répétable.
Architecture pour le chargement automatisé d'une Mart de données pour l'analyse des lignes d'activité
En utilisant un modèle architectural relativement simple, vous pouvez charger et optimiser des données provenant de plusieurs sources plates dans un emplacement de base de données centralisé afin que les équipes de secteur d'activité puissent effectuer des analyses de planification et de budgétisation sur des ensembles de données spécifiques indépendamment des autres équipes.
Les données exportées à partir d'une base de données ou d'une application sont stockées dans des fichiers plats sous forme de valeurs séparées par des virgules (CSV) et téléchargées dans un bucket dans un stockage d'objet. L'automatisation des événements détecte le nouvel objet et lance une fonction associée pour traiter le fichier, charger les données dans Oracle Autonomous JSON Database à l'aide des services REST, puis déplacer le fichier vers un autre bucket à des fins de suivi. Le service de journalisation fournit des informations sur l'exécution du workflow et la base de données met les données à disposition pour analyse.
-
Oracle Cloud Infrastructure : les données sont transformées et stockées à l'aide de services provisionnés dans Oracle Cloud Infrastructure.
-
Oracle Functions:Oracle Functions est une plate-forme FaaS entièrement gérée, hautement évolutive et à la demande, basée sur Oracle Cloud Infrastructure de niveau entreprise et alimentée par le moteur open source Fn Project.
Avec Oracle Functions, vous pouvez déployer votre code, l'appeler directement ou le déclencher en réponse à des événements et être facturé uniquement pour les ressources consommées lors de l'exécution.
Oracle Functions n'est pas un conteneur. Chaque fonction est une image Docker entièrement autonome stockée dans votre registre Docker OCIR et extraite, déployée et appelée lorsque vous appelez votre fonction.
-
Oracle Event Services : Oracle Cloud Infrastructure Events est un service entièrement géré qui élimine la complexité du suivi manuel des modifications dans l'ensemble de vos ressources cloud et qui leur répond en temps quasi réel avec des fonctions, des notifications et du streaming.
-
Oracle Autonomous JSON Database : Oracle Autonomous JSON Database est un service de base de données de documents cloud qui facilite le développement d'applications JSON-centriques.
-
Oracle Analytics Desktop : ce logiciel analytique disponible gratuitement fournit une narration de données avec visualisation, analyse de simulation et collaboration de votre bureau.
Avant de commencer
Avant de commencer, envisagez les options de sécurité et de connectivité suivantes.
Sécurité des données
Pour s'assurer que les données sont sécurisées lorsqu'elles se déplacent d'un système à l'autre, l'architecture utilise les stratégies suivantes.
-
Le transfert de données d'un centre de données client vers Oracle Cloud utilise un VPN ou Oracle Cloud Infrastructure FastConnect.
-
L'accès SQL utilise le nom utilisateur et le mot de passe pour l'authentification.
- Oracle Autonomous JSON Database peut contrôler l'accès à l'aide d'une liste de contrôle d'accès réseau (ACL). A l'aide d'une liste de contrôle d'accès, une base de données spécifique accepte uniquement les connexions à partir des adresses spécifiées dans la liste de contrôle d'accès et rejette toutes les autres connexions client. Par défaut, lorsqu'aucune liste de contrôle d'accès réseau n'est indiquée, la base de données est accessible à partir de n'importe quelle adresse IP.
Connectivité de la base de données
Il existe trois manières différentes de se connecter à Oracle Autonomous JSON Database.
-
La plupart des organisations protègent les réseaux et les périphériques sur un réseau à l'aide d'un pare-feu. Un pare-feu contrôle le trafic réseau entrant et sortant à l'aide de règles permettant l'utilisation de certains ports et l'accès à certains ordinateurs (ou, plus précisément, des adresses IP ou des noms d'hôte). Un pare-feu sépare les réseaux internes et Internet public.
Vous pouvez accéder à Oracle Autonomous JSON Database à l'aide d'Internet public. Pour accéder à Oracle Autonomous JSON Database à partir d'un pare-feu, le pare-feu doit autoriser l'utilisation du port indiqué dans la connexion à la base de données lors de la connexion aux serveurs de la connexion. Le numéro de port par défaut pour Oracle Autonomous JSON Database est 1522.
-
Oracle Cloud Infrastructure FastConnect vous offre un moyen facile de connecter votre réseau sur site à Oracle Autonomous JSON Database à l'aide de FastConnect Public Peering. Oracle Cloud Infrastructure FastConnect offre des options de bande passante plus élevées et une expérience réseau plus fiable et cohérente que les connexions basées sur Internet. Sans Oracle Cloud Infrastructure FastConnect, le trafic destiné aux adresses IP publiques est acheminé sur Internet.
-
Oracle Autonomous JSON Database prend en charge l'accès privé à partir des ressources Oracle Cloud Infrastructure dans un réseau cloud virtuel (VCN) à l'aide de l'une des deux méthodes suivantes :
-
Adresse privée
-
Passerelle de service
Avec l'une ou l'autre option d'accès privé, le trafic reste dans le réseau Oracle Cloud Infrastructure et ne traverse pas Internet. Toutefois, si vous utilisez une passerelle de service, les demandes au service utilisent une adresse publique pour le service.
Si vous ne souhaitez pas utiliser une adresse publique, vous pouvez utiliser une adresse privée dans VCN. Une adresse privée est représentée en tant qu'adresse IP privée dans un sous-réseau de votre VCN. L'adresse privée est disponible uniquement avec Oracle Autonomous JSON Database sur l'infrastructure Exadata partagée.
La passerelle de service et l'adresse privée permettent la connexion à Oracle Autonomous JSON Database à partir d'adresses IP privées dans des sous-réseaux privés sans nécessiter de passerelle Internet dans VCN. Une fois que vous avez configuré une passerelle de service ou une adresse privée, aucune étape particulière n'est nécessaire pour vous connecter à Oracle Autonomous JSON Database.
-
A propos des services requis pour le chargement automatisé d'une Mart de données pour l'analyse des secteurs d'activité
-
Oracle Autonomous JSON Database
-
Stockage d'objets Oracle Cloud Infrastructure
-
Fonctions Oracle
-
Evénements Oracle Cloud Infrastructure
Reportez-vous à Découvrez comment obtenir les services Oracle Cloud pour Oracle Solutions pour obtenir les services cloud dont vous avez besoin.
En outre, il utilise les technologies suivantes :
-
Oracle Functions : la fonction elle-même est écrite dans Python.
Pour développer des fonctions localement ou sur une instance de calcul dans Oracle Cloud Infrastructure, vous devrez également installer la plate-forme de développement de projet Fn à partir de GitHub.
-
Docker: Fonctions exécutées en tant que conteneurs Docker sur Oracle Cloud Infrastructure. Ce document suppose que vous développez des fonctions sur un système Linux local dont Docker version 17.10.0 ou version ultérieure est installé. Pour plus d'informations sur l'installation de Docker sur Linux, reportez-vous au Oracle Container Runtime for Docker User' s Guide.
-
Oracle SQL Developer Web : Oracle SQL Developer Web est une interface basée sur un navigateur d'Oracle SQL Developer, offrant un sous-ensemble des fonctionnalités disponibles dans la version de bureau. Oracle SQL Developer Web fournit un environnement de développement et une interface d'administration de base de données pour Oracle Database dans Oracle Public Cloud.
Vous pouvez également télécharger et installer le client Oracle SQL Developer complet à partir de l'emplacement suivant en acceptant le contrat de licence et en cliquant sur le lien Télécharger associé à votre système d'exploitation :
-
Oracle Analytics Desktop : permet une exploration et une visualisation puissantes des données personnelles dans un simple téléchargement de bureau. Oracle Analytics Desktop est l'outil idéal pour une exploration rapide des exemples de données provenant de plusieurs sources ou pour une analyse et une investigation rapides de vos propres ensembles de données locaux.
Téléchargez et installez Oracle Analytics Desktop en cliquant sur le lien Télécharger à partir de l'emplacement suivant :