Crie um pipeline de stream de arquivos
Aprenda a criar um pipeline simples no Stream Analytics usando um arquivo, como CSV ou JSON, para prototipagem rápida, teste ou casos de uso de provas de conceito.
Tópicos Relacionados
Tarefa 1: Criar a implantação da Análise de Fluxo
- No menu de navegação da Console, clique em Oracle Database e selecione GoldenGate.
- Na página Implantações, clique em Criar implantação.
- No painel Criar implantação, informe um nome e, opcionalmente, uma descrição.
- Na lista drop-down Compartimento, selecione um compartimento no qual a implantação será criada.
- Selecione Stream Analytics para o tipo de implantação.
- O tipo de tecnologia de análise de fluxo é selecionado automaticamente para você.
- Para Versão, a versão mais recente é selecionada automaticamente. Clique em Alterar versão para selecionar uma versão diferente.
Observação:
Saiba mais sobre o versions. - Selecione uma das seguintes opções:
- Desenvolvimento ou teste: configura uma implantação com padrões recomendados para um ambiente de teste ou desenvolvimento. O número mínimo de OCPUs é 1.
- Produção: Configura uma implantação com o padrão recomendado de 4 OCPUs com dimensionamento automático ativado para um ambiente de produção. O número mínimo de OCPUs necessárias é 3, com o dimensionamento automático ativado.
- Para Selecionar OCPU, informe o número ou clique em Alterar forma para usar o controle deslizante a fim de escolher o número de OCPUs (Oracle Compute units) a serem usadas.
- (Opcional) Selecione Dimensionamento automático.
Observação:
O dimensionamento automático permite que a OCI GoldenGate expanda até três vezes o número de OCPUs que você especifica para Contagem de OCPUs, até 24 OCPUs. Por exemplo, se você especificar sua Contagem de OCPUs como 2 e ativar o Dimensionamento Automático, sua implantação poderá ser expandida para até 6 OCPUs. Se você especificar sua Contagem de OCPUs como 20 e ativar o Dimensionamento Automático, o OCI GoldenGate só poderá expandir para até 24 OCPUs. - Na lista drop-down Sub-rede no <Compartment>, selecione a sub-rede para a qual um ponto final privado é criado da tenancy do serviço OCI GoldenGate. Essa ação garante que a implantação esteja sempre disponível nesta sub-rede, desde que as políticas dessa sub-rede permitam acesso.
Para selecionar uma sub-rede em outro compartimento, clique em Alterar compartimento.
Observação:
Você só pode selecionar uma sub-rede privada ao criar ou atualizar uma implantação. - Selecione um tipo de licença.
- Para GoldenGate nome da instância, digite um nome para a instância de análise de fluxo.
- Para o armazenamento de Credenciais, selecione um dos seguintes:
- OCI Identity and Access Management (OCI IAM), para permitir que os usuários façam log-in na console de implantação usando sua conta do Oracle Cloud (sign-on único) nas tenancies ativadas do IAM (Identity and Access Management).
Observação:
- Depois de selecionar o serviço IAM, você não poderá alternar para GoldenGate ao editar as definições de implantação posteriormente.
- Essa opção é preferencial para uma implantação Db2 for i, para evitar problemas com log-in e Caminhos de Distribuição.
- (Opcional - só se aplica a implantações de Replicação de Dados) Selecione Personalizar mapeamentos de grupo para atribuição para mapear grupos de usuários para atribuições GoldenGate específicas. No mínimo, você deve designar o grupo de atribuições de segurança a um grupo de usuários. Saiba mais sobre atribuições e privilégios de usuário do Oracle GoldenGate.
- GoldenGate, para GoldenGate gerenciar usuários.
- Informe o Nome de usuário do Administrador
- Selecione um segredo de senha em seu compartimento ou clique em Alterar compartimento para selecionar um em outro compartimento. Você também pode criar um novo segredo de senha.
Para criar um novo segredo de senha:
- Clique em Criar segredo de senha.
- No painel Criar segredo, informe um nome para o segredo e, opcionalmente, uma descrição.
- Selecione um compartimento na lista drop-down Compartimento no qual o segredo será salvo.
- Selecione um vault no compartimento atual ou clique em Alterar compartimento para selecionar um vault em outro compartimento.
- Selecione uma Chave de criptografia.
Observação:
Somente chaves AES, chaves protegidas por software e chaves HSM são suportadas. As chaves RSA e ECDSA não são suportadas para chaves secretas de senha GoldenGate. - Informe uma senha de 8 a 30 caracteres, contendo pelo menos 1 caractere maiúsculo, 1 minúsculo, 1 numérico e 1 caractere especial. Os caracteres especiais não devem ser '$', '^' ou '?'.
- Confirme a senha.
- Clique em Criar.
Observação:
Você pode gerenciar usuários do GoldenGate na console de implantação. Saiba mais.
- OCI Identity and Access Management (OCI IAM), para permitir que os usuários façam log-in na console de implantação usando sua conta do Oracle Cloud (sign-on único) nas tenancies ativadas do IAM (Identity and Access Management).
- (Opcional) Clique em Mostrar opções avançadas para opções de redes e para adicionar tags.
- Na guia Rede,
- Selecione Ativar acesso público da console GoldenGate para incluir um ponto final público além de um ponto final privado e permitir acesso público à console de implantação para usuários. Se esta opção for selecionada, o OCI GoldenGate criará um balanceador de carga em sua tenancy para criar um IP público. Selecione uma sub-rede pública na mesma VCN dessa implantação na qual o balanceador de carga será criado.
Observação:
O balanceador de carga é um recurso que vem com um custo adicional. Você pode gerenciar esse recurso, mas certifique-se de não excluir o balanceador de carga enquanto sua implantação ainda estiver em uso. Saiba mais sobre o preço do balanceador de carga. -
Selecione Personalizar ponto final para fornecer um prefixo FQDN (nome de domínio totalmente qualificado) privado que você usará para acessar o URL de console do serviço privado. Você também terá a opção de fazer upload de um certificado SSL/TLS (.pem) e de sua chave privada correspondente. No entanto, certificados protegidos por senha não são suportados.
- É sua responsabilidade garantir que o FQDN seja resolvido para o endereço IP privado da implantação na sub-rede selecionada anteriormente.
- Se a implantação for pública, é sua responsabilidade garantir que o FQDN seja resolvido publicamente para o endereço IP público da implantação.
Os serviços usam seu próprio certificado, se você não fornecer um, e poderá encontrar uma advertência de segurança ao iniciar a console de implantação.
Observação:
Seu certificado SSL deve atender aos seguintes requisitos:- Seu nome comum deve corresponder ao FQDN da implantação. Se isso não acontecer, você encontrará avisos quando acessar a console de implantação.
- Ele deve ser assinado usando um algoritmo de hash forte. arcfour, arcfour128, arcfour256, nenhum tipo de algoritmo é permitido.
- Não deve expirar.
- A validade máxima não deve exceder 13 meses.
- Não deve ser um certificado autoassinado.
Se você encontrar erros de "Chave Privada Inválida", poderá verificar a exatidão da chave usando os seguintes comandos OpenSSL. Execute este comando no certificado:openssl x509 --noout --modulus --in <cert>.pem |openssl md5
Em seguida, execute este comando na chave privada:
openssl rsa --noout --modulus --in <key>.pem |openssl md5
A saída dos dois comandos deve retornar o mesmo valor
md5
. Se não corresponder, o certificado e a chave privada não corresponderão.
- Selecione Ativar acesso público da console GoldenGate para incluir um ponto final público além de um ponto final privado e permitir acesso público à console de implantação para usuários. Se esta opção for selecionada, o OCI GoldenGate criará um balanceador de carga em sua tenancy para criar um IP público. Selecione uma sub-rede pública na mesma VCN dessa implantação na qual o balanceador de carga será criado.
- Na seção Manutenção:
- Selecione Personalizar janela de manutenção para definir o início da janela de manutenção para fazer upgrade da implantação.
- (Opcional) Para Período de upgrade automático da versão principal em dias, digite o número de dias, entre 0 e 365.
- (Opcional) Para Período de upgrade automático da versão do bundle em dias, digite o número de dias, entre 0 e 180 dias.
- (Opcional) Para Período de upgrade automático do patch de segurança em dias, informe o número de dias, entre 0 e 14 dias.
- Selecione Ativar upgrade automático da release secundária e, opcionalmente, informe o número de dias.
Observação:
Saiba mais sobre programação de atualizações. - Na seção Programação de backup:
- Selecione Configurar programação de backup.
- Selecione a Data e a Hora para começar a criar backups.
- Selecione a Frequência para criar backups, Diariamente, Semanalmente ou Mensalmente.
- Selecione Fazer backup somente de metadados para criar backups sem arquivos de trilha.
- Selecione o Compartimento no qual criar backups.
- Selecione o Compartimento e o Bucket do armazenamento de objetos no qual salvar backups.
- Na seção Tags, adicione tags para ajudar a rastrear os recursos da sua tenancy. Clique em + Tag adicional para adicionar mais tags. Saiba mais sobre o uso de tags.
- Na guia Rede,
- Clique emCriar para criar a implantação ou clique em Salvar como Pilha para salvar essa configuração no Gerenciador de Recursos.
Se você selecionar Salvar como pilha, o painel Salvar como pilha será aberto, onde você poderá fornecer um nome e uma descrição para a pilha e selecionar o compartimento no qual salvá-la. Saiba mais sobre o Resource Manager.
Tarefa 2: Criar e publicar o pipeline
- Inicie o pipeline do Stream Analytics.
- Na página de detalhes da implantação do Stream Analytics, clique em Iniciar console.
- Faça log-in na console de implantação do Stream Analytics usando o nome de usuário e a senha do Administrador especificados quando você criou a implantação na Tarefa 1, etapas 14 e 15.
- Na console de implantação do Stream Analytics, clique em Catálogo.
- Criar um Stream de Arquivos.
- Crie um pipeline usando o fluxo de Arquivos criado na Etapa 3.Saiba mais sobre o Editor de Pipeline. Aqui estão algumas ações que você pode executar em seu pipeline de stream de Arquivos:
- Saiba mais sobre Estágios e como adicioná-los ao seu pipeline.
- Correlacionar fluxo e referências
- Aplicar funções
- Publicar o pipeline.