Creazione di un connettore con un'origine di streaming

Creare un connettore nell'hub connettore per trasferire i dati del flusso dal servizio di streaming a un servizio di destinazione.

Per ulteriori informazioni sul servizio di streaming, vedere Streaming.

Un connettore definito con un'origine di streaming e un task funzione (facoltativo) supporta le destinazioni seguenti: Funzioni, Logging Analytics, Storage degli oggetti e Streaming. La destinazione Notifiche è supportata solo quando non viene utilizzato alcun task funzione.

Per un esempio del flusso di lavoro dell'hub connettore, vedere Panoramica dell'hub connettore. Per un esempio di connettore che utilizza il servizio di monitoraggio come origine, vedere Scenario: invio di metriche allo storage degli oggetti.

Nota

  • Per lo schema di input del flusso, vedere Riferimento messaggio.
  • Per una destinazione Notifiche con origine Streaming, tutti i messaggi vengono inviati come BLOB JSON di tipo RAW.

Prima di iniziare

Per selezionare un pool di flussi e un flusso per un connettore, è necessario disporre dell'autorizzazione per leggere il pool di flussi e il flusso. Vedere Policy IAM (Securing Connector Hub).

Periodo di conservazione: origine streaming

Il periodo di conservazione per l'origine di streaming in Connector Hub è definito dal cliente. Vedere Limiti sullo streaming delle risorse. Per ulteriori informazioni sulla consegna, vedere Dettagli consegna.

Insieme al periodo di conservazione, la posizione di lettura dell'origine Streaming determina dove nel flusso iniziare a spostare i dati. La posizione di lettura viene specificata quando si specifica la connessione di origine.

Prerequisiti dell'endpoint privato per i flussi

Nota

Non è possibile eseguire il retrofit di un connettore esistente per utilizzare un flusso con un endpoint privato. Se il pool di flussi selezionato per l'origine o la destinazione del flusso è pubblico, non può essere modificato in privato e il connettore non può essere aggiornato per fare riferimento a un flusso privato. Per modificare l'origine o la destinazione in modo da utilizzare un flusso privato diverso oppure per utilizzare un'origine o una destinazione diversa da Streaming, ricreare il connettore con l'origine e la destinazione desiderate. Un esempio della necessità di un flusso privato diverso è un flusso che è stato spostato in un pool di flussi diverso. In tal caso, ricreare il connettore utilizzando il flusso spostato. Assicurarsi di disattivare o eliminare il vecchio connettore con l'origine o la destinazione del flusso che non si desidera più.

La configurazione dell'endpoint privato è supportata per i flussi di origine e di destinazione. Di seguito sono riportati i prerequisiti per l'accesso ai flussi che utilizzano endpoint privati.

  • Assicurarsi di disporre delle autorizzazioni in base ai criteri seguenti:
    allow group <group-name> to manage virtual-network-family in compartment id <compartment-ocid>
      where any {request.operation='CreatePrivateEndpoint',
        request.operation='UpdatePrivateEndpoint',
        request.operation='DeletePrivateEndpoint',
        request.operation='ChangePrivateEndpointCompartment',
        request.operation='EnableReverseConnection',
        request.operation='ModifyReverseConnection',
        request.operation='DisableReverseConnection' 
    }
    allow group <group-name> to read stream-family in compartment id <compartment-ocid>
    
  • La procedura di sicurezza migliore consiste nell'individuare un flusso privato e il relativo connettore nella stessa tenancy.

Dopo aver creato il connettore, configurare le regole di entrata e uscita per consentire al connettore di accedere a tale endpoint privato. Vedere Endpoint privati: Configura regole di entrata e uscita.

    1. Nella pagina di elenco Connettori, selezionare Crea connettore. Per informazioni su come trovare la pagina dell'elenco, vedere Elenco dei connettori.
    2. Nella pagina Crea connettore, immettere un nome riconoscibile dall'utente per il nuovo connettore e una descrizione facoltativa. Evitare di inserire informazioni riservate.
    3. Selezionare il compartimento in cui memorizzare il nuovo connettore.
    4. In Configura connettore, in Origine selezionare Streaming.
    5. In Destinazione selezionare il servizio in cui si desidera trasferire i dati del flusso:
      • Funzioni: inviare i dati del flusso a una funzione.
      • Logging Analytics: invia i dati del flusso a un gruppo di log.
      • Notifiche: inviare i dati del flusso a un argomento. Le notifiche sono supportate solo quando non è definito alcun task funzione.
      • Storage degli oggetti: invia i dati del flusso a un bucket.
      • Streaming: invia i dati del flusso a un flusso.
    6. (Facoltativo) Per abilitare i log di servizio per il nuovo connettore, selezionare lo switch Log e fornire i valori riportati di seguito.
      • Categoria log: il valore Tracciamento connettore viene selezionato automaticamente.
      • Compartimento: selezionare il compartimento che si desidera memorizzare i log del servizio per il connettore.
      • Gruppo di log: selezionare il gruppo di log desiderato per la memorizzazione dei log del servizio. Per creare un nuovo gruppo di log, selezionare Crea nuovo gruppo, quindi immettere un nome.
      • Nome log: è possibile immettere un nome per il log.
      • Mostra opzioni avanzate:
        • Conservazione log: è possibile specificare per quanto tempo conservare i log del servizio (impostazione predefinita: 30 giorni).
    7. In Configura connessione di origine selezionare il flusso di origine:
      Nota

      Configurazione dell'endpoint privato supportata. Per utilizzare un endpoint privato, vedere Prerequisiti degli endpoint privati per Streams.
      • Compartimento: selezionare il compartimento contenente il flusso desiderato.
      • Pool di flusso: selezionare il pool di flusso che contiene il flusso desiderato.
        Nota

        Per selezionare un pool di flussi e un flusso per un connettore, è necessario disporre dell'autorizzazione per leggere il pool di flussi e il flusso. Vedere Policy IAM (Securing Connector Hub).
      • Via: selezionare il nome del flusso da cui si desidera ricevere i dati.
      • Posizione lettura: specificare la posizione del cursore da cui iniziare a leggere il flusso.
        • Ultimo: inizia a leggere i messaggi pubblicati dopo la creazione del connettore.
          • Se la prima esecuzione di un nuovo connettore con questa configurazione riesce, i dati vengono spostati dall'ora di creazione del connettore. Se la prima esecuzione non riesce (ad esempio con criteri mancanti), dopo la risoluzione il connettore sposta i dati dall'ora di creazione del connettore o, se l'ora di creazione non rientra nel periodo di conservazione, i dati disponibili meno recenti nel flusso. Ad esempio, si consideri un connettore creato alle 10 del mattino per un flusso con un periodo di conservazione di due ore. Se le esecuzioni non riuscite vengono risolte alle 11 del mattino, il connettore sposta i dati dalle 10 del mattino. Se le esecuzioni non riuscite vengono risolte alle 1 del pomeriggio, il connettore sposta i dati disponibili meno recenti nel flusso.
          • Le esecuzioni successive spostano i dati dalla posizione successiva nel flusso. Se un'esecuzione successiva non riesce, dopo la risoluzione il connettore sposta i dati dalla posizione successiva nel flusso o i dati disponibili meno recenti nel flusso, a seconda del periodo di conservazione del flusso.
        • Orizzonte percorso: inizia la lettura dal messaggio disponibile meno recente nel flusso.
          • Se la prima esecuzione di un nuovo connettore con questa configurazione riesce, i dati vengono spostati dai dati disponibili meno recenti nel flusso. Se la prima esecuzione non riesce (ad esempio con criteri mancanti), dopo la risoluzione il connettore sposta i dati disponibili meno recenti nel flusso, indipendentemente dal periodo di conservazione del flusso.
          • Le esecuzioni successive spostano i dati dalla posizione successiva nel flusso. Se un'esecuzione successiva non riesce, dopo la risoluzione il connettore sposta i dati dalla posizione successiva nel flusso o i dati disponibili meno recenti nel flusso, a seconda del periodo di conservazione del flusso.
    8. (Facoltativo) In Configura task funzione, configurare un task funzione per elaborare i dati del flusso utilizzando il servizio Funzioni:
      • Seleziona task: selezionare Funzione.
      • Compartimento: selezionare il compartimento contenente la funzione desiderata.
      • Applicazione funzione: selezionare il nome dell'applicazione funzione che include la funzione desiderata.
      • Funzione: selezionare il nome della funzione che si desidera utilizzare per elaborare i dati ricevuti dall'origine.

        Per essere utilizzata dal connettore come task, la funzione deve essere configurata in modo da restituire una delle seguenti risposte:

        • Lista di voci JSON (deve impostare l'intestazione di risposta Content-Type=application/json)
        • Voce JSON singola (deve impostare l'intestazione di risposta Content-Type=application/json)
        • Oggetto binario singolo (deve impostare l'intestazione di risposta Content-Type=application/octet-stream)
      • Mostra opzioni aggiuntive: selezionare questo collegamento e specificare i limiti per ogni batch di dati inviato alla funzione. Per utilizzare le impostazioni manuali, fornire i valori per il limite di dimensione batch (KB) e il limite di tempo batch (secondi).

      Considerazioni per i task funzione:

      • L'hub connettore non analizza l'output del task funzione. L'output del task funzione viene scritto così com'è nella destinazione. Ad esempio, quando si utilizza una destinazione Notifiche con un task funzione, tutti i messaggi vengono inviati come BLOB JSON di tipo RAW.
      • Le funzioni vengono richiamate in modo sincrono con 6 MB di dati per richiamo. Se i dati superano i 6 MB, il connettore richiama di nuovo la funzione per spostare i dati oltre il limite. Tali richiami vengono gestiti in sequenza.
      • Le funzioni possono essere eseguite per un massimo di cinque minuti. Vedere Dettagli consegna.
      • Le funzioni sono limitate alle funzioni scalari.
    9. Se si seleziona Funzioni come destinazione, in Configura destinazione configurare la funzione a cui inviare i dati di log. Quindi, andare al passo 15.
      • Compartimento: selezionare il compartimento contenente la funzione desiderata.
      • Applicazione funzione: selezionare il nome dell'applicazione funzione contenente la funzione desiderata.
      • Funzione: selezionare il nome della funzione a cui si desidera inviare i dati.
      • Mostra opzioni aggiuntive: selezionare questo collegamento e specificare i limiti per ogni batch di dati inviato alla funzione. Per utilizzare le impostazioni manuali, fornire i valori per il limite di dimensione batch (KB o numero di messaggi) e il limite di tempo batch (secondi).

        Ad esempio, limitare la dimensione del batch selezionando 5.000 kilobyte o 10 messaggi. Un limite di tempo batch di esempio è di 5 secondi.

      Considerazioni per le destinazioni delle funzioni:

      • Il connettore svuota i dati di origine come lista JSON in batch. La dimensione massima del batch, o payload, è di 6 MB.
      • Le funzioni vengono richiamate in modo sincrono con 6 MB di dati per richiamo. Se i dati superano i 6 MB, il connettore richiama di nuovo la funzione per spostare i dati oltre il limite. Tali richiami vengono gestiti in sequenza.
      • Le funzioni possono essere eseguite per un massimo di cinque minuti. Vedere Dettagli consegna.
      • Non restituire i dati dalle destinazioni Funzioni ai connettori. Connector Hub non legge i dati restituiti dalle destinazioni Functions.
    10. Se come destinazione è stato selezionato Logging Analytics, in Configura destinazione configurare il gruppo di log a cui inviare i dati di log. Quindi, andare al passo 15.
      • Compartimento: selezionare il compartimento contenente il gruppo di log desiderato.
      • Gruppo di log: selezionare il gruppo di log desiderato.
      • Identificativo origine log (solo per l'origine di streaming): selezionare l'origine log.
    11. Se come destinazione è stata selezionata l'opzione Notifiche, in Configura destinazione configurare l'argomento a cui inviare i dati di log. Quindi, andare al passo 15.
      • Compartimento: selezionare il compartimento contenente l'argomento desiderato.
      • Argomento: selezionare il nome dell'argomento a cui si desidera inviare i dati. Per le destinazioni di streaming, i messaggi vengono inviati come BLOB JSON di tipo RAW.

      Considerazioni per le destinazioni delle notifiche:

      • La destinazione Notifiche è supportata con l'origine Streaming solo quando non viene utilizzato alcun task funzione.
      • La dimensione massima dei messaggi per la destinazione Notifiche è di 128 KB. Qualsiasi messaggio che supera la dimensione massima viene eliminato.
      • I messaggi SMS mostrano risultati imprevisti per determinate configurazioni del connettore. Questo problema è limitato agli argomenti che contengono sottoscrizioni SMS per le configurazioni connettore indicate. Per ulteriori informazioni, vedere Più messaggi SMS per una singola notifica.
    12. Se come destinazione è stato selezionato Storage degli oggetti, in Configura destinazione configurare il bucket a cui inviare i dati di log. Quindi, andare al passo 15.
      • Compartimento: selezionare il compartimento contenente il bucket desiderato.
      • Bucket: selezionare il nome del bucket a cui si desidera inviare i dati.
      • Prefisso nome oggetto: è possibile immettere un valore di prefisso.
      • Mostra opzioni aggiuntive: selezionare questo collegamento e, facoltativamente, immettere i valori per la dimensione batch (in MB) e il tempo batch (in millisecondi).

      Considerazioni per le destinazioni dello storage degli oggetti:

      • Dettagli rinnovo batch:

        • Dimensione rollover batch: 100 MB
        • Tempo di rollover batch: 7 minuti
      • I file salvati nello storage degli oggetti vengono compressi utilizzando gzip.

    13. Se come destinazione è stata selezionata l'opzione Streaming, in Configura destinazione configurare il flusso a cui inviare i dati di log.
      Nota

      Per selezionare un pool di flussi e un flusso per un connettore, è necessario disporre dell'autorizzazione per leggere il pool di flussi e il flusso. Vedere Policy IAM (Securing Connector Hub). La configurazione dell'endpoint privato è supportata. Per utilizzare un endpoint privato, vedere Prerequisiti degli endpoint privati per Streams.
      • Compartimento: selezionare il compartimento contenente il flusso desiderato.
      • Via: selezionare il nome del flusso a cui si desidera inviare i dati.
    14. Per accettare i criteri predefiniti, selezionare il collegamento Crea fornito per ogni criterio predefinito.

      I criteri predefiniti vengono offerti per consentire a questo connettore di accedere ai servizi di origine, task e destinazione.

      È possibile ottenere questa autorizzazione mediante questi criteri predefiniti o mediante criteri basati su gruppi. I criteri predefiniti vengono offerti ogni volta che si utilizza la console per creare o modificare un connettore. L'unica eccezione è quando il criterio esatto esiste già in IAM, nel qual caso il criterio predefinito non viene offerto. Per ulteriori informazioni su questo requisito di autorizzazione, vedere Autenticazione e autorizzazione.

      • Se non si dispone delle autorizzazioni per accettare i criteri predefiniti, contattare l'amministratore.
      • I criteri creati automaticamente rimangono quando vengono eliminati i connettori. Si consiglia di eliminare i criteri associati quando si elimina il connettore.

      Per rivedere un criterio appena creato, selezionare il collegamento vista associato.

    15. (Facoltativo) Aggiungere una o più tag al connettore: selezionare Mostra opzioni avanzate per visualizzare la sezione Aggiungi tag.
      Se si dispone delle autorizzazioni per creare una risorsa, si dispone anche delle autorizzazioni per applicare le tag in formato libero a tale risorsa. Per applicare una tag defined, è necessario disporre delle autorizzazioni per utilizzare la tag namespace. Per ulteriori informazioni sull'applicazione di tag, vedere Tag risorsa. Se non si è certi di applicare le tag, saltare questa opzione o chiedere a un amministratore. È possibile applicare le tag in un secondo momento.
    16. Selezionare Crea.
    Il processo di creazione inizia e ne viene visualizzato l'avanzamento. Al termine, viene visualizzata la pagina dei dettagli del connettore.
  • Utilizzare il comando oci sch service-connector create e i parametri richiesti per creare un connettore con un'origine di streaming:

    oci sch service-connector create --display-name "<display_name>" --compartment-id <compartment_OCID> --source [<stream_source_in_JSON>] --target [<target_in_JSON>]

    Per un elenco completo dei parametri e dei valori per i comandi della CLI, vedere il manuale CLI Command Reference.

  • Eseguire l'operazione CreateServiceConnector per creare un connettore.

    Per creare un connettore con un'origine di streaming, inserire i dettagli di streaming in source nella richiesta (CreateServiceConnectorDetails). Per un esempio, vedere StreamingSourceDetails.

Endpoint privati: configura regole di entrata e uscita

Se è stato creato un connettore con un flusso che utilizza un endpoint privato, configurare le regole di entrata e uscita per consentire al connettore di accedere a tale endpoint privato.

  • Recupera gli indirizzi IP per la configurazione:
  • Consenti traffico primario: aggiungere una regola di entrata al NSG o alla lista di sicurezza con la configurazione seguente.

    Console:

    • Stateless: No
    • Origine: rceTrafficIpAddress (esempio: 10.0.0.249/32)
    • Protocollo IP: TCP
    • Intervallo porte di origine: tutto
    • Intervallo di porte di destinazione: tutto

    API: regola di esempio nella richiesta:

    {
      "protocol": "6",
      "source": "10.0.0.249/32"
    }
  • Aggiungere una regola di uscita alla lista di sicurezza con la configurazione seguente.

    Console:

    • Stateless: No
    • Origine: streamPoolIpAddress (esempio: 10.0.0.20/32)
    • Protocollo IP: TCP
    • Intervallo porte di origine: tutto
    • Intervallo di porte di destinazione: tutto

    API: regola di esempio nella richiesta:

    {
      "destination": "10.0.0.20/32",
      "protocol": "6"
    }
Nota

Non è possibile eseguire il retrofit di un connettore esistente per utilizzare un flusso con un endpoint privato. Se il pool di flussi selezionato per l'origine o la destinazione del flusso è pubblico, non può essere modificato in privato e il connettore non può essere aggiornato per fare riferimento a un flusso privato. Per modificare l'origine o la destinazione in modo da utilizzare un flusso privato diverso oppure per utilizzare un'origine o una destinazione diversa da Streaming, ricreare il connettore con l'origine e la destinazione desiderate. Un esempio della necessità di un flusso privato diverso è un flusso che è stato spostato in un pool di flussi diverso. In tal caso, ricreare il connettore utilizzando il flusso spostato. Assicurarsi di disattivare o eliminare il vecchio connettore con l'origine o la destinazione del flusso che non si desidera più.

Confermare che il nuovo connettore sposta i dati

Dopo aver creato il connettore, confermarne lo spostamento.

  • Abilita log per il connettore per ottenere i dettagli sul flusso di dati.
  • Controllare i risultati previsti nel servizio di destinazione.

La conferma dello spostamento dei dati consente di evitare la disattivazione automatica, che si verifica quando un connettore si guasta per un lungo periodo di tempo.

Flussi privati: non è possibile eseguire il retrofit di un connettore esistente per utilizzare un flusso con un endpoint privato. Se il pool di flussi selezionato per l'origine o la destinazione del flusso è pubblico, non può essere modificato in privato e il connettore non può essere aggiornato per fare riferimento a un flusso privato. Per modificare l'origine o la destinazione in modo da utilizzare un flusso privato diverso oppure per utilizzare un'origine o una destinazione diversa da Streaming, ricreare il connettore con l'origine e la destinazione desiderate. Un esempio della necessità di un flusso privato diverso è un flusso che è stato spostato in un pool di flussi diverso. In tal caso, ricreare il connettore utilizzando il flusso spostato. Assicurarsi di disattivare o eliminare il vecchio connettore con l'origine o la destinazione del flusso che non si desidera più.