Fivetran, leader della Data Integration, mette a disposizione centinaia di connettori automatizzati che rendono i dati accessibili, affidabili e facili da interrogare in pochi minuti. Per quanto sia fondamentale la creazione e l’aggiornamento dei connettori e lo spostamento dei dati da questi a una destinazione scelta, le aziende hanno sempre più la necessità di trasformare i propri dati per i loro casi d’uso. Fivetran mette a disposizione all’interno del suo ambiente di setting alcuni strumenti per la trasformazione del dato; inoltre avevamo visto in un nostro articolo precedente come Fivetran segua un approccio ELT (Extract – Load – Trasform) differente dal superato concetto di ETL. Ecco perché già dal 2019 Fivetran integra dbt Core all’interno della sua piattaforma.
dbt Core di dbt Labs
dbt Core, di dbt Labs, è uno dei framework di trasformazione open source più popolari nella comunità degli analisti di dati. Gli analisti modellano i loro dati come istruzioni SQL select e creano relazioni e dipendenze tra i modelli, materializzandoli come tabelle e viste. dbt Core organizza le trasformazioni basandosi su SQL in script modulari e sequenziali facili da mantenere ed eseguire. Inoltre, dbt Core supporta un’ampia libreria di community di modelli di dati predefiniti, offrendo ai team di dati il potenziale per risparmiare tempo considerevole nell’esplorazione dei dati e nella modellazione.
Tuttavia, dbt Core è ancora fondamentalmente puro scripting e questo è un vero vantaggio per gli ingegneri che si sentono a proprio agio nella creazione di sistemi complessi e nell’esecuzione di programmi da una riga di comando, ma può essere scoraggiante per gli analisti, le cui competenze principali generalmente non includono la scrittura e la gestione dei file di configurazione. L’iterazione più recente di Fivetran, però, offre un’interfaccia utente e un’esperienza end-to-end integrate che consentono di gestire l’orchestrazione di connettori e trasformazioni da un’unica piattaforma con configurazione e codice minimi.
Analisi e ingegneria dei dati lavorano insieme in un unico strumento
Tutti coloro che vogliono iniziare con l’integrazione possono scoprire che è facile come connettere un repository git con un progetto dbt Core esistente al suo interno. (Non hai mai lavorato con dbt Core prima? Inizia qui.) Dopo che Fivetran si è connesso correttamente al repository git, iniziamo a orchestrare i modelli e testarli nella destinazione dei dati a cui Fivetran ha già accesso. Ciò significa che tutto il codice generato dal team di analisi è ora centralizzato in un unico repository e può essere rivisto e testato prima di essere pubblicato, garantendo il controllo della qualità dei set di dati attendibili.
Inoltre dbt Core mette a disposizione quelli che vengono definiti pacchetti dbt ovvero delle librerie di modelli riutilizzabili, simili ai pacchetti in altri linguaggi di programmazione come Python o R. Fivetran offre pacchetti dbt open source che sfruttano gli schemi normalizzati. Questi pacchetti creano dati aggregati pronti per l’analisi e schemi canonici nella propria destinazione.
I pacchetti di origine espongono e documentano gli schemi Fivetran sottostanti creati nella destinazione e riproducono modelli ricreati comunemente per ogni sorgente. Tutti gli utenti possono utilizzare immediatamente i pacchetti dbt sviluppati e mantenuti da Fivetran per ottenere un vantaggio su un progetto di analisi. Ad esempio, puoi connettere Fivetran a Zendesk, installare i pacchetti Fivetran dbt per Zendesk e disporre di tabelle pronte per l’analisi, comprese le aggregazioni, che ti consentono di comprendere meglio le prestazioni del tuo team di supporto in un giorno rispetto a settimane o mesi.
Se vuoi qualche informazione in più su Fivetran e tutte le sue funzionalità, puoi visitare la pagina dedicata sul nostro sito; e per qualsiasi domanda, non esitare a scriverci su info@visualitics.it!
