Vet du forskjellen mellom ETL og ELT? Hint: Det er ikke at den ene er en skrivefeil.
ETL står for Extract, Transform, and Load, og ELT står for Extract, Load, and Transform. Begge er metoder for å hente data fra flere kildesystemer og laste dem opp til et mål-datavarehus. Hovedforskjellen er imidlertid når datatransformasjonen finner sted, og denne lille endringen kan utgjøre en enorm forskjell i prosessen. Etter hvert som nettskyen har blitt mer populær, har vi sett en overgang til skybaserte datavarehus og økt interesse for ELT sammenlignet med ETL.
Jeg har tidligere utforsket nyttige ETL-verktøy. I denne artikkelen skal jeg diskutere ELT, hvilken rolle det spiller i stordataanalyse, og når du bør vurdere å bruke denne metoden fremfor ETL.
Hva er ETL (Extract, Transform, Load)?
I ETL-pipelines trekkes data ut fra én eller flere datakilder før de renses, saneres og standardiseres som en del av en datatransformasjonsprosess. Til slutt lastes dataene inn i målsystemet.
Noen ganger mates dataene inn i et mellomlagringssystem etter transformasjonen, men før innlastingen, selv om dette er valgfritt. ETL har vært i bruk siden 1970-tallet og fungerer godt for satsvis behandling av store datamengder, sentralisering av data og gjennomføring av dype og komplekse analyser av dataene.
Have an account? Log In
Hva er ELT (Extract, Load, Transform)?
ELT ligner på ETL ved at data hentes fra API-er, relasjonsdatabaser eller ulike ustrukturerte eller semistrukturerte datakilder. Forskjellen er hva som skjer etterpå. I stedet for å bli transformert umiddelbart, lastes dataene inn i et datavarehus og transformeres deretter.
ELT-prosessen har flere fordeler sammenlignet med ETL. For det første er den raskere, siden dataene ganske enkelt mates inn i datavarehuset, der de kan behandles når som helst. For det andre er den mer allsidig.
ETL fungerer best med strukturerte data. Det kan brukes med ustrukturerte data, men det kreves mye planlegging for å standardisere dataene til et format databasen kan lagre. ELT kan laste inn alle typer dataformater, og dataforskere kan transformere dataene etter at de er lastet inn, noe som gir dem større fleksibilitet når det gjelder hvilke spørringer de kan utføre.
Hvordan skiller ETL seg fra ELT-prosessen?
Å endre rekkefølgen på transformasjons- og innlastingsprosessene kan virke som en liten justering, men det har stor betydning for hvor rask prosessen er, og hvilke bruksområder den egner seg for.
Eksempel
Med tradisjonelle ETL-pipelines skjer transformasjonen på en sekundær behandlingsserver, som fungerer best med strukturerte data. Det er en langsom prosess, og mange organisasjoner automatiserer den ved å planlegge transformasjon og innlasting av store datasett over natten, når belastningen på serverne er minimal.
ELT benytter en annen tilnærming, der transformasjonen skjer i datavarehuset. Hvis datavarehuset er plassert på en nettskyserver, drar organisasjonene nytte av fleksibiliteten og skalerbarheten til skybaserte datavarehus, noe som sikrer rask behandling selv av store datamengder.
Leverandører av nettskytjenester har ofte egne verktøy for automatisering av ELT, noe som gjør databeskyttelse og andre aspekter ved overholdelse av regelverk enklere. Disse fordelene får mange organisasjoner til å bruke ELT til å håndtere datasettene sine.
Sammenligning side ved side
La oss sammenligne ELT og ETL side ved side:
| Hastighet | I de fleste tilfeller er ELT raskere enn ETL |
| Skalerbarhet | Som en nettskyorientert løsning har ELT større skaleringspotensial enn ETL |
| Håndtering av datakvalitet | Ved å transformere dataene på forhånd tilbyr ETL bedre håndtering av datakvalitet |
| Kostnad | De relative kostnadene avhenger av verktøyene og infrastrukturen som brukes til å trekke ut, transformere og laste inn data |
| Kompleksitet | Kravet om å behandle dataene før innlasting betyr at ETL er mer komplekst enn ELT, særlig ved håndtering av varierte datastrukturer eller ustrukturerte data som krever komplekse transformasjoner |
| Plassering av transformasjonen | Med ETL skjer transformasjonen på en behandlingsserver før dataene lastes inn i et mellomlagringsområde. Med ELT transformeres dataene i mål-datavarehuset. |
| Sikkerhet og overholdelse av regelverk | Mange ETL-verktøy tilbyr løsninger som bidrar til overholdelse av HIPAA og GDPR, noe som gjør den mer modne prosessen til et enkelt valg. Leverandører av nettskytjenester arbeider imidlertid også med å integrere overholdelse av regelverk i ELT-løsningene sine |
Sammenligning av ETL og ELT
More Articles
Hva er best: ETL eller ELT?
ELT og ETL er verdifulle verktøy i en dataanalytikers verktøykasse. Hvilken arbeidsflyt du velger, vil avhenge av typen data som samles inn, behovene i prosjektet ditt og infrastrukturen du har tilgang til.
Hvis mesteparten av dataene dine er strukturerte og lagret på en lokal server, kan det hende du føler deg mer komfortabel med å utføre din egen datarensing og transformasjon. Hvis du derimot håndterer data fra mange kilder, kan det være fornuftig å dra nytte av hastigheten og fleksibiliteten til ELT.
Både ETL og ELT har som endelig mål å laste data fra flere datakilder inn i en sentral database, og mange datavarehusverktøy kan hjelpe med dette. Verktøy som er utviklet med tanke på ETL, kan ha flere funksjoner for regelverksetterlevelse og innebygd støtte for eldre databaser. Når det er sagt, vokser også ELT-økosystemet raskt.
Når du skal velge riktig prosess for å samle og transformere data i organisasjonen din, bør du ta hensyn til datamengden og datahastigheten samt typen analyser du planlegger å utføre. Dette vil hjelpe deg med å ta en velinformert beslutning.
Avsluttende tanker
Det skjer mye på kort tid innen datahåndtering og datalagring. ELT er populært i dag fordi det er en effektiv måte å håndtere den enorme mengden og hastigheten på data som mange organisasjoner arbeider med. Takket være skalerbarheten og kraften i nettskybasert databehandling er ETL nå en praktisk tilnærming til databehandling.
Men det betyr ikke at ETL er utdatert. Dataforvaltere har ikke råd til å ignorere regulatoriske krav, og de som regelmessig utfører komplekse analyser, foretrekker kanskje fortsatt å vite at dataene deres er renset, duplikater er fjernet og dataene er korrekt behandlet før de lastes inn i datasjøen.
Som teknologileder er det din rolle å vurdere fordelene og ulempene ved hver tilnærming og sørge for at du følger prosedyrene for datastyring, opprettholder regelverksetterlevelse og gir teamene dine informasjonen de trenger for å få handlingsrettet forretningsinnsikt, uansett hvordan du behandler dataene dine.
Hvis du vil lese mer om databehandling, sikkerhet og andre fremvoksende teknologitemaer, kan du abonnere på CTO Club-nyhetsbrevet i dag.
