Tiedätkö, mikä ero on ETL:n ja ELT:n välillä? Vihje: ero ei ole siinä, että toinen olisi kirjoitusvirhe.
ETL tarkoittaa sanoja Poimi, muunna ja lataa, ja ELT sanoja Poimi, lataa ja muunna. Molemmissa on kyse tietojen ottamisesta useista lähdejärjestelmistä ja niiden lataamisesta kohdetietovarastoon. Keskeinen ero on kuitenkin se, missä vaiheessa tietojen muuntaminen tapahtuu, ja tämä hienovarainen muutos voi vaikuttaa prosessiin merkittävästi. Pilvipalveluiden suosion kasvun myötä pilvipohjaiset tietovarastot ovat yleistyneet, ja kiinnostus ELT:tä kohtaan ETL:n sijaan on kasvanut.
Olen aiemmin käsitellyt hyödyllisiä ETL-työkaluja. Tässä artikkelissa käsittelen ELT:tä, sen roolia massadatan analytiikassa sekä sitä, milloin tätä menetelmää kannattaa harkita ETL:n sijaan.
Mitä ETL (Poimi, muunna ja lataa) on?
ETL-putkissa tiedot poimitaan yhdestä tai useammasta tietolähteestä, minkä jälkeen ne puhdistetaan, käsitellään ja yhdenmukaistetaan osana tietojen muuntamisprosessia. Lopuksi tiedot ladataan kohdejärjestelmään.
Joskus tiedot syötetään muuntamisen jälkeen mutta ennen lataamista väliaikaiseen järjestelmään, vaikka tämä onkin valinnaista. ETL:ää on käytetty 1970-luvulta lähtien, ja se soveltuu hyvin suurten tietomäärien eräajoon, tietojen keskittämiseen sekä niiden syvälliseen ja monimutkaiseen analysointiin.
Have an account? Log In
Mitä ELT (Poimi, lataa ja muunna) on?
ELT muistuttaa ETL:ää siinä, että tiedot haetaan ohjelmointirajapinnoista, relaatiotietokannoista tai erilaisista jäsentämättömistä tai puolistrukturoiduista tietolähteistä. Ero on siinä, mitä seuraavaksi tapahtuu. Tietoja ei muunneta heti, vaan ne ladataan tietovarastoon ja muunnetaan vasta sen jälkeen.
ELT-prosessilla on useita etuja ETL:ään verrattuna. Ensinnäkin se on nopeampi, koska tiedot syötetään yksinkertaisesti tietovarastoon, jossa niitä voidaan käsitellä milloin tahansa. Toiseksi se on monipuolisempi.
ETL toimii parhaiten jäsenneltyjen tietojen kanssa. Sitä voidaan käyttää myös jäsentämättömien tietojen kanssa, mutta tietojen yhdenmukaistaminen tietokannan hyväksymään muotoon vaatii paljon suunnittelua. ELT voi ladata kaikenlaisia tietomuotoja, ja datatieteilijät voivat muuntaa tiedot lataamisen jälkeen, mikä antaa heille enemmän joustavuutta suoritettavien kyselyjen suhteen.
Miten ETL eroaa ELT-prosessista?
Muuntamis- ja latausprosessien järjestyksen muuttaminen saattaa vaikuttaa pieneltä muutokselta, mutta sillä on suuri vaikutus prosessin nopeuteen ja siihen, mihin käyttötapauksiin se soveltuu.
Esimerkki
Perinteisissä ETL-putkissa muuntaminen tapahtuu toissijaisella käsittelypalvelimella, joka toimii parhaiten jäsenneltyjen tietojen kanssa. Prosessi on hidas, ja monet organisaatiot automatisoivat sen ajoittamalla suurten tietojoukkojen muuntamisen ja lataamisen yön ajaksi, jolloin palvelinten kuormitus on vähäisimmillään.
ELT:ssä käytetään erilaista lähestymistapaa, jossa muuntaminen tapahtuu tietovarastossa. Jos tietovarasto sijaitsee pilvipalvelimella, organisaatiot hyötyvät pilvipohjaisten tietovarastojen joustavuudesta ja skaalautuvuudesta, mikä takaa nopean käsittelyn myös suurille tietomäärille.
Pilvipalveluntarjoajilla on usein omat työkalunsa ELT:n automatisointiin, mikä tekee tietosuojasta ja muista sääntelyn noudattamiseen liittyvistä asioista yksinkertaisempia. Näiden hyötyjen vuoksi monet organisaatiot käyttävät ELT:tä tietojoukkojensa käsittelyyn.
Rinnakkainen vertailu
Verrataanpa ELT:tä ja ETL:ää rinnakkain:
| Nopeus | Useimmissa tapauksissa ELT on nopeampi kuin ETL |
| Skaalautuvuus | Pilvikeskeisenä ratkaisuna ELT tarjoaa suuremman skaalautuvuuden kuin ETL |
| Tietojen laadun hallinta | Muuntamalla tiedot etukäteen ETL tarjoaa paremman tietojen laadun hallinnan |
| Kustannukset | Suhteelliset kustannukset riippuvat tietojen poimintaan, muuntamiseen ja lataamiseen käytetyistä työkaluista ja infrastruktuurista |
| Monimutkaisuus | Tietojen käsittelyä ennen lataamista koskeva vaatimus tekee ETL:stä monimutkaisemman kuin ELT:stä, erityisesti käsiteltäessä vaihtelevia tietorakenteita tai jäsentämättömiä tietoja, jotka edellyttävät monimutkaisia muunnoksia |
| Muuntamisen sijainti | ETL:ssä muuntaminen tapahtuu käsittelypalvelimella ennen tietojen lataamista väliaikaiseen tallennusalueeseen. ELT:ssä tiedot muunnetaan kohdetietovarastossa. |
| Tietoturva ja vaatimustenmukaisuus | Monet ETL-työkalut tarjoavat ratkaisuja HIPAA- ja GDPR-vaatimusten noudattamisen tueksi, mikä tekee kypsemmästä prosessista helpon valinnan. Pilvipalveluntarjoajat työskentelevät kuitenkin myös vaatimustenmukaisuuden integroimiseksi ELT-ratkaisuihinsa |
ETL:n ja ELT:n vertailu
More Articles
Kumpi on parempi: ETL vai ELT?
ELT ja ETL ovat arvokkaita työkaluja data-analyytikon työkalupakissa. Valitsemasi työnkulku riippuu kerättävän datan tyypistä, projektisi tarpeista ja käytettävissä olevasta infrastruktuurista.
Jos suurin osa datastasi on rakenteisessa muodossa ja sijaitsee paikallisella palvelimella, saatat kokea luontevammaksi huolehtia itse datan puhdistamisesta ja muuntamisesta. Jos taas käsittelet dataa useista lähteistä, ELT:n nopeuden ja joustavuuden hyödyntäminen voi olla järkevää.
Sekä ETL:n että ELT:n perimmäisenä tavoitteena on ladata dataa useista tietolähteistä keskitettyyn tietokantaan, ja monet datavarastotyökalut voivat auttaa tässä. ETL:n ehdoilla suunnitelluissa työkaluissa voi olla enemmän vaatimustenmukaisuusominaisuuksia ja sisäänrakennettu tuki vanhoille tietokannoille. Tästä huolimatta myös ELT-ekosysteemi kasvaa nopeasti.
Kun valitset organisaatiossasi oikean prosessin datan yhdistämiseen ja muuntamiseen, ota huomioon datan määrä ja siirtonopeus sekä suunnittelemasi analytiikan tyyppi. Tämä auttaa sinua tekemään perustellun päätöksen.
Lopuksi
Datan hallinnan ja tallennuksen maailmassa asiat etenevät nopeasti. ELT on nykyään suosittu, koska se on tehokas tapa käsitellä valtavaa datamäärää ja suurta datan siirtonopeutta, joiden kanssa monet organisaatiot työskentelevät. Pilvilaskennan skaalautuvuuden ja tehon ansiosta ETL on nykyään käytännöllinen lähestymistapa datan käsittelyyn.
Se ei kuitenkaan tarkoita, että ETL olisi vanhentunut. Datan ylläpitäjillä ei ole varaa jättää sääntelyvaatimuksia huomiotta, ja monimutkaisia analyysejä säännöllisesti tekevät saattavat edelleen haluta varmistua siitä, että heidän datansa on puhdistettu, kaksoiskappaleet poistettu ja data käsitelty asianmukaisesti ennen sen lataamista datajärveen.
Teknologiajohtajana tehtäväsi on pohtia kummankin lähestymistavan hyötyjä ja haittoja sekä varmistaa, että käsittelet dataasi millä tavalla tahansa, noudatat datahallintamenettelyjäsi, säilytät sääntelyn vaatimustenmukaisuuden ja tarjoat tiimeillesi tiedot, joita ne tarvitsevat liiketoiminnan hyödynnettävissä olevien oivallusten saamiseksi.
Jos haluat lukea lisää datan käsittelystä, tietoturvasta ja muista kehittyvistä teknologia-aiheista, tilaa CTO Clubin uutiskirje jo tänään.
