Bij Extractie van brongegevens worden deze veelal in een tijdelijke database geladen om te worden geTransformeerd waarna het resultaat uiteindelijk wordt geLaden in een Data Warehouse. Vaak vindt tijdens het Transformatiegedeelte van een ETL-proces een opschoningslag en een verrijkingslag plaats van de gegevens.

Grafisch kan het proces als volgt voorgesteld worden:

Bron: Deliver an effective and flexible data warehouse solution, Part 3: Design and implement a warehouse ETL process

Vaak is het extraheren en transformeren van gegevens uit een bepaald bronsysteem om deze vervolgens te laden in een voor rapportage bedoeld opslagsysteem een noodzakelijk kwaad.

De redenen zijn vaak één of meer van de volgende:

• Het bronsysteem is vaak een registratiesysteem waarbij het benaderen van de onderliggende database de prestatie van het registratiesysteem ernstig kan ondermijnen.
• Het bronsysteem bevat erg veel onnodige details.
• In het bronsysteem zitten veel vervuilde gegevens.
• Voor de integratie met andere gegevenssets dienen de gegevens uit het bronsysteem eerst geconverteerd en/of getransformeerd worden.

Twee veelgebruikte ETL tools zijn:

• Oracle Warehouse builder
• Microsoft SQL Server - Integration Services

Voor de eeuwwisseling waren volwassen ETL tools nog erg duur. Tegenwoordig zijn er zelfs open-source varianten zoals Talend Open Studio. Talend Open Studio genereert Perl scripts of Java code welke stand-alone op vrijwel elk denkbaar platform is te implementeren.

Voor een ETL-demonstratie bekijk een demo van Talend Open Studio. De manier waarop deze tool werkt is illustratief voor de meeste van dit soort tools.

Ik heb een vraag of opmerking over de informatie op deze pagina.