Resume Data Warehouse pertemuan 7

ETL (Ekxtraction,Transformation,Loding)

   ETL adalah kumpulan proses menyiapkan data dari operational source untuk data. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse

       Hasil dari proses ETL adalah dihasilkannya data yang memenuhi kriteria data warehouse seperti data historis, terpadu, terangkum, statis dan memiliki struktur yang dirancang untuk keperluan proses analisis

Tahapan-Tahapan proses ETL

1. Ekstract

      Langkah pertama dari proses ETL adalah proses penarikan data dari satu atau lebih sistem operasional sebagai sumber data (bisa diambil dari sistem OLTP, tapi bisa juga dari sumber data di luar system database).

 Ada 3 metode yang harus di perhatikan :

1. Metode ekstraksi secara umum:

• Statis
• Terjadwal,  ada  2  model  pengambilan  data terjadwal yaitu :

  - Berdasarkan  waktu

  - Berdasarkan  perbedaan

•  Seketika,  ada  3  model  pengambilan  data seketika yaitu:

  - Dengan  mekanisme  log  transaksi

  - Dengan mekanisme basis data trigger

  - Dengan sumber aplikasi

2. Metode Ekstraksi logical :

  - Ekstraksi full (Full Extraction)

  - Ekstraksi Inkremental (Incremental extraction)

3. Ekstraksi fisik (physical extraction)

-Online Extraction

-Offline Extraction

Transform

Adalah  proses  pengambilan  data mentah  yang  belum  bisa  disimpan  pada  Data Warehouse,  oleh  karena  itu  data  harus  sesuai standar  struktur  Data  Warehouse  yang  telah ditentukan  sehingga  bisa  disimpan  ke  Data Warehouse

Transformation  data  terdiri  dari beberapa tahap yaitu:

-Seleksi

-Pemisahan dan Penggabungan

-Konversi, dilakukan untuk 2 alasan yaitu:

  1. Standarisasi  pengambilan  data  dari  berbagai sumber

  2. Membuat  field   dapat  digunakan  Data Warehouse  dan       dipahami oleh  pengguna

-Ringkasan

-Pengayaan

Dalam mentransformasikan data ada beberapa tipe fungsi

transformasi yaitu:

- Revisi Format

- Penghilangan  pengkodean  field

- Menghitung  dan  menghasilkan  nilai

- Memecah  field

- Penggabungan informasi

- Konversi kumpulan karakter

- Konversi  unit  pengukuran

- Konversi  tanggal  dan  jam

- Ikhtisar

- Restrukturisasi  kunci

- Deduplikasi

Load

Fase load merupakan tahapan yang berfungsi untuk memasukkan data ke dalam target akhir, yaitu ke dalam suatu data warehouse.

Fase load ada 4 metode:

-Panggil

-Tambah

-Destructive merge

-Constructive merge

ETL Tools yang berbayar:

vIBM Infosphere DataStage

vInformatica PowerCenter

vOracle Warehouse Builder (OWB)

vOracle Data Integrator (ODI)

vMicrosoft SQL Server

ETL tools yang gratis (open source):

vPentaho Data Integration (Kettle)

vTalend Integrator Suite

vCloverETL

vJasper ETL

Reverensi

vhttp://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/

vhttp://thefrawn.wordpress.com/2011/02/15/sekilas-tentang-etl-datawarehouse/

vJurnal Desain ETL dengan kasus perguruan tinggi, Fakultas Teknologi Informasi, Universitas Budi Luhur

vModul Kuliah STTI NIIT I-TECH