Rancang Bangun Engine ETL Data Warehouse dengan Menggunakan Bahasa Python

Perusahaan besar yang memiliki banyak cabang dengan lokasi berbeda sering sekali mengalami kesulitan dalam menganalisis proses transaksi dari setiap cabang. Masalah yang dialami dari pihak manajemen perusahaan terletak pada kurang cepatnya penyampaian data yang massive diberikan oleh cabang ke kantor pusat sehingga proses analisa kinerja perusahaan menjadi lambat dan kurang akurat. Hasil proses analisa yang digunakan sebagai pendukung dalam pengambilan keputusan akan menghasilkan informasi yang tepat jika data yang tersedia lengkap dan relevan. Metode pengumpulan data massive yang baik dan handal digunakan adalah dengan menggunakan pendekatan teknologi data warehouse. Data warehouse merupakan basis data relasional yang didesain lebih kepada mengoptimalkan query dalam Online Analytical Processing (OLAP) dari proses transaksi berbagai macam sumber data dan dapat mencatat segala perubahan data yang terjadi sehingga menjadi lebih terstruktur. Dalam penerapan pengumpulan datanya, data warehouse mempunyai tahapan extract, transform, dan load (ETL) untuk dapat membaca data dari sistem Online Transaction Processing (OLTP), merubah bentuk data melalui penyamaan struktur data, dan menyimpan ke lokasi akhir di data warehouse. Penelitian ini memberikan gambaran solusi implementasi ETL yang bisa bekerja secara otomatis maupun manual sesuai dengan kebutuhan dengan menggunakan bahasa pemrograman Python sehingga bisa memudahkan dalam proses ETL dan bisa menyesuaikan dengan kondisi database di sistem perusahaan.