Text
Building ETL Pipelines with Python: Create and Deploy Enterpris-Ready ETL Pipelines by Employing Modern Methods
Alur ekstrak, transformasi, dan muat (ETL) modern untuk rekayasa data telah mendukung bahasa Python karena berbagai penggunaannya dan berbagai macam alat, aplikasi, dan komponen open source. Dengan kesederhanaan dan dukungan pustaka yang luas, Python telah muncul sebagai pilihan yang tak terbantahkan untuk pemrosesan data. Dalam buku ini, Anda akan membahas proses end-to-end pengembangan alur data ETL, dimulai dengan pengantar dasar-dasar alur data dan membangun lingkungan pengembangan Python untuk membuat alur. Setelah Anda menjelajahi prinsip desain alur ETL dan proses pengembangan ET, Anda akan diperlengkapi untuk merancang alur ETL kustom. Selanjutnya, Anda akan memahami langkah-langkah dalam proses ETL, yang melibatkan ekstraksi data berharga; melakukan transformasi, melalui pembersihan, manipulasi, dan memastikan integritas data; dan pada akhirnya memuat data yang diproses ke dalam sistem penyimpanan. Anda juga akan meninjau beberapa modul ETL dalam Python, membandingkan pro dan kontranya saat membangun alur data dan memanfaatkan alat cloud, seperti AWS, untuk membuat alur data yang dapat diskalakan. Terakhir, Anda akan belajar tentang konsep pengembangan berbasis pengujian untuk alur ETL untuk memastikan penyebaran yang aman. Di akhir buku ini, Anda akan mengerjakan beberapa contoh langsung untuk membuat alur ETL berkinerja tinggi untuk mengembangkan lingkungan yang kuat, terukur, dan tangguh menggunakan Python.
Modern extract, transform, and load (ETL) pipelines for data engineering have favored the Python language for its broad range of uses and a large assortment of tools, applications, and open source components. With its simplicity and extensive library support, Python has emerged as the undisputed choice for data processing. In this book, you’ll walk through the end-to-end process of ETL data pipeline development, starting with an introduction to the fundamentals of data pipelines and establishing a Python development environment to create pipelines. Once you've explored the ETL pipeline design principles and ET development process, you'll be equipped to design custom ETL pipelines. Next, you'll get to grips with the steps in the ETL process, which involves extracting valuable data; performing transformations, through cleaning, manipulation, and ensuring data integrity; and ultimately loading the processed data into storage systems. You’ll also review several ETL modules in Python, comparing their pros and cons when building data pipelines and leveraging cloud tools, such as AWS, to create scalable data pipelines. Lastly, you’ll learn about the concept of test-driven development for ETL pipelines to ensure safe deployments. By the end of this book, you’ll have worked on several hands-on examples to create high-performance ETL pipelines to develop robust, scalable, and resilient environments using Python.
Tidak tersedia versi lain