Dự án thực chiến
20 dự án thực chiến để áp dụng các khái niệm trong cẩm nang vào hệ thống chạy được.
Dự án end-to-end (9)
Pipeline hoàn chỉnh: thu nạp, xử lý, lưu trữ, trực quan hóa.
- EcomLake: Hệ thống Data Lakehouse cho Thương Mại Điện Tử
- End-To-End Data Engineering: Kafka, Spark, Airflow, Postgres & Docker
- Fabric Metadata-Driven Framework (FMD): Tự Động Hóa Pipeline Trong Microsoft Fabric
- Hướng Dẫn Dự Án Data Engineering End-to-End: Reddit API, Airflow & Amazon Redshift
- Movie Analytics Pipeline: Data Stack Hoàn Toàn Local Với DuckDB, dbt, Airflow
- ShowPulse: End-to-End Data Pipeline với Ticketmaster, Kafka, Snowflake & dbt
- Snowflake Pipeline: Hệ thống Xử lý Dữ liệu Tài chính
- Streamify: Real-time Data Pipeline với Kafka, Spark và GCP
- Xây dựng Data Lakehouse với Apache Spark, MinIO & Airflow
Thiết kế hệ thống (10)
Phân tích kiến trúc và trade-off cho các bài toán dữ liệu.
- Case Study: Kiến trúc Log Analytics tại Uber
- Case Study: Kiến trúc Recommendation tại Netflix
- Case Study: System Design & Data Engineering của Hệ thống Dynamic Pricing tại Airbnb
- Data Mesh vs Data Fabric: Cuộc Cách Mạng Về Thiết Kế Hệ Thống Dữ Liệu
- Design Pattern: Distributed Caching (Chiến Lược Cache Phân Tán)
- Design Pattern: Idempotency trong Data Pipelines
- Design Pattern: Rate Limiting cho Data APIs - System Design Chuyên Sâu
- Kiến trúc Hệ thống: Chuyên sâu về Lambda, Kappa Architecture và Sự tiến hóa đến Data Lakehouse
- Modern Data Stack vs Post-Modern Data Stack: Sự Chuyển Dịch Kiến Trúc Dữ Liệu Chuyên Sâu
- Thiết kế Kiến trúc tối ưu chi phí (FinOps) chuyên sâu cho Data Platform