Cẩm Nang Kỹ Thuật Dữ Liệu
1. Kiến Trúc Hệ Thống Phân Tán
Byzantine Fault Tolerance (BFT) & Silent Data CorruptionĐịnh lý CAP & PACELC: Đánh Đổi Kiến Trúc Phân TánĐồng Thuận Phân Tán: Paxos, Raft và FLP ImpossibilityVai trò Kỹ sư Dữ liệu (Staff Data Engineer Perspective)Kỹ Thuật Dữ Liệu Toàn Tập (Data Engineering Architecture)Data Fabric ArchitectureData Lifecycle Management (DLM): Kiến Trúc Vòng Đời Dữ LiệuData Mesh: Kiến trúc phi tập trungData Pipeline: Thiết kế Hệ thống Phân tán cho Dữ liệu Quy mô LớnData Platform ArchitectureKiến trúc Data Warehouse Chuyên Sâu: MPP, Columnar, và Thực thi Truy vấnEvent-Driven Architecture: Kafka, Dead Letter Queues, và Transactional OutboxOffline SkewĐịnh dạng Dữ liệu Data Lake: Parquet, ORC, Avro internalsInternals: Gossip Protocol & Vector ClocksGossip Protocol (Epidemic Protocol)Kiến trúc Kappa (Kappa Architecture): Lấy Streaming Làm Cốt LõiLambda & Kappa ArchitecturesBầu chọn Leader (Leader Election)Modern Data Stack (MDS): Phân mảnh, ELT và Quản trị Chi PhíĐịnh lý PACELC: Deep DiveoffsKiến trúc hệ thống dữ liệu Thời gian thực (Real-time Architecture)Staff Engineer Deep DiveHệ thống Nguồn - Source Systems (Deep Dive)Tách biệt Storage và Compute (Storage-Compute Decoupling)Zero-Copy Cloning: Deep Dive Architecture
2. Tích Hợp & Thu Thập Dữ Liệu
BackfillBackpressure: Xử Lý Ngập Lụt Dữ LiệuChange Data Capture (CDC)Data Extraction & CDCData Ingestion: Kiến trúc và Thực tiễn Thu nạp Dữ liệuData Loading & Lakehouse ArchitectureData TransformationDeduplicationELT (Extract, Load, Transform) & Modern Data StackETL (Extract, Transform, Load)IdempotencyIncremental Loadbased CDC InternalsWebhooks & Tính luỹ đẳng (Idempotency)
3. Storage Engines & Định Dạng
offsAmazon RedshiftThe Streaming Data LakehouseApache Iceberg - Kiến trúc cốt lõi và Đánh đổi Hệ thống (System Trade-offs)offsTreeTreesKiến trúc Cloud Object Storage (Amazon S3) dưới góc nhìn Hệ thốngPhân cụm Dữ liệu (Clustering) - Kiến trúc Vật lý & Đánh đổi Hệ thốngLưu trữ dạng Cột - Columnar Storage & ParquetCompactionoffsData LakeDatabricks Platform: System Architecture & Execution EnginesDelta Lake - Bảng dữ liệu giao dịch mở (Open Table Format)Internals: Optimistic Concurrency Control (OCC) trong Delta LakeDatabricks Under The Hood: Kiến trúc Vật lý của OPTIMIZE, VACUUM & Liquid ClusteringDeep DiveGoogle BigQuery - Phân Tích Kiến Trúc Máy Chủ Ảo (Serverless Data Warehouse)Troubleshooting: Vấn nạn Small Files & Tối ưu Compaction trong Apache IcebergIceberg: Snapshot Isolation & WAP PatternDatabase Indexing & Storage Engines (B-Tree, LSM-Tree, Z-Order)Kiến Trúc Lakehouse: Sự Hội Tụ Của Lake & WarehouseOrderKiến trúc Medallion - Thực thi Vật lý và Đánh đổi Hệ thốngKiến trúc OLAP (Online Analytical Processing) Chuyên SâuoffsKiến trúc Hệ thống OLTP: B-Tree, WAL, MVCC và TroubleshootingoffsPhân vùng Dữ liệu (Partitioning) - Từ Hive-style đến Liquid ClusteringSchema Evolution & CompatibilityServerless Data ProcessingDataTable Format (Định dạng Bảng)Kiến trúc Kỹ thuật Time Series Databases (InfluxDB, TimescaleDB, ClickHouse)Time Travel & MVCC: Đánh Đổi Giữa I/O Và Lịch Sử Dữ LiệuOperational: Vacuum, MVCC & Quản lý Data BloatCơ sở dữ liệu Vector (Vector Database)Vector Database: Kiến Trúc HNSW, IVF-PQ và Metadata FilteringZ-Order Deep Dive: Cấu Trúc Đa Chiều & Bài Toán Data Skipping
4. Compute Engines & Batch
Apache SparkBatch ProcessingLệch dữ liệu (Data Skew)Distributed Joins MechanismsDistributed ProcessingKiến trúc MPP & DremelShuffle trong Spark và Kiến trúc Remote Shuffle Service (RSS)Deep Dive: Adaptive Query Execution (AQE)Catalyst OptimizerTroubleshooting: Chữa Data Skew bằng kỹ thuật SaltingSpark Execution ModelJobs, Stages, và Tasks trong SparkCác loại Join trong Spark: Kiến trúc Vật lý và Đánh đổiSpark PartitionTroubleshooting: Spark Spill to Disk & Unified Memory TuningSpark SQL & Catalyst OptimizerSpark Tungsten EngineTroubleshooting: Xử lý lỗi Out Of Memory (OOM) trong Spark
5. Xử Lý Luồng & Real-time
Apache KafkaChandy-Lamport & Distributed Checkpointing (Flink)Consumer Groups trong KafkaEvent Time vs Processing TimeExactly-Once Semantics (EOS)Kiến trúc Thực thi: Xử lý Backpressure trong Apache FlinkInternals: Tuning RocksDB State BackendDeep Dive: Watermarks & Late Data HandlingTroubleshooting: Kafka Consumer Lag & Rebalance StormsDeep Dive: Exactly-Once Semantics (EOS) & Transactional Outbox PatternKafka Topics và PartitionsStream-Table Duality: Nguyên lý Lưỡng tính Dòng - BảngXử lý Thời gian thực (Streaming Processing)Watermark - Cỗ Máy Thời Gian Của Streaming EngineWindowing & State Management: Phân nhóm dữ liệu luồng thực chiếncopy Principle trong Apache Kafka
6. Data Modeling & Biến Đổi
Data ContractMô hình Data Vault 2.0dbt Models: Thiết Kế DAG, Đánh Đổi Hệ Thống và Tối Ưu Materializationsdbt (data build tool) - Kiến trúc Transformation dưới góc nhìn Hệ thốngDimension TableDimensional ModelingBảng Sự kiện (Fact Table): Thiết kế Kỹ thuật số lượng lớnGrain (Độ mịn dữ liệu): Quyết Định Cốt Lõi Trong Dimensional ModelingCorporate Information FactoryKimball Methodology: Dimensional Modeling trong Kỷ nguyên Modern Data StackMaterializationLớp ngữ nghĩa chỉ số - Metrics Layer / Semantic LayerOne Big Table (OBT)offsSnowflake SchemaSQL Transformation & dbt: Kiến trúc ELT, Pipeline DAG và Tối ưu Hiệu năngLược đồ Hình sao (Star Schema)Surrogate Key
7. DataOps & Quản Trị Chất Lượng
Celery vs K8s Executor: Kiến trúc và Đánh đổi Hệ thốngAirflow Scheduler: Kiến Trúc Phân Tán và Đánh Đổi Hệ ThốngTroubleshooting: Airflow Zombie Tasks & Pool StarvationmortemAnomaly DetectionApache Airflow - Kiến trúc Hệ thống & Đánh đổi (System Architecture & Trade-offs)Blue-Green Deployment cho Data & WAP PatternCircuit Breakers & WAP Pattern trong Data PipelinesDAG: Xương Sống Kiến Trúc Của Data Orchestration & ExecutionData Observability: Giám sát Hệ thống và Quản trị Data DowntimeData ProfilingData Quality DimensionsKiến trúc Chất lượng Dữ liệu (Data Quality): Shift-Left, Contracts & ObservabilityData Reconciliation trong PipelineKiểm thử chất lượng và Mạch dừng dữ liệu (Data Testing & Circuit Breaker)DataOps & Data Quality: Kiến trúc, Vận hành và Đánh đổi hệ thốngdbt TestingTrôi dạt phân phối - Distribution Drift (Data Drift)Kiến trúc Giám sát Độ trễ Dữ liệu (Freshness Monitoring)Data Orchestration & DataOps: Điều phối và Chất lượng Dữ liệuRetries, Jitter và SLA: Xây dựng Data Pipeline Tự Phục HồiPhân tích nguyên nhân gốc rễ - Root Cause Analysis (RCA)Schema Drift & Evolution: Kiến trúc chịu lỗi cấu trúc dữ liệuSensors - Kiến trúc Polling & Tác vụ chờ đợiSoftware-Defined Assets (SDA)Task Dependency - Quản lý sự phụ thuộc tác vụData Observability: Phát hiện bất thường khối lượng (Volume Anomalies)
8. Bảo Mật, Quản Trị & FinOps
Kiểm soát truy cập - Access Control (RBAC & ABAC)Nhật ký kiểm toán (Audit Logging): Thiết kế kiến trúc SOC 2 và SIEMTối ưu hóa chi phí (Cost Optimization & FinOps)offsData Classification: Kiến trúc Phân loại và Bảo vệ Dữ liệu Nhạy cảmData Governance & Data ContractsKiến trúc Hệ thống Data Lineage: OpenLineage, Trade-offs & FinOpsData Masking & Encryption: Physical Execution & FinOpsQuyền sở hữu dữ liệu (Data Ownership) & Data MeshFinOps trong Data EngineeringMetadata Management & Data CatalogUnity Catalog
9. GenAI & Machine Learning
Tác nhân AI (AI Agent)Chiến Lược Chunking Trong RAG: Đánh Đổi FinOps Và Sự Cố OOMPhân tách văn bản (Chunking) trong Hệ thống RAGContext WindowKiến Trúc Embedding Models: Two-Tower, MRL và Contrastive LearningEmbedding ModelsVector Embeddings & Toán học Không gian (Vector Space)Chỉ số đánh giá - Evaluation Metric & RAG TriadSystem Design Few-shot Prompting: Prompt Caching và FinOpsFew-shot Prompting & In-Context Learning (System Architecture)LLM Fine-tuning: ZeRO, FSDP, LoRA và Các Rủi Ro Vận HànhẢo giác LLM (Hallucination) & Cơ chế Mitigation trong ProductionTìm kiếm kết hợp (Hybrid Search)LLM làm Giám khảo (LLM-as-a-judge) - MLOps Thực ChiếnMô hình Ngôn ngữ Lớn (LLM) & Kiến trúc Suy luận (Inference Architecture)LoRA ServingKiến trúc hệ thống MLflow: Tracking, Model Registry và Rủi ro vận hànhPhục vụ mô hình (Model Serving) & Kiến trúc GPU InferenceNormalized Discounted Cumulative Gain - NDCG & RAG EvaluationTenant ServingKỹ nghệ Gợi ý - Prompt Engineering trong Hệ thống Thực chiếnKiến trúc RAG Thực Chiến: Từ Naive RAG đến Advanced RAGĐộ phủ - Recall & Precision trong RAGRerankerKiến Trúc Reranking: Cross-Encoder, RRF và FinOps RAGHọc Tăng Cường Từ Phản Hồi Của Con Người (RLHF & DPO)TreeTìm kiếm ngữ nghĩa (Semantic Search & Vector DB)Kiến trúc Gợi ý hệ thống (System Prompt Architecture)Nhiệt độ (Temperature) trong LLMToken - Đơn vị Xử lý Cơ bản & Tối ưu Chi phí LLMNucleus Sampling (Top-p)Zero-shot Prompting: Kiến Trúc Ứng Dụng và Hạn Chế Trí Nhớ Tham Số
Lộ Trình Cốt Lõi
Tất cả bài viết
Lãnh Đạo & Văn Hóa
Làm Data Engineer ở Big Tech vs Công ty truyền thống vs StartupBoring Data Engineering: Tại sao SQL và Cronjob vẫn "gánh" 90% doanh nghiệp?Tố chất và Tư duy cốt lõi của Data EngineerOn-call Survival Guide & Incident Management: Kiến Trúc, Quy Trình và Văn Hóa SRE / Data EngineeringVăn hóa viết Post-mortems (Không đổ lỗi): Hệ thống, Quy trình và Data EngineeringCách chứng minh ROI và Business Value của Data Pipeline: Từ Cost Center đến Value EnablerNghệ thuật viết Design Doc (RFC / Tech Spec)
Dự Án Data Engineering (E2E)
EcomLake: Hệ thống Data Lakehouse cho Thương Mại Điện TửFabric Metadata-Driven Framework (FMD): Tự Động Hóa Pipeline Trong Microsoft FabricEnd-To-End Data Engineering: Kafka, Spark, Airflow, Postgres & DockerMovie Analytics Pipeline: Data Stack Hoàn Toàn Local Với DuckDB, dbt, AirflowHướng Dẫn Dự Án Data Engineering End-to-End: Reddit API, Airflow & Amazon RedshiftShowPulse: End-to-End Data Pipeline với Ticketmaster, Kafka, Snowflake & dbtSnowflake Pipeline: Hệ thống Xử lý Dữ liệu Tài chínhModern Data Engineering: Building a Data Lakehouse with Apache SparkStreamify: Real-time Data Pipeline với Kafka, Spark và GCP
Thiết Kế Hệ Thống
Case Study: System Design & Data Engineering của Hệ thống Dynamic Pricing tại AirbnbData Mesh vs Data Fabric: Cuộc Cách Mạng Về Thiết Kế Hệ Thống Dữ LiệuDesign Pattern: Distributed Caching (Chiến Lược Cache Phân Tán)Thiết kế Kiến trúc tối ưu chi phí (FinOps) chuyên sâu cho Data PlatformDesign Pattern: Idempotency trong Data PipelinesKiến trúc Hệ thống: Chuyên sâu về Lambda, Kappa Architecture và Sự tiến hóa đến Data LakehouseModern Data Stack vs Post-Modern Data Stack: Sự Chuyển Dịch Kiến Trúc Dữ Liệu Chuyên SâuCase Study: Kiến trúc Recommendation tại NetflixDesign Pattern: Rate Limiting cho Data APIs - System Design Chuyên SâuCase Study: Kiến trúc Log Analytics tại Uber