Bỏ qua nội dung

Cẩm Nang Kỹ Thuật Dữ Liệu

Mục lục

🔥 Luyện thi Certificate Tất cả bài viết →

01

Kiến Trúc Hệ Thống Phân Tán

Kiến trúc Kappa (Kappa Architecture): Lấy Streaming Làm Cốt Lõi Data Fabric Architecture Vai trò Kỹ sư Dữ liệu (Staff Data Engineer Perspective)Data Pipeline: Thiết kế Hệ thống Phân tán cho Dữ liệu Quy mô Lớn Định lý PACELC: Deep Dive Đồng Thuận Phân Tán: Paxos, Raft và FLP Impossibility Zero-Copy Cloning: Deep Dive Architecture Kỹ Thuật Dữ Liệu Toàn Tập (Data Engineering Architecture) Xem tất cả →

02

Tích Hợp & Thu Thập Dữ Liệu

Incremental Load Data Loading & Lakehouse Architecture Backfill Backpressure: Xử Lý Ngập Lụt Dữ Liệu ELT (Extract, Load, Transform) & Modern Data Stack ETL (Extract, Transform, Load)Data Ingestion: Kiến trúc và Thực tiễn Thu nạp Dữ liệu Log-based CDC Internals Xem tất cả →

03

Storage Engines & Định Dạng

Kiến trúc Cloud Object Storage (Amazon S3) dưới góc nhìn Hệ thống Kiến trúc Kỹ thuật Time Series Databases (InfluxDB, TimescaleDB, ClickHouse)Apache Iceberg - Kiến trúc cốt lõi và Đánh đổi Hệ thống (System Trade-offs)Apache Parquet Internals: Physical Layout, Dremel & Execution Trade-offs Database Indexing & Storage Engines (B-Tree, LSM-Tree, Z-Order)The Streaming Data Lakehouse Troubleshooting: Vấn nạn Small Files & Tối ưu Compaction trong Apache Iceberg Kiến Trúc Lakehouse: Sự Hội Tụ Của Lake & Warehouse Xem tất cả →

04

Compute Engines & Batch

Các loại Join trong Spark: Kiến trúc Vật lý và Đánh đổi Batch Processing Shuffle trong Spark và Kiến trúc Remote Shuffle Service (RSS)Distributed Processing Spark SQL & Catalyst Optimizer Troubleshooting: Xử lý lỗi Out Of Memory (OOM) trong Spark Broadcast Variables, Accumulators & Serialization trong Spark Troubleshooting: Spark Spill to Disk & Unified Memory Tuning Xem tất cả →

05

Xử Lý Luồng & Real-time

Chandy-Lamport & Distributed Checkpointing (Flink)Internals: Tuning RocksDB State Backend Deep Dive: Exactly-Once Semantics (EOS) & Transactional Outbox Pattern Windowing & State Management: Phân nhóm dữ liệu luồng thực chiến Exactly-Once Semantics (EOS)Kafka Topics và Partitions Event Time vs Processing Time Consumer Groups trong Kafka Xem tất cả →

06

Data Modeling & Biến Đổi

dbt (data build tool) - Kiến trúc Transformation dưới góc nhìn Hệ thống Dimension Table dbt Models: Thiết Kế DAG, Đánh Đổi Hệ Thống và Tối Ưu Materializations Corporate Information Factory SQL Transformation & dbt: Kiến trúc ELT, Pipeline DAG và Tối ưu Hiệu năng Surrogate Key Snowflake Schema Dimensional Modeling Xem tất cả →

07

DataOps & Quản Trị Chất Lượng

Celery vs K8s Executor: Kiến trúc và Đánh đổi Hệ thống Airflow Scheduler: Kiến Trúc Phân Tán và Đánh Đổi Hệ Thống Data Profiling dbt Testing Sensors - Kiến trúc Polling & Tác vụ chờ đợi Data Reconciliation trong Pipeline Software-Defined Assets (SDA)Troubleshooting: Airflow Zombie Tasks & Pool Starvation Xem tất cả →

08

Bảo Mật, Quản Trị & FinOps

Danh mục dữ liệu (Data Catalog): Kiến trúc và Trade-offs Tối ưu hóa chi phí (Cost Optimization & FinOps)Data Governance & Data Contracts: Shift-Left, Vending Credentials và PBAC Unity Catalog Data Classification: Kiến trúc Phân loại và Bảo vệ Dữ liệu Nhạy cảm Nhật ký kiểm toán (Audit Logging): Kiến trúc SIEM, SOC 2 và WAP Kiểm soát truy cập - Access Control (RBAC & ABAC)Kiến trúc Hệ thống Data Lineage: OpenLineage, Trade-offs & FinOps Xem tất cả →

09

GenAI & Machine Learning

Few-shot Prompting & In-Context Learning (System Architecture)Chiến Lược Chunking Trong RAG: Đánh Đổi FinOps Và Sự Cố OOM Reranker LLM làm Giám khảo (LLM-as-a-judge) - MLOps Thực Chiến Nucleus Sampling (Top-p)Độ phủ - Recall & Precision trong RAG Vector Embeddings & Toán học Không gian (Vector Space)Phân tách văn bản (Chunking) trong Hệ thống RAG Xem tất cả →

Mới cập nhật

Sinh tự động từ lịch sử chỉnh sửa bài viết.

2026-07-09 Tổng hợp bộ đề thi Certificate Trắc nghiệm

2026-07-11 Beginner Data Engineer (Kỹ sư dữ liệu nhập môn) Lộ trình

2026-07-11 Ngân hàng Phỏng vấn (Interview) Phỏng vấn

2026-07-11 EcomLake: Hệ thống Data Lakehouse cho Thương Mại Điện Tử Dự án

2026-07-12 RDD vs DataFrame vs Dataset: Ba tầng API của Spark Kiến thức