Bỏ qua nội dung
Sổ tay Kỹ thuật Dữ liệu

Tất cả bài viết

1. Kiến Trúc Hệ Thống Phân Tán

27 bài viết
Byzantine Fault Tolerance (BFT) & Silent Data Corruption Định lý CAP & PACELC: Đánh Đổi Kiến Trúc Phân Tán Đồng Thuận Phân Tán: Paxos, Raft và FLP Impossibility Vai trò Kỹ sư Dữ liệu (Staff Data Engineer Perspective) Kỹ Thuật Dữ Liệu Toàn Tập (Data Engineering Architecture) Data Fabric Architecture Data Lifecycle Management (DLM): Kiến Trúc Vòng Đời Dữ Liệu Data Mesh: Kiến trúc phi tập trung Data Pipeline: Thiết kế Hệ thống Phân tán cho Dữ liệu Quy mô Lớn Kiến trúc Nền tảng Dữ liệu - Data Platform Architecture Kiến trúc Data Warehouse Chuyên Sâu: MPP, Columnar, và Thực thi Truy vấn Event-Driven Architecture: Kafka, Dead Letter Queues, và Transactional Outbox Feature Store: Engineering cho MLOps và Online-Offline Skew Định dạng Dữ liệu Data Lake: Parquet, ORC, Avro internals Internals: Gossip Protocol & Vector Clocks Gossip Protocol (Epidemic Protocol) Kiến trúc Kappa (Kappa Architecture): Lấy Streaming Làm Cốt Lõi Lambda & Kappa Architectures Bầu chọn Leader (Leader Election) Modern Data Stack (MDS): Phân mảnh, ELT và Quản trị Chi Phí Định lý PACELC: Deep Dive Push vs Pull Architecture: System Design Trade-offs Kiến trúc hệ thống dữ liệu Thời gian thực (Real-time Architecture) Relational Database (RDBMS) - Staff Engineer Deep Dive Hệ thống Nguồn - Source Systems (Deep Dive) Tách biệt Storage và Compute (Storage-Compute Decoupling) Zero-Copy Cloning: Deep Dive Architecture

3. Storage Engines & Định Dạng

41 bài viết
ACID Transactions trên Data Lake: Kiến trúc MVCC, OCC & Trade-offs Amazon Redshift Apache Hudi - The Streaming Data Lakehouse Apache Iceberg - Kiến trúc cốt lõi và Đánh đổi Hệ thống (System Trade-offs) Azure Synapse Analytics: Kiến trúc MPP, Polaris Engine & Trade-offs B-Tree vs LSM-Tree Internals: Bloom Filters, SSTables & LSM-Trees Kiến trúc Cloud Object Storage (Amazon S3) dưới góc nhìn Hệ thống Phân cụm Dữ liệu (Clustering) - Kiến trúc Vật lý & Đánh đổi Hệ thống Lưu trữ dạng Cột - Columnar Storage & Parquet Compaction Thuật toán nén dữ liệu - Compression Algorithms & Trade-offs Hồ dữ liệu - Data Lake Databricks Platform: System Architecture & Execution Engines Delta Lake - Bảng dữ liệu giao dịch mở (Open Table Format) Internals: Optimistic Concurrency Control (OCC) trong Delta Lake Databricks Under The Hood: Kiến trúc Vật lý của OPTIMIZE, VACUUM & Liquid Clustering Lưu Trữ Dữ Liệu: Parquet, ORC, Avro - Deep Dive Google BigQuery - Phân Tích Kiến Trúc Máy Chủ Ảo (Serverless Data Warehouse) Troubleshooting: Vấn nạn Small Files & Tối ưu Compaction trong Apache Iceberg Iceberg: Snapshot Isolation & WAP Pattern Database Indexing & Storage Engines (B-Tree, LSM-Tree, Z-Order) Kiến Trúc Lakehouse: Sự Hội Tụ Của Lake & Warehouse Liquid Clustering: Kẻ Hủy Diệt Partitioning & Z-Order Kiến trúc Medallion - Thực thi Vật lý và Đánh đổi Hệ thống Kiến trúc OLAP (Online Analytical Processing) Chuyên Sâu OLTP vs OLAP: Phân Tích Kiến Trúc Vật Lý & Trade-offs Kiến trúc Hệ thống OLTP: B-Tree, WAL, MVCC và Troubleshooting Apache Parquet Internals: Physical Layout, Dremel & Execution Trade-offs Phân vùng Dữ liệu (Partitioning) - Từ Hive-style đến Liquid Clustering Lưu trữ dạng Dòng - Row-based Storage & B-Tree vs LSM-Tree Schema Evolution & Compatibility Xử lý Dữ liệu Không Máy Chủ - Serverless Data Processing Snowflake: Kiến trúc Multi-Cluster Shared-Data Table Format (Định dạng Bảng) Kiến trúc Kỹ thuật Time Series Databases (InfluxDB, TimescaleDB, ClickHouse) Time Travel & MVCC: Đánh Đổi Giữa I/O Và Lịch Sử Dữ Liệu Operational: Vacuum, MVCC & Quản lý Data Bloat Cơ sở dữ liệu Vector (Vector Database) Vector Database: Kiến Trúc HNSW, IVF-PQ và Metadata Filtering Z-Order Deep Dive: Cấu Trúc Đa Chiều & Bài Toán Data Skipping

7. DataOps & Quản Trị Chất Lượng

27 bài viết
Celery vs K8s Executor: Kiến trúc và Đánh đổi Hệ thống Airflow Scheduler: Kiến Trúc Phân Tán và Đánh Đổi Hệ Thống Troubleshooting: Airflow Zombie Tasks & Pool Starvation Alerting & Incident Response: Từ Cảnh báo đến Post-mortem Phát hiện bất thường - Anomaly Detection Apache Airflow - Kiến trúc Hệ thống & Đánh đổi (System Architecture & Trade-offs) Blue-Green Deployment cho Data & WAP Pattern Circuit Breakers & WAP Pattern trong Data Pipelines DAG: Xương Sống Kiến Trúc Của Data Orchestration & Execution Data Observability: Giám sát Hệ thống và Quản trị Data Downtime Lập hồ sơ dữ liệu - Data Profiling Các chiều chất lượng dữ liệu - Data Quality Dimensions Kiến trúc Chất lượng Dữ liệu (Data Quality): Shift-Left, Contracts & Observability Đối soát dữ liệu - Data Reconciliation trong Pipeline Kiểm thử chất lượng và Mạch dừng dữ liệu (Data Testing & Circuit Breaker) DataOps & Data Quality: Kiến trúc, Vận hành và Đánh đổi hệ thống Kiểm thử tự động - dbt Testing Trôi dạt phân phối - Distribution Drift (Data Drift) Kiến trúc Giám sát Độ trễ Dữ liệu (Freshness Monitoring) Data Orchestration & DataOps: Điều phối và Chất lượng Dữ liệu Retries, Jitter và SLA: Xây dựng Data Pipeline Tự Phục Hồi Phân tích nguyên nhân gốc rễ - Root Cause Analysis (RCA) Schema Drift & Evolution: Kiến trúc chịu lỗi cấu trúc dữ liệu Sensors - Kiến trúc Polling & Tác vụ chờ đợi Software-Defined Assets (SDA) Task Dependency - Quản lý sự phụ thuộc tác vụ Data Observability: Phát hiện bất thường khối lượng (Volume Anomalies)

9. GenAI & Machine Learning

32 bài viết
Tác nhân AI (AI Agent) Chiến Lược Chunking Trong RAG: Đánh Đổi FinOps Và Sự Cố OOM Phân tách văn bản (Chunking) trong Hệ thống RAG Cửa sổ ngữ cảnh - Context Window Kiến Trúc Embedding Models: Two-Tower, MRL và Contrastive Learning Các mô hình nhúng - Embedding Models Vector Embeddings & Toán học Không gian (Vector Space) Chỉ số đánh giá - Evaluation Metric & RAG Triad System Design Few-shot Prompting: Prompt Caching và FinOps Few-shot Prompting & In-Context Learning (System Architecture) LLM Fine-tuning: ZeRO, FSDP, LoRA và Các Rủi Ro Vận Hành Ảo giác LLM (Hallucination) & Cơ chế Mitigation trong Production Tìm kiếm kết hợp (Hybrid Search) LLM làm Giám khảo (LLM-as-a-judge) - MLOps Thực Chiến Mô hình Ngôn ngữ Lớn (LLM) & Kiến trúc Suy luận (Inference Architecture) Low-Rank Adaptation (LoRA) - Tối Ưu LLMs & Multi-LoRA Serving Kiến trúc hệ thống MLflow: Tracking, Model Registry và Rủi ro vận hành Phục vụ mô hình (Model Serving) & Kiến trúc GPU Inference Normalized Discounted Cumulative Gain - NDCG & RAG Evaluation Kiến trúc PEFT & LoRA: Tối Ưu Hóa VRAM và Multi-Tenant Serving Kỹ nghệ Gợi ý - Prompt Engineering trong Hệ thống Thực chiến Kiến trúc RAG Thực Chiến: Từ Naive RAG đến Advanced RAG Độ phủ - Recall & Precision trong RAG Mô hình tái sắp xếp - Reranker Kiến Trúc Reranking: Cross-Encoder, RRF và FinOps RAG Học Tăng Cường Từ Phản Hồi Của Con Người (RLHF & DPO) Tìm kiếm ngữ nghĩa (Semantic Search & Vector DB) Kiến trúc Gợi ý hệ thống (System Prompt Architecture) Nhiệt độ (Temperature) trong LLM Token - Đơn vị Xử lý Cơ bản & Tối ưu Chi phí LLM Nucleus Sampling (Top-p) Zero-shot Prompting: Kiến Trúc Ứng Dụng và Hạn Chế Trí Nhớ Tham Số

Tất cả bài viết

1 bài viết
Tất cả bài viết

Tất cả bài viết

1 bài viết
Dự án thực chiến