Khi một hệ thống yêu cầu quản lý luồng công việc phức tạp (workflow orchestration) với nhiều bước phụ thuộc lẫn nhau (interdependent steps), có cơ chế tự động thử lại (retry) khi lỗi, chạy các tác vụ hỗn hợp (shell scripts, Hadoop, BigQuery) và hoạt động trong thời gian dài (từ vài phút đến vài giờ), Cloud Composer là lựa chọn lý tưởng.
- D. Cloud Composer: Đây là dịch vụ quản lý workflow được xây dựng trên nền tảng Apache Airflow. Nó cho phép bạn lập trình, lên lịch và giám sát các luồng công việc dưới dạng các Đồ thị có hướng không chu trình (DAGs). Airflow hỗ trợ mạnh mẽ việc định nghĩa thứ tự thực thi, cấu hình số lần thử lại cho từng tác vụ và tích hợp sẵn các Operator để tương tác với Dataproc (Hadoop), BigQuery, Cloud Storage và shell script.
Các lựa chọn khác không phù hợp:
- A. Cloud Scheduler: Chỉ là một dịch vụ cron-job được quản lý hoàn toàn để kích hoạt các tác vụ đơn giản (như gọi HTTP endpoint hoặc gửi thông điệp Pub/Sub). Nó không có khả năng quản lý các phụ thuộc phức tạp, trạng thái và logic thử lại của một chuỗi công việc dài.
- B. Cloud Dataflow: Là dịch vụ xử lý dữ liệu (ETL/data processing), không phải là công cụ điều phối (orchestration) quản lý các tác vụ bên ngoài như chạy shell script hay gọi Hadoop.
- C. Cloud Functions: Là dịch vụ serverless phù hợp cho các tác vụ ngắn hạn, phản hồi nhanh (tối đa chạy 60 phút) chứ không phù hợp cho các tác vụ kéo dài nhiều giờ và có nhiều bước phụ thuộc phức tạp.
(Đáp án được gợi ý bởi AI)