Quay lại bộ đề
Question #280 Topic 1
You have several Spark jobs that run on a Cloud Dataproc cluster on a schedule. Some of the jobs run in sequence, and some of the jobs run concurrently. You need to automate this process. What should you do?
Bạn có một số job Spark chạy trên cụm Cloud Dataproc theo một lịch trình. Một số job chạy tuần tự, và một số job chạy đồng thời. Bạn cần tự động hóa quy trình này. Bạn nên làm gì?
A
Create a Cloud Dataproc Workflow Template
Tạo một Cloud Dataproc Workflow Template.
B
Create an initialization action to execute the jobs
Tạo một initialization action để thực thi các job.
C
Create a Directed Acyclic Graph in Cloud Composer
Tạo một Đồ thị có hướng không chu trình (DAG) trong Cloud Composer.
D
Create a Bash script that uses the Cloud SDK to create a cluster, execute jobs, and then tear down the cluster
Tạo một Bash script sử dụng Cloud SDK để tạo cụm, thực thi các job và sau đó hủy cụm.
Giải thích & Tài liệu tham khảo
Để tự động hóa và điều phối (orchestrate) một chuỗi các công việc Spark trên Cloud Dataproc, trong đó có cả công việc chạy tuần tự và chạy song song:
- C (Tạo một DAG trong Cloud Composer) là giải pháp toàn diện và chuyên nghiệp nhất. Cloud Composer (dựa trên Apache Airflow) cho phép định nghĩa các mối quan hệ phụ thuộc phức tạp, điều hành các tác vụ chạy tuần tự hoặc song song một cách trực quan, quản lý lỗi, tự động thử lại (retry) và giám sát trạng thái chi tiết.
- A sai: Mặc dù Dataproc Workflow Templates có thể quản lý luồng công việc đơn giản, nó không cung cấp khả năng điều phối mạnh mẽ, linh hoạt và mở rộng sang các hệ thống khác như Cloud Composer.
- B sai: Initialization actions được sử dụng để cài đặt phần mềm hoặc cấu hình môi trường khi khởi tạo cụm Dataproc, không dùng để quản lý lập lịch chạy các job phân tích dữ liệu.
- D sai: Bash script sử dụng Cloud SDK viết thủ công rất khó quản lý, dễ xảy ra lỗi và không có cơ chế quản lý trạng thái, tự động khôi phục hay giám sát trực quan.
(Đáp án được gợi ý bởi AI)