Để tối ưu hóa chi phí cho một công việc phân tích định kỳ hàng tuần chạy trên Dataproc:

• B. Sử dụng máy ảo pre-emptible (Spot VMs) cho các nút worker:
• Spot VMs (hoặc Preemptible VMs trước đây) có chi phí rẻ hơn tới 60-80% so với máy ảo thông thường (on-demand VMs).
• Vì công việc Spark này chạy định kỳ hàng tuần, kéo dài khoảng 30 phút và dữ liệu đầu vào/đầu ra được lưu trữ độc lập trên Cloud Storage/BigQuery, nên việc một vài nút worker bị thu hồi (preempted) giữa chừng không làm mất dữ liệu gốc. Spark có cơ chế tự phục hồi, tự động chạy lại các task bị lỗi trên các node khác mà không cần dừng toàn bộ job.
• Do đó, sử dụng Spot VMs làm các nút worker trong cụm Dataproc là giải pháp tối ưu hóa chi phí tốt nhất và an toàn nhất cho loại tải xử lý theo lô (batch job) ngắn hạn này.

Các lựa chọn khác không phù hợp:

• A: Việc chuyển sang Cloud Dataflow đòi hỏi lập trình viên phải viết lại mã nguồn Spark hiện có sang Apache Beam, gây tốn thời gian và chi phí phát triển.
• C & D: Việc tăng cấu hình bộ nhớ hoặc dùng ổ SSD có thể làm tăng tốc độ chạy của công việc, nhưng chi phí của các tài nguyên phần cứng cao cấp này thường lớn hơn nhiều so với việc sử dụng Spot VMs, và không đảm bảo sẽ mang lại hiệu quả chi phí tối ưu hơn cho một job ngắn chỉ 30 phút.

(Đáp án được gợi ý bởi AI)