Quay lại bộ đề
Question #155 Topic 1
You are architecting a data transformation solution for BigQuery. Your developers are proficient with SQL and want to use the ELT development technique. In addition, your developers need an intuitive coding environment and the ability to manage SQL as code. You need to identify a solution for your developers to build these pipelines. What should you do?
Bạn đang thiết kế một giải pháp biến đổi dữ liệu cho BigQuery. Các nhà phát triển của bạn thành thạo SQL và muốn sử dụng kỹ thuật phát triển ELT. Ngoài ra, các nhà phát triển của bạn cần một môi trường viết mã trực quan và khả năng quản lý SQL dưới dạng mã nguồn (SQL as code). Bạn cần xác định một giải pháp để các nhà phát triển của bạn xây dựng các pipeline này. Bạn nên làm gì?
A
Use Dataform to build, manage, and schedule SQL pipelines.
Sử dụng Dataform để xây dựng, quản lý và lập lịch các pipeline SQL.
B
Use Dataflow jobs to read data from Pub/Sub, transform the data, and load the data to BigQuery.
Sử dụng các job Dataflow để đọc dữ liệu từ Pub/Sub, biến đổi dữ liệu và tải dữ liệu vào BigQuery.
C
Use Data Fusion to build and execute ETL pipelines.
Sử dụng Data Fusion để xây dựng và thực thi các pipeline ETL.
D
Use Cloud Composer to load data and run SQL pipelines by using the BigQuery job operators.
Sử dụng Cloud Composer để tải dữ liệu và chạy các pipeline SQL bằng cách sử dụng các toán tử job của BigQuery.
Giải thích & Tài liệu tham khảo
Yêu cầu đặt ra là tìm một giải pháp biến đổi dữ liệu trong BigQuery dựa trên mô hình ELT, nơi các nhà phát triển sử dụng SQL là chính, cần quản lý mã nguồn (SQL-as-code), kiểm soát phiên bản và có môi trường làm việc trực quan.
- A. Sử dụng Dataform: Dataform là dịch vụ được thiết kế chuyên biệt cho việc này. Nó cho phép các nhà phát triển viết mã SQL (sử dụng ngôn ngữ SQLX mở rộng của Dataform), quản lý cấu trúc bảng, kiểm thử chất lượng dữ liệu, liên kết các phụ thuộc (dependency) giữa các bảng/view và tích hợp trực tiếp với Git để quản lý phiên bản mã nguồn. Dataform hoạt động trực tiếp trong BigQuery dưới dạng ELT (Extract-Load-Transform), chạy các câu lệnh biến đổi dữ liệu tận dụng tài nguyên tính toán của BigQuery. Đây là sự lựa chọn hoàn hảo.
- B. Sử dụng Dataflow: Dataflow sử dụng Apache Beam SDK, yêu cầu viết mã bằng Java/Python/Go. Đây là mô hình ETL truyền thống, không tận dụng thế mạnh thuần SQL của các nhà phát triển và khó quản lý theo kiểu SQL-as-code cho BigQuery.
- C. Sử dụng Data Fusion: Cloud Data Fusion là một công cụ kéo thả trực quan (no-code/low-code) cho các quy trình ETL. Nó không hướng tới việc viết và quản lý SQL trực tiếp dưới dạng mã nguồn (SQL-as-code).
- D. Sử dụng Cloud Composer: Cloud Composer (Apache Airflow) là một công cụ điều phối (orchestration) công việc, không phải là môi trường phát triển code để viết, quản lý phụ thuộc và kiểm thử SQL pipelines một cách trực quan.
(Đáp án được gợi ý bởi AI)