Quay lại bộ đề
Question #143 Topic 1
You are building an ELT solution in BigQuery by using Dataform. You need to perform uniqueness and null value checks on your final tables. What should you do to efficiently integrate these checks into your pipeline?
Bạn đang xây dựng một giải pháp ELT trong BigQuery bằng cách sử dụng Dataform. Bạn cần thực hiện kiểm tra tính duy nhất (uniqueness) và kiểm tra giá trị null trên các bảng cuối cùng của mình. Bạn nên làm gì để tích hợp hiệu quả các kiểm tra này vào đường dẫn (pipeline) của mình?
A
Build BigQuery user-defined functions (UDFs).
Xây dựng các hàm do người dùng định nghĩa (UDFs) trong BigQuery.
B
Create Dataplex data quality tasks.
Tạo các tác vụ kiểm tra chất lượng dữ liệu trong Dataplex.
C
Build Dataform assertions into your code.
Xây dựng các câu lệnh khẳng định (assertions) của Dataform vào trong mã của bạn.
D
Write a Spark-based stored procedure.
Viết một thủ tục lưu trữ (stored procedure) dựa trên Spark.
Giải thích & Tài liệu tham khảo
Để thực hiện các kiểm tra chất lượng dữ liệu như tính duy nhất và giá trị null trực tiếp trong pipeline ELT viết bằng Dataform:
- C là đúng: Dataform hỗ trợ một tính năng tích hợp sẵn được gọi là assertions (khẳng định). Một assertion là một truy vấn SQL kiểm tra tính toàn vẹn của dữ liệu (như đảm bảo một cột không chứa giá trị NULL hoặc chứa các giá trị duy nhất). Dataform tự động thực thi các kiểm tra này trong quá trình chạy pipeline và thông báo cho bạn nếu có lỗi xảy ra.
- A là sai: UDFs của BigQuery được dùng để thực hiện các tính toán tùy chỉnh trên dữ liệu dòng, không phải là cơ chế lý tưởng để quản lý kiểm tra chất lượng dữ liệu có cấu trúc trong Dataform.
- B là sai: Dataplex cung cấp kiểm tra chất lượng dữ liệu nhưng nó hoạt động ở lớp quản trị bên ngoài và độc lập, khó tích hợp trực tiếp, nhanh chóng và mượt mà vào trong mã nguồn của dự án Dataform.
- D là sai: Spark stored procedure tăng độ phức tạp của hệ thống không cần thiết vì toàn bộ giải pháp của bạn đang chạy trực tiếp trên BigQuery thông qua Dataform SQL.
(Đáp án được gợi ý bởi AI)