Quay lại bộ đề
Question #171 Topic 1
Your company operates in three domains: airlines, hotels, and ride-hailing services. Each domain has two teams: analytics and data science, which create data assets in BigQuery with the help of a central data platform team. However, as each domain is evolving rapidly, the central data platform team is becoming a bottleneck. This is causing delays in deriving insights from data, and resulting in stale data when pipelines are not kept up to date. You need to design a data mesh architecture by using Dataplex to eliminate the bottleneck. What should you do?
Công ty của bạn hoạt động trong ba lĩnh vực (domains): hàng không (airlines), khách sạn (hotels) và dịch vụ gọi xe (ride-hailing). Mỗi lĩnh vực có hai nhóm: phân tích (analytics) và khoa học dữ liệu (data science), họ tạo ra các tài sản dữ liệu trong BigQuery với sự trợ giúp của nhóm nền tảng dữ liệu trung tâm (central data platform team). Tuy nhiên, vì mỗi lĩnh vực phát triển nhanh chóng, nhóm nền tảng dữ liệu trung tâm đang trở thành nút thắt cổ chai. Điều này gây ra sự chậm trễ trong việc rút ra thông tin chi tiết từ dữ liệu và dẫn đến dữ liệu cũ/lỗi thời khi các pipeline không được cập nhật kịp thời. Bạn cần thiết kế kiến trúc data mesh bằng cách sử dụng Dataplex để loại bỏ nút thắt cổ chai này. Bạn nên làm gì?
A
1. Create one lake for each team. Inside each lake, create one zone for each domain.2. Attach each of the BigQuery datasets created by the individual teams as assets to the respective zone.3. Have the central data platform team manage all zones’ data assets.
1. Tạo một lake cho mỗi nhóm (team). Bên trong mỗi lake, tạo một zone cho mỗi domain.
2. Gắn từng dataset BigQuery do các nhóm riêng lẻ tạo ra làm asset vào zone tương ứng.
3. Để nhóm nền tảng dữ liệu trung tâm quản lý tất cả các asset dữ liệu của zone.
B
1. Create one lake for each team. Inside each lake, create one zone for each domain.2. Attach each of the BigQuery datasets created by the individual teams as assets to the respective zone.3. Direct each domain to manage their own zone’s data assets.
1. Tạo một lake cho mỗi nhóm (team). Bên trong mỗi lake, tạo một zone cho mỗi domain.
2. Gắn từng dataset BigQuery do các nhóm riêng lẻ tạo ra làm asset vào zone tương ứng.
3. Chỉ đạo mỗi domain tự quản lý các asset dữ liệu của zone của họ.
C
1. Create one lake for each domain. Inside each lake, create one zone for each team.2. Attach each of the BigQuery datasets created by the individual teams as assets to the respective zone.3. Direct each domain to manage their own lake’s data assets.
1. Tạo một lake cho mỗi domain. Bên trong mỗi lake, tạo một zone cho mỗi nhóm (team).
2. Gắn từng dataset BigQuery do các nhóm riêng lẻ tạo ra làm asset vào zone tương ứng.
3. Chỉ đạo mỗi domain tự quản lý các asset dữ liệu trong lake của họ.
D
1. Create one lake for each domain. Inside each lake, create one zone for each team.2. Attach each of the BigQuery datasets created by the individual teams as assets to the respective zone.3. Have the central data platform team manage all lakes’ data assets.
1. Tạo một lake cho mỗi domain. Bên trong mỗi lake, tạo một zone cho mỗi nhóm (team).
2. Gắn từng dataset BigQuery do các nhóm riêng lẻ tạo ra làm asset vào zone tương ứng.
3. Để nhóm nền tảng dữ liệu trung tâm quản lý tất cả các asset dữ liệu trong lake.
Giải thích & Tài liệu tham khảo
Để xây dựng kiến trúc Data Mesh (lưới dữ liệu phi tập trung) hiệu quả bằng Dataplex:
- Domain-Oriented Ownership (Sở hữu theo domain): Các domain nghiệp vụ (Airlines, Hotels, Ride-hailing) phải tự làm chủ dữ liệu của mình. Do đó, việc ánh xạ mỗi domain vào một Dataplex Lake riêng biệt là hoàn toàn chuẩn xác.
- Zones: Các nhóm chức năng trong domain (Analytics và Data Science) sẽ tương ứng với các Dataplex Zone bên trong Lake của domain đó.
- Loại bỏ bottleneck: Nhóm nền tảng dữ liệu trung tâm chỉ cung cấp hạ tầng chung. Việc quản lý tài sản dữ liệu phải được phân quyền cho từng domain tự quản lý.
- Tại sao chọn C: Cấu trúc Lake đại diện cho Domain, Zone đại diện cho Team, và giao quyền quản lý dữ liệu cho các Domain tự chịu trách nhiệm. Đây là mô hình kinh điển để giải phóng nút thắt cổ chai trung tâm.
- Tại sao A và B sai: Tạo Lake theo nhóm (team-centric) và Zone theo domain làm mất đi tính độc lập nghiệp vụ của các domain và gây phức tạp trong quản trị sở hữu.
- Tại sao D sai: Nếu vẫn để nhóm trung tâm quản lý toàn bộ tài sản thì nút thắt cổ chai (bottleneck) vẫn tồn tại và không giải quyết được vấn đề thực tế.
(Đáp án được gợi ý bởi AI)