Quay lại bộ đề
Question #98 Topic 1
Your team is working on a binary classification problem. You have trained a support vector machine (SVM) classifier with default parameters, and received an area under the Curve (AUC) of 0.87 on the validation set. You want to increase the AUC of the model. What should you do?
Đội ngũ của bạn đang nghiên cứu một bài toán phân loại nhị phân (binary classification). Bạn đã huấn luyện một bộ phân loại máy vectơ hỗ trợ (SVM) với các tham số mặc định và nhận được diện tích dưới đường cong (AUC) là 0,87 trên tập kiểm thử (validation set). Bạn muốn tăng AUC của mô hình. Bạn nên làm gì?
A
Perform hyperparameter tuning
Thực hiện tinh chỉnh siêu tham số (hyperparameter tuning).
B
Train a classifier with deep neural networks, because neural networks would always beat SVMs
Huấn luyện một bộ phân loại với mạng thần kinh sâu (deep neural networks), bởi vì mạng thần kinh luôn đánh bại SVM.
C
Deploy the model and measure the real-world AUC; it's always higher because of generalization
Triển khai mô hình và đo lường AUC thực tế; nó luôn cao hơn do tính tổng quát hóa.
D
Scale predictions you get out of the model (tune a scaling factor as a hyperparameter) in order to get the highest AUC
Quy đổi tỷ lệ các dự đoán mà bạn nhận được từ mô hình (tinh chỉnh hệ số tỷ lệ như một siêu tham số) để đạt được AUC cao nhất.
Giải thích & Tài liệu tham khảo
Khi một mô hình học máy được huấn luyện bằng các tham số mặc định, hiệu năng của nó thường chưa đạt tối ưu. Việc điều chỉnh các siêu tham số là phương pháp chuẩn mực nhất để nâng cao hiệu năng.
- Tại sao chọn A: Thực hiện tinh chỉnh siêu tham số (hyperparameter tuning) (ví dụ: tìm giá trị C và gamma tối ưu hoặc thử các loại kernel khác nhau của SVM) cho phép thuật toán tìm ra cấu hình mô hình khớp tốt nhất với dữ liệu, trực tiếp giúp tăng chỉ số AUC trên tập validation.
- Tại sao các phương án khác sai:
- B: Không có thuật toán nào luôn vượt trội hơn thuật toán khác trên mọi tập dữ liệu (No Free Lunch theorem). Mạng thần kinh có thể bị overfitting hoặc hiệu năng kém hơn SVM trên các tập dữ liệu nhỏ hoặc dạng bảng.
- C: AUC thực tế (trên production) thường thấp hơn do hiện tượng trôi lệch dữ liệu (data drift).
- D: Việc nhân thêm một hệ số tỷ lệ không làm thay đổi thứ tự xếp hạng (ranking) của các dự đoán. Vì AUC đo lường hiệu năng dựa trên thứ tự xếp hạng, nên việc này không làm thay đổi giá trị AUC.
(Đáp án được gợi ý bởi AI)