Empirical Risk Minimization

Tối thiểu hóa rủi ro thực nghiệm (Empirical Risk Minimization)

Như đã đề cập trước đó, một thuật toán học nhận vào một tập huấn luyện S, được lấy mẫu từ một phân phối chưa biết D và được gán nhãn bởi một hàm mục tiêu nào đó f. Thuật toán phải xuất ra một bộ dự đoán hs:X→Y(chỉ số S nhấn mạnh rằng bộ dự đoán đầu ra phụ thuộc vào tập huấn luyện S). Mục tiêu của thuật toán là tìm h​s sao cho lỗi (error) là nhỏ nhất so với phân phối D và hàm f chưa biết đó.

Vì người học không biết rõ D và f, nên lỗi thực sự (true error) không thể tính trực tiếp. Một khái niệm lỗi hữu ích có thể được tính toán là lỗi huấn luyện (training error) – tức lỗi mà bộ phân loại mắc phải trên chính tập huấn luyện:

Các thuật ngữ empirical error (lỗi thực nghiệm) và empirical risk (rủi ro thực nghiệm) thường được dùng thay thế cho lỗi này.

Vì tập huấn luyện là cái nhìn thu nhỏ của thế giới mà người học có thể quan sát được, nên hợp lý khi tìm kiếm một lời giải hoạt động tốt trên dữ liệu đó. Cách tiếp cận học này – tìm ra một bộ dự đoán h sao cho Ls(h) nhỏ nhất – được gọi là Tối thiểu hóa rủi ro thực nghiệm (Empirical Risk Minimization), hay viết tắt là ERM.

Reference: "Understanding Machine Learning" by Shai Shalev-Shwartz & Shai Ben-David, 2014.