Transfer Learning là gì? 4 Mô hình pre-trained trong transfer learning

Với sự dễ dàng truy cập các mô hình mạng neural như hiện nay, việc cố gắng xây dựng mô hình của riêng bạn với nguồn lực hạn chế dường như trở nên vô nghĩa. Thay vào đó, bạn có thể tái sử dụng những mô hình tiên tiến đã được chứng minh về độ chính xác, hiệu suất cao. Để thực hiện được điều này, bạn cần hiểu Transfer Learning là gì cũng những cách hoạt động của chúng. 

Transfer Learning là một phương pháp machine learning giúp các mô hình có sẵn được phát triển, ứng dụng lại cho một nhiệm vụ thứ hai. Phương pháp học chuyển giao này được ứng dụng trong nhiều lĩnh vực nghiên cứu, nhất là Deep Learning. Trong bài viết này, hãy cùng tìm hiểu kỹ hơn Transfer Learning là gì cũng như cơ chế, mô hình hoạt động của phương pháp này. 

Khái niệm Transfer Learning là gì?

Transfer Learning hay còn gọi là học chuyển giao. Đây là một lĩnh vực con trong ngành học máy và trí tuệ nhân tạo với mục đích áp dụng kiến thức thu được từ một tác vụ nguồn cho một tác vụ tương tự khác. Hiểu một cách đơn giản thì một mô hình được phát triển cho một nhiệm vụ được sử dụng lại và trở thành điểm bắt đầu cho một mô hình ở nhiệm vụ thứ hai. 

Transfer Learning là gì? Transfer Learning là một lĩnh vực con trong ngành học máy và trí tuệ nhân tạo

Ví dụ, cách phân loại văn bản trên Wikipedia có thể được ứng dụng trong phân loại các văn bản pháp lý. Hoặc, các kiến thức từ việc phân loại ô tô có thể dùng trong nhận biết, phân loại các loài chim trên bầu trời. 

Transfer Learning được hiểu là một phương pháp cải tiến việc học một tác vụ mới bằng cách chuyển giao kiến thức từ một tác vụ liên quan đã học trước đó. Ngày này, ứng dụng Transfer Learning, người ra có thể xây dựng các ứng dụng AI trong một thời gian ngắn. 

Công nghệ 4.0 trong giáo dục

Lịch sử ra đời của Transfer Learning

Transfer Learning xuất hiện lần đầu vào năm 1993 trong bài báo “Discriminability-Based Transfer between Neural Networks”. Trong đó, tác giả Lorien Pratt đã giới thiệu về tiềm năng của học chuyển giao. Đến tháng 7 năm 1997, thuật ngữ này lại một lần nữa được nhắc đến trên tạp chí Machine Learning với cuốn tạp chí riêng nói về chủ đề này. 

Một thời gian sau đó, lĩnh vực này ngày càng phát triển và được gộp chung với các chủ đề có liên quan như học đa tác vụ – multi-task learning. Phương pháp học chuyển giao Transfer Learning cũng xuất hiện lần đầu tiên trong cuốn sách Learning to Learn với những học thuyết, nghiên cứu chuyên sâu về phương pháp này. Cho đến nay, Transfer Learning đã trở thành nguồn lực mạnh mẽ giúp các công ty công nghệ xây dựng những giải pháp AI mới, thúc đẩy giới hạn của học máy. Sức mạnh của Transfer Learning cũng được nhà đồng sáng lập Google Brain – Andrew Ng nhận định: “Học chuyển giao Transfer Learning là động lực tiếp theo dẫn dắt sự thành công về thương mại của học máy sau học có giám sát – Supervised Learning.

OCR là gì? Vì sao công nghệ OCR lại cần thiết

Cơ chế hoạt động của Transfer Learning là gì?

Hoạt động của Transfer Learning dựa trên 3 cơ chế, cụ thể như sau:

Chọn mô hình nguồn (Source Model)

Mô hình nguồn là mô hình do người khác xây dựng, huấn luyện nhằm giải quyết một vấn đề tương tự. Mô hình nguồn là thường là mô hình của những gã khổng lồ công nghệ hoặc nhóm các nhà khoa học nổi tiếng. 

Thông thường, mô hình nguồn được sử dụng thường là tập dữ liệu rất lớn để làm dữ liệu cơ sở như: ImageNet hoặc Wikipedia Corpus. Sau đó, dựa vào mô hình nguồn, họ sẽ phát triển một mạng thần kinh lớn để giải quyết vấn đề cụ thể. Mô hình nguồn được chọn phải được công khai và được cho phép tái sử dụng. 

Tùy chỉnh mô hình (Fine-tuning)

Sau khi tiếp cận được mô hình nguồn, bạn có thể sử dụng kiến thức mà mô hình đã học như kiến thức về lớp, tính năng, trọng số, hệ số tự do. Hoặc bạn có thể tải mô hình nguồn vào môi trường của mình, biến nó trở thành một tệp/thư mục có chứa thông tin liên quan sau đó tùy chỉnh mô hình của mình. Tuy nhiên, trước tiên hãy ưu tiên tùy chỉnh các viện học sâu lưu trữ nhiều mô hình trước như: TensorFlow Hub, Keras Applications, PyTorch Hub,… 

Có thể sử dụng một trong các nguồn trên để tải mô hình nguồn vào mô hình của mình. Khi đó, mô hình nguồn thường đi kèm với tất cả các lớp, trọng số và bạn có thể tùy ý chỉnh sửa mô hình theo ý muốn. Việc tùy chỉnh mô hình có nhằm mục đích nâng cao độ chính xác của chúng đồng thời đảm bảo đầu ra đúng định dạng. 

Áp dụng cho tác vụ mới (Inference)

Trong một mạng thần kinh, các lớp dưới cùng và lớp giữa sẽ đại diện cho các tính năng chung. Trong khi đó các lớp trên cùng thể hiện các tính năng cụ thể của bài toán trong mô hình đó. Do đó, bài toán mới của mô hình mới sẽ khác với bài toán ban đầu từ mô hình nguồn. 

Chính vì thế, bạn cần thêm vào các tác vụ mới, loại bỏ các lớp trên cùng để bài toán của mình có độ chính xác cao hơn. Sau đó, bạn có thể định cấu hình mô hình bằng trình tối ưu hóa đặc biệt. 

Federated Learning và ứng dụng vào thực tế

4 Mô hình pre-trained trong transfer learning

Bên cạnh việc hiểu rõ về lịch sử ra đời của khái niệm Transfer Learning là gì thì chúng ta có thể tìm hiểu sâu hơn về 4 mô hình trong Transfer Learning. Dưới đây là 4 mô hình pre-trained phổ biến nhất mà bạn có thể sử dụng cho các tác vụ trong transfer learning: 

Có 4 mô hình pre-trained trong transfer learning phổ biến nhất

VGG19

Mô hình VGG19 là một mạng thần kinh tích chập có độ dâu 19 lớp được xây dựng, đào tạo vào năm 2014. Mô hình này sử dụng hơn 1 triệu hình ảnh từ mô hình gốc là ImageNet, bao gồm cả các hình ảnh màu 224×224 pixel. Nhờ đó, mô hình pre-trained này có thể phân loại tới 1000 đối tượng khác nhau. Mô hình cũng cho phép bạn nhập vào các trọng số được huấn luyện bởi ImageNet. Kích thước, hiệu suất của mô hình này như sau: 

• Kích thước: 549 MB
• Top-1: Độ chính xác: 71,3%
• Top-5: Độ chính xác: 90,0%
• Số tham số: 143.667.240
• Độ sâu: 26

Inceptionv3 (GoogLeNet)

Mô hình Inceptionv3 là mạng thần kinh tích chập có độ xây 50 lớp cho phép bạn truy cập tất cả thông tin trên bài báo. Mô hình này sử dụng cơ sở dữ liệu từ ImageNet với khả năng phân loại tới 1000 đối tượng. Kích thước ảnh đầu vào của mô hình là 299×299 pixel. Kích thước, hiệu suất của mô hình như sau: 

• Kích thước: 92 MB
• Top-1: Độ chính xác: 77,9%
• Top-5: Độ chính xác: 93,7%
• Số tham số: 23.851.784
• Độ sâu: 159

ResNet50

Mô hình ResNet50 là một mạng thần kinh tích chập với độ sâu 50 lớp, được xây dựng, phát triển bởi Microsoft vào năm 2015. Mô hình này cho phép truy cập 1 triệu hình ảnh từ mô hình gốc là ImageNet, có thể phân loại 1000 đối tượng, bao gồm cả hình ảnh màu với kích thước 224×224 pixel. Mô hình này mang lại hiệu quả cải thiện hơn nhiều lần so với VGG19 dù mức độ phức tạp thấp. Kích thước, hiệu suất của mô hình như sau: 

• Kích thước: 98 MB
• Top-1: Độ chính xác: 74,9%
• Top-5: Độ chính xác: 92,1%
• Số tham số: 25.636.712

EfficientNet

Mô hình EfficientNet là một mạng thần kinh tích chập tiên tiến nhất hiện nay được đào tạo, phát triển bởi Google vào năm 2019. Mô hình này có đến 8 phiên bản thay thế với 5,3 triệu tham số. Độ chính xác của chúng đạt đến Top-1 77,1%. Kích thước, hiệu suất của mô hình này như sau: 

• Kích thước: 29MB
• Top-1: Độ chính xác: 77,1%
• Top-5: Độ chính xác: 93,3%
• Số tham số: ~5.300.000
• Độ sâu: 159

Quy trình chỉnh lý tài liệu lưu trữ

Kết

Hiểu được thuật ngũ Transfer Learning là gì giúp các công ty công nghệ ứng dụng các mô hình sẵn có và tạo nên những giải pháp AI nhanh chóng. Từ đó có thể tối ưu được nguồn nhân lực, chi phí cho doanh nghiệp của mình cũng như xây dựng các thuật toán AI một cách nhanh chóng, chính xác nhất.

Tuy nhiên khi ứng dụng phương pháp học chuyển giao, các công ty công nghệ cũng cần lưu ý chọn đúng mô hình nguồn, tùy chỉnh mô hình, thêm các tác vụ mới để đảm bảo tính chính xác của thuật toán. Hy vọng rằng với những thông tin trên đây về “Transfer Learning là gì” có thể giúp bạn giải đáp những thắc mắc về phương pháp này cũng như ứng dụng chúng trong Machine Learning một cách tốt nhất.