Fine-Tuning Vision-Language Models (VLMs) Khóa Học Đào Tạo
Fine-Tuning Vision-Language Models (VLMs) là một kỹ năng chuyên biệt được sử dụng để nâng cao hệ thống trí tuệ nhân tạo đa modal xử lý cả các đầu vào hình ảnh và văn bản cho các ứng dụng thực tế.
Khóa học hướng dẫn trực tiếp, trực tuyến hoặc tại chỗ này được hướng đến các kỹ sư máy tính hình ảnh và nhà phát triển trí tuệ nhân tạo cấp cao muốn fine-tune VLMs như CLIP và Flamingo để cải thiện hiệu suất trong các tác vụ hình ảnh-ngôn ngữ cụ thể ngành.
Sau khi hoàn thành khóa học, các thí sinh sẽ có thể:
- Hiểu về kiến trúc và các phương pháp pretraining của Vision-Language Models.
- Fine-tune VLMs cho phân loại, truy xuất, mô tả hoặc câu hỏi trả lời đa modal.
- Chuẩn bị dữ liệu và áp dụng các chiến lược PEFT để giảm sử dụng tài nguyên.
- Đánh giá và triển khai các VLMs tùy chỉnh trong các môi trường sản xuất.
Định dạng của khóa học
- Giảng dạy tương tác và thảo luận.
- Nhiều bài tập và thực hành.
- Thực hiện trực tiếp trong môi trường phòng thí nghiệm trực tiếp.
Tùy chỉnh khóa học
- Để yêu cầu khóa học được tùy chỉnh cho khóa học này, vui lòng liên hệ để sắp xếp.
Đề cương khóa học
Giới thiệu về các mô hình Vision-Language
- Tổng quan về VLMs và vai trò của chúng trong trí tuệ nhân tạo đa phương tiện
- Các kiến trúc phổ biến: CLIP, Flamingo, BLIP, v.v.
- Các trường hợp sử dụng: tìm kiếm, tự động tạo chú thích, hệ thống tự động, phân tích nội dung
Chuẩn bị môi trường Fine-Tuning
- Cài đặt OpenCLIP và các thư viện VLM khác
- Định dạng dữ liệu cho các cặp hình ảnh-văn bản
- Các pipeline tiền xử lý cho đầu vào hình ảnh và văn bản
Fine-Tuning CLIP và các mô hình tương tự
- Mất mát đối chiếu và không gian nhúng chung
- Thực hành: Fine-tuning CLIP trên các bộ dữ liệu tùy chỉnh
- Xử lý dữ liệu cụ thể và đa ngôn ngữ
Các kỹ thuật Fine-Tuning nâng cao
- Sử dụng phương pháp LoRA và adapter để tăng hiệu quả
- Tuning câu hỏi và chèn câu hỏi hình ảnh
- So sánh giữa đánh giá zero-shot và fine-tuned
Đánh giá và đánh số
- Các chỉ số cho VLMs: độ chính xác truy xuất, BLEU, CIDEr, recall
- Chẩn đoán căn chỉnh hình ảnh-văn bản
- Hiển thị các không gian nhúng và sai phân loại
Triển khai và ứng dụng trong thực tế
- Xuất mô hình cho suy luận (TorchScript, ONNX)
- Tích hợp VLMs vào các pipeline hoặc API
- Các vấn đề về tài nguyên và mở rộng mô hình
Các trường hợp sử dụng và các tình huống thực tế
- Phân tích và kiểm duyệt nội dung truyền thông
- Tìm kiếm và truy xuất trong thương mại điện tử và thư viện số
- Tương tác đa phương tiện trong robot và hệ thống tự động
Tóm lược và các bước tiếp theo
Yêu cầu
- Hiểu biết về học sâu cho thị giác và xử lý ngôn ngữ tự nhiên (NLP)
- Kinh nghiệm với PyTorch và các mô hình dựa trên transformer
- Thuần hóa với kiến trúc mô hình đa mô thức
Đối tượng học
- Kỹ sư thị giác máy tính
- Nhà phát triển trí tuệ nhân tạo (AI)
Khóa học đào tạo mở cần có ít nhất 5 người tham gia.
Fine-Tuning Vision-Language Models (VLMs) Khóa Học Đào Tạo - Đặt chỗ
Fine-Tuning Vision-Language Models (VLMs) Khóa Học Đào Tạo - Yêu cầu thông tin
Fine-Tuning Vision-Language Models (VLMs) - Yêu cầu tư vấn
Yêu cầu tư vấn
Các khóa học sắp tới
Các khóa học liên quan
Các Kỹ Thuật Nâng Cao Trong Học Chuyển Giao
14 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia học máy nâng cao, những người muốn làm chủ các kỹ thuật học chuyển giao tiên tiến và áp dụng chúng vào các vấn đề phức tạp trong thế giới thực.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các khái niệm và phương pháp học chuyển giao nâng cao.
- Triển khai các kỹ thuật thích ứng chuyên biệt cho các mô hình được huấn luyện trước.
- Áp dụng học liên tục để quản lý các tác vụ và tập dữ liệu đang phát triển.
- Làm chủ kỹ thuật tinh chỉnh đa tác vụ để nâng cao hiệu suất mô hình trên nhiều tác vụ.
Triển khai Mô hình Đã Tinh chỉnh trong Sản xuất
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia nâng cao mong muốn triển khai các mô hình đã được tinh chỉnh một cách đáng tin cậy và hiệu quả.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu được những thách thức của việc triển khai các mô hình đã được tinh chỉnh vào môi trường sản xuất.
- Đóng gói và triển khai các mô hình bằng các công cụ như Docker và Kubernetes.
- Triển khai giám sát và ghi nhật ký cho các mô hình đã triển khai.
- Tối ưu hóa các mô hình để giảm độ trễ và khả năng mở rộng trong các tình huống thực tế.
Tối ưu化特定领域的微调在金融中的应用
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia ở trình độ trung cấp, những người muốn có được các kỹ năng thực tế trong việc tùy chỉnh các mô hình AI cho các tác vụ tài chính quan trọng.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc cơ bản của việc tinh chỉnh cho các ứng dụng tài chính.
- Tận dụng các mô hình được huấn luyện trước cho các tác vụ cụ thể trong lĩnh vực tài chính.
- Áp dụng các kỹ thuật để phát hiện gian lận, đánh giá rủi ro và tạo ra các lời khuyên tài chính.
- Đảm bảo tuân thủ các quy định tài chính như GDPR và SOX.
- Triển khai bảo mật dữ liệu và các thực hành AI đạo đức trong các ứng dụng tài chính.
Tinh chỉnh Mô hình và Mô hình Ngôn ngữ Phức hợp (LLMs)
14 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia từ trung cấp đến cao cấp, những người muốn tùy chỉnh các mô hình được huấn luyện trước cho các tác vụ và tập dữ liệu cụ thể.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc của việc tinh chỉnh (fine-tuning) và các ứng dụng của nó.
- Chuẩn bị tập dữ liệu để tinh chỉnh các mô hình được huấn luyện trước.
- Tinh chỉnh các mô hình ngôn ngữ lớn (LLMs) cho các tác vụ Xử lý ngôn ngữ tự nhiên (NLP).
- Tối ưu hóa hiệu suất mô hình và giải quyết các thách thức phổ biến.
Hiệu Suất Fine-Tuning với Low-Rank Adaptation (LoRA)
14 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển và chuyên gia AI ở trình độ trung cấp, những người muốn triển khai các chiến lược tinh chỉnh cho các mô hình lớn mà không cần tài nguyên tính toán lớn.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc của Low-Rank Adaptation (LoRA).
- Triển khai LoRA để tinh chỉnh hiệu quả các mô hình lớn.
- Tối ưu hóa việc tinh chỉnh cho các môi trường hạn chế về tài nguyên.
- Đánh giá và triển khai các mô hình đã được tinh chỉnh bằng LoRA cho các ứng dụng thực tế.
Tối ưu Hóa Mô hình Phức hợp
28 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia nâng cao mong muốn làm chủ việc tinh chỉnh mô hình đa phương thức để tạo ra các giải pháp AI sáng tạo.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu kiến trúc của các mô hình đa phương thức như CLIP và Flamingo.
- Chuẩn bị và tiền xử lý các tập dữ liệu đa phương thức một cách hiệu quả.
- Tinh chỉnh các mô hình đa phương thức cho các tác vụ cụ thể.
- Tối ưu hóa mô hình cho các ứng dụng và hiệu suất trong thế giới thực.
Fine-Tuning cho Xử lý Ngôn ngữ Tự nhiên (NLP)
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia ở trình độ trung cấp, mong muốn nâng cao các dự án NLP của họ thông qua việc tinh chỉnh hiệu quả các mô hình ngôn ngữ được huấn luyện trước.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc cơ bản của việc tinh chỉnh cho các tác vụ NLP.
- Tinh chỉnh các mô hình được huấn luyện trước như GPT, BERT và T5 cho các ứng dụng NLP cụ thể.
- Tối ưu hóa các siêu tham số để cải thiện hiệu suất mô hình.
- Đánh giá và triển khai các mô hình đã tinh chỉnh trong các tình huống thực tế.
Cao Đồ Hóa DeepSeek LLM Để Tạo Model AI Đặc Thù
21 Giờ họcKhóa học trực tiếp, trực tuyến hoặc trực tiếp tại địa điểm (online or onsite) này được hướng tới các nhà nghiên cứu AI cấp cao, kỹ sư học máy và nhà phát triển muốn tinh chỉnh các mô hình DeepSeek LLM để tạo ra các ứng dụng AI chuyên biệt, phù hợp với các ngành nghề, lĩnh vực hoặc nhu cầu kinh doanh cụ thể.
Sau khi hoàn thành khóa học, các tham gia sẽ có thể:
- Hiểu kiến trúc và khả năng của các mô hình DeepSeek, bao gồm DeepSeek-R1 và DeepSeek-V3.
- Chuẩn bị bộ dữ liệu và xử lý dữ liệu trước khi tinh chỉnh.
- Tinh chỉnh DeepSeek LLM cho các ứng dụng riêng lĩnh vực.
- Tối ưu hóa và triển khai các mô hình tinh chỉnh một cách hiệu quả.
Fine-Tuning Large Language Models Using QLoRA
14 Giờ họcBuổi đào tạo trực tiếp dưới sự hướng dẫn của giảng viên tại Việt Nam (trực tuyến hoặc trực tiếp) này dành cho các kỹ sư học máy cấp trung đến cao, nhà phát triển AI và nhà khoa học dữ liệu muốn tìm hiểu cách sử dụng QLoRA để hiệu chỉnh mô hình lớn một cách hiệu quả cho các tác vụ cụ thể và tùy chỉnh.
Tại kết thúc buổi đào tạo này, người tham gia sẽ có khả năng:
- Nắm vững lý thuyết đằng sau QLoRA và kỹ thuật lượng tử hóa cho các mô hình ngôn ngữ lớn (LLMs).
- Thực hiện QLoRA trong việc hiệu chỉnh các mô hình ngôn ngữ lớn cho các ứng dụng chuyên ngành.
- Tối ưu hóa hiệu suất hiệu chỉnh trên tài nguyên tính toán hạn chế bằng cách sử dụng lượng tử hóa.
- Triển khai và đánh giá các mô hình đã được hiệu chỉnh một cách hiệu quả trong các ứng dụng thực tế.
Fine-Tuning với Reinforcement Learning từ Phản Hồi Con Người (RLHF)
14 Giờ họcBuổi đào tạo trực tiếp dưới sự hướng dẫn của giảng viên tại Việt Nam (trực tuyến hoặc trực tiếp) này dành cho các kỹ sư học máy cấp cao và nhà nghiên cứu AI muốn áp dụng RLHF để điều chỉnh tinh vi các mô hình AI lớn nhằm đạt được hiệu suất, an toàn và đồng bộ hóa tốt hơn.
Tại kết thúc buổi đào tạo này, người tham gia sẽ có khả năng:
- Nắm vững nền tảng lý thuyết của RLHF và tại sao nó là yếu tố quan trọng trong phát triển AI hiện đại.
- Thực hiện các mô hình phần thưởng dựa trên phản hồi của con người để hướng dẫn quá trình học tăng cường.
- Điều chỉnh tinh vi các mô hình ngôn ngữ lớn bằng kỹ thuật RLHF để đồng bộ hóa đầu ra với sở thích của con người.
- Áp dụng các thực hành tốt nhất cho việc mở rộng quy trình làm việc RLHF cho hệ thống AI sản xuất.
Tối ưu hóa Mô hình Lớn để Fine-Tuning Hiệu quả về Chi phí
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia nâng cao mong muốn nắm vững các kỹ thuật tối ưu hóa mô hình lớn để tinh chỉnh hiệu quả về chi phí trong các tình huống thực tế.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu được những thách thức của việc tinh chỉnh các mô hình lớn.
- Áp dụng các kỹ thuật đào tạo phân tán cho các mô hình lớn.
- Tận dụng lượng tử hóa mô hình và cắt tỉa để tăng hiệu quả.
- Tối ưu hóa việc sử dụng phần cứng cho các tác vụ tinh chỉnh.
- Triển khai hiệu quả các mô hình đã tinh chỉnh trong môi trường sản xuất.
Thiết Kế Câu Hỏi và Tinh chỉnh với Mẫu Gọn
14 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia ở trình độ trung cấp, những người muốn tận dụng sức mạnh của kỹ thuật tạo prompt và học với ít mẫu (few-shot learning) để tối ưu hóa hiệu suất của LLM cho các ứng dụng thực tế.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc của kỹ thuật tạo prompt và học với ít mẫu.
- Thiết kế các prompt hiệu quả cho nhiều tác vụ NLP.
- Tận dụng các kỹ thuật học với ít mẫu để điều chỉnh LLM với dữ liệu tối thiểu.
- Tối ưu hóa hiệu suất LLM cho các ứng dụng thực tế.
Kỹ Thuật Tinh Giảm Mô Hình Ngôn Ngữ Lớn (PEFT)
14 Giờ họcBản đào tạo trực tiếp do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại cơ sở) nhắm đến các nhà khoa học dữ liệu và kỹ sư AI ở mức trung cấp, những người mong muốn tinh chỉnh các mô hình ngôn ngữ lớn một cách tiết kiệm và hiệu quả hơn bằng các phương pháp như LoRA, Adapter Tuning, và Prefix Tuning.
Sau khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu được lý thuyết đằng sau các phương pháp tinh chỉnh hiệu quả về tham số.
- Thực hiện LoRA, Adapter Tuning, và Prefix Tuning bằng Hugging Face PEFT.
- So sánh lợi ích về hiệu suất và chi phí của các phương pháp PEFT so với việc tinh chỉnh toàn bộ.
- Buổi triển và mở rộng các mô hình ngôn ngữ lớn đã được tinh chỉnh với yêu cầu tính toán và lưu trữ giảm thiểu.
Giới thiệu về Học Chuyển Giao
14 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia học máy ở trình độ mới bắt đầu đến trung cấp, những người muốn hiểu và áp dụng các kỹ thuật học chuyển giao để cải thiện hiệu quả và hiệu suất trong các dự án AI.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các khái niệm và lợi ích cốt lõi của học chuyển giao.
- Khám phá các mô hình được huấn luyện trước phổ biến và ứng dụng của chúng.
- Thực hiện tinh chỉnh các mô hình được huấn luyện trước cho các tác vụ tùy chỉnh.
- Áp dụng học chuyển giao để giải quyết các vấn đề thực tế trong NLP và thị giác máy tính.
Phát Triển Kỹ Năng Xử Lý Thách Thức Fine-Tuning
14 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia nâng cao muốn trau dồi kỹ năng chẩn đoán và giải quyết các thách thức tinh chỉnh cho mô hình học máy.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Chẩn đoán các vấn đề như quá khớp, thiếu khớp và mất cân bằng dữ liệu.
- Triển khai các chiến lược để cải thiện sự hội tụ của mô hình.
- Tối ưu hóa quy trình tinh chỉnh để đạt hiệu suất tốt hơn.
- Gỡ lỗi quy trình đào tạo bằng các công cụ và kỹ thuật thực tế.
