Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Đề cương khóa học
Giới thiệu về Mô hình Đa phương thức
- Tổng quan về học máy đa phương thức
- Ứng dụng của các mô hình đa phương thức
- Thách thức trong việc xử lý nhiều loại dữ liệu
Kiến trúc cho Mô hình Đa phương thức
- Khám phá các mô hình như CLIP, Flamingo và BLIP
- Hiểu các cơ chế chú ý đa phương thức
- Các cân nhắc về kiến trúc để đảm bảo khả năng mở rộng và hiệu quả
Chuẩn bị Bộ dữ liệu Đa phương thức
- Kỹ thuật thu thập và chú thích dữ liệu
- Tiền xử lý dữ liệu đầu vào dạng văn bản, hình ảnh và video
- Cân bằng bộ dữ liệu cho các tác vụ đa phương thức
Fine-Tuning Kỹ thuật cho Mô hình Đa phương thức
- Thiết lập quy trình đào tạo cho mô hình đa phương thức
- Quản lý bộ nhớ và các ràng buộc về mặt tính toán
- Xử lý sự căn chỉnh giữa các phương thức
Ứng dụng của Mô hình Đa phương thức đã được Tinh chỉnh
- Trả lời câu hỏi trực quan
- Chú thích hình ảnh và video
- Tạo nội dung bằng cách sử dụng các đầu vào đa phương thức
Tối ưu hóa Hiệu suất và Đánh giá
- Các chỉ số đánh giá cho các tác vụ đa phương thức
- Tối ưu hóa độ trễ và thông lượng cho sản xuất
- Đảm bảo tính mạnh mẽ và nhất quán giữa các phương thức
Triển khai Mô hình Đa phương thức
- Đóng gói mô hình để triển khai
- Scala Suy luận có thể mở rộng trên các nền tảng đám mây
- Các ứng dụng và tích hợp thời gian thực
Nghiên cứu điển hình và Thực hành
- Tinh chỉnh CLIP để tìm kiếm hình ảnh dựa trên nội dung
- Đào tạo chatbot đa phương thức với văn bản và video
- Triển khai hệ thống truy xuất đa phương thức
Tóm tắt và Các bước tiếp theo
Requirements
- Thông thạo ngôn ngữ lập trình Python
- Hiểu biết về các khái niệm học sâu
- Có kinh nghiệm tinh chỉnh các mô hình được huấn luyện trước
Đối tượng
- Các nhà nghiên cứu AI
- Nhà khoa học dữ liệu
- Các chuyên gia thực hành học máy
28 Hours