Đề cương khóa học

Giới thiệu về Mô hình Đa phương thức

  • Tổng quan về học máy đa phương thức
  • Ứng dụng của các mô hình đa phương thức
  • Thách thức trong việc xử lý nhiều loại dữ liệu

Kiến trúc cho Mô hình Đa phương thức

  • Khám phá các mô hình như CLIP, Flamingo và BLIP
  • Hiểu các cơ chế chú ý đa phương thức
  • Các cân nhắc về kiến trúc để đảm bảo khả năng mở rộng và hiệu quả

Chuẩn bị Bộ dữ liệu Đa phương thức

  • Kỹ thuật thu thập và chú thích dữ liệu
  • Tiền xử lý dữ liệu đầu vào dạng văn bản, hình ảnh và video
  • Cân bằng bộ dữ liệu cho các tác vụ đa phương thức

Fine-Tuning Kỹ thuật cho Mô hình Đa phương thức

  • Thiết lập quy trình đào tạo cho mô hình đa phương thức
  • Quản lý bộ nhớ và các ràng buộc về mặt tính toán
  • Xử lý sự căn chỉnh giữa các phương thức

Ứng dụng của Mô hình Đa phương thức đã được Tinh chỉnh

  • Trả lời câu hỏi trực quan
  • Chú thích hình ảnh và video
  • Tạo nội dung bằng cách sử dụng các đầu vào đa phương thức

Tối ưu hóa Hiệu suất và Đánh giá

  • Các chỉ số đánh giá cho các tác vụ đa phương thức
  • Tối ưu hóa độ trễ và thông lượng cho sản xuất
  • Đảm bảo tính mạnh mẽ và nhất quán giữa các phương thức

Triển khai Mô hình Đa phương thức

  • Đóng gói mô hình để triển khai
  • Scala Suy luận có thể mở rộng trên các nền tảng đám mây
  • Các ứng dụng và tích hợp thời gian thực

Nghiên cứu điển hình và Thực hành

  • Tinh chỉnh CLIP để tìm kiếm hình ảnh dựa trên nội dung
  • Đào tạo chatbot đa phương thức với văn bản và video
  • Triển khai hệ thống truy xuất đa phương thức

Tóm tắt và Các bước tiếp theo

Requirements

  • Thông thạo ngôn ngữ lập trình Python
  • Hiểu biết về các khái niệm học sâu
  • Có kinh nghiệm tinh chỉnh các mô hình được huấn luyện trước

Đối tượng

  • Các nhà nghiên cứu AI
  • Nhà khoa học dữ liệu
  • Các chuyên gia thực hành học máy
 28 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories