Đề cương khóa học

Giới thiệu về các mô hình đa phương tiện LLMs trong Vertex AI

  • Tổng quan về các khả năng đa phương tiện trong Vertex AI
  • Các mô hình Gemini và các phương tiện được hỗ trợ
  • Các trường hợp sử dụng trong doanh nghiệp và nghiên cứu

Cài đặt môi trường phát triển

  • Cấu hình Vertex AI cho các luồng công việc đa phương tiện
  • Làm việc với các tập dữ liệu trong các phương tiện
  • Phòng thí nghiệm thực hành: cài đặt môi trường và chuẩn bị dữ liệu

Cửa sổ bối cảnh dài và suy luận nâng cao

  • Hiểu về các luồng công việc có bối cảnh dài
  • Các trường hợp sử dụng trong kế hoạch và quyết định
  • Phòng thí nghiệm thực hành: triển khai phân tích bối cảnh dài

Thiết kế luồng công việc đa phương tiện

  • Kết hợp phân tích văn bản, âm thanh và hình ảnh
  • Liên kết các bước đa phương tiện trong các pipeline
  • Phòng thí nghiệm thực hành: thiết kế một pipeline đa phương tiện

Làm việc với các tham số API Gemini

  • Cấu hình đầu vào và đầu ra đa phương tiện
  • Tối ưu hóa suy luận và hiệu quả
  • Phòng thí nghiệm thực hành: điều chỉnh các tham số API Gemini

Ứng dụng và tích hợp nâng cao

  • Các nhà trợ lý và agent đa phương tiện tương tác
  • Tích hợp các API và công cụ bên ngoài
  • Phòng thí nghiệm thực hành: xây dựng một ứng dụng đa phương tiện

Đánh giá và lặp lại

  • Kiểm tra hiệu suất đa phương tiện
  • Các chỉ số chính xác, sự phối hợp và sự thay đổi
  • Phòng thí nghiệm thực hành: đánh giá các luồng công việc đa phương tiện

Tổng kết và các bước tiếp theo

Yêu cầu

  • Kỹ năng chuyên môn về lập trình Python
  • Kinh nghiệm phát triển mô hình học máy
  • Thông thái với dữ liệu đa phương thức (văn bản, âm thanh, hình ảnh)

Đối tượng

  • Nhà nghiên cứu AI
  • Nhà phát triển cao cấp
  • Nhà khoa học ML
 14 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Các khóa học sắp tới

Các danh mục liên quan