Quy trình làm việc của LLM đa phương thức trên Vertex AI Khóa Học Đào Tạo

Giới thiệu về LLM đa phương thức trên Vertex AI

• Tổng quan về khả năng đa phương thức trên Vertex AI
• Các mô hình Gemini và chế độ đa phương thức được hỗ trợ
• Các trường hợp sử dụng trong doanh nghiệp và nghiên cứu

Cài đặt môi trường phát triển

• Cấu hình Vertex AI cho quy trình đa phương thức
• Làm việc với bộ dữ liệu xuyên suốt các chế độ đa phương thức
• Phòng thực hành: Cài đặt môi trường và chuẩn bị bộ dữ liệu

Cửa sổ ngữ cảnh dài và suy luận nâng cao

• Hiểu về quy trình ngữ cảnh dài
• Các trường hợp sử dụng trong lập kế hoạch và ra quyết định
• Phòng thực hành: Triển khai phân tích ngữ cảnh dài

Thiết kế quy trình đa phương thức (Cross-Modal)

• Kết hợp phân tích văn bản, âm thanh và hình ảnh
• Chuỗi các bước đa phương thức trong đường ống
• Phòng thực hành: Thiết kế một đường ống đa phương thức

Làm việc với các tham số của Gemini API

• Cấu hình đầu vào và đầu ra đa phương thức
• Tối ưu hóa suy luận và hiệu suất
• Phòng thực hành: Điều chỉnh các tham số của Gemini API

Ứng dụng nâng cao và tích hợp

• Các tác nhân và trợ lý đa phương thức tương tác
• Tích hợp các API và công cụ bên ngoài
• Phòng thực hành: Xây dựng một ứng dụng đa phương thức

Đánh giá và lặp lại

• Kiểm tra hiệu suất đa phương thức
• Các chỉ số đo lường độ chính xác, sự phù hợp và sự trôi dạt (drift)
• Phòng thực hành: Đánh giá quy trình đa phương thức

Tóm tắt và các bước tiếp theo