Các Quy trình Làm việc của LLM Đa phương thức trên Vertex AI Khóa Học Đào Tạo

Giới thiệu về LLM đa phương thức trên Vertex AI

• Tổng quan về các khả năng đa phương thức trên Vertex AI
• Các mô hình Gemini và các phương thức dữ liệu được hỗ trợ
• Các trường hợp sử dụng trong doanh nghiệp và nghiên cứu

Cài đặt môi trường phát triển

• Cấu hình Vertex AI cho các quy trình làm việc đa phương thức
• Làm việc với tập dữ liệu xuyên suốt các phương thức
• Phòng thí nghiệm thực hành: thiết lập môi trường và chuẩn bị dữ liệu

Cửa sổ ngữ cảnh dài và Suy luận nâng cao

• Hiểu rõ về các quy trình làm việc ngữ cảnh dài
• Các trường hợp sử dụng trong lập kế hoạch và ra quyết định
• Phòng thí nghiệm thực hành: triển khai phân tích ngữ cảnh dài

Thiết kế quy trình làm việc xuyên phương thức

• Kết hợp phân tích văn bản, âm thanh và hình ảnh
• Sắp xếp các bước đa phương thức nối tiếp trong quy trình xử lý
• Phòng thí nghiệm thực hành: thiết kế một quy trình xử lý đa phương thức

Làm việc với các tham số của Gemini API

• Cấu hình dữ liệu đầu vào và đầu ra đa phương thức
• Tối ưu hóa khả năng suy luận và hiệu quả
• Phòng thí nghiệm thực hành: tinh chỉnh các tham số của Gemini API

Các ứng dụng nâng cao và tích hợp

• Các tác nhân và trợ lý đa phương thức tương tác
• Tích hợp các API và công cụ bên ngoài
• Phòng thí nghiệm thực hành: xây dựng một ứng dụng đa phương thức

Đánh giá và lặp lại quy trình

• Kiểm tra hiệu suất đa phương thức
• Các chỉ số đo lường độ chính xác, sự phù hợp và biến động
• Phòng thí nghiệm thực hành: đánh giá các quy trình làm việc đa phương thức

Tổng kết và các bước tiếp theo