Đề cương khóa học

Giới thiệu Mistral ở quy mô lớn

  • Tổng quan về Mistral Medium 3
  • Thương lượng hiệu suất so với chi phí
  • Yếu tố cần xem xét khi triển khai quy mô doanh nghiệp

Mẫu triển khai cho các Mô hình Ngôn ngữ Lớn

  • Cấu trúc và lựa chọn thiết kế phục vụ
  • Triển khai tại địa phương so với trên cloud
  • Chiến lược hybrid và multi-cloud

Các kỹ thuật tối ưu hóa cho suy luận

  • Các chiến lược batching để đạt hiệu suất cao
  • Phương pháp lượng hóa để giảm chi phí
  • Sử dụng bộ tăng tốc và GPU

Tính khả triển rộng và tin cậy

  • Phóng to các cụm Kubernetes cho suy luận
  • Cân bằng tải và định tuyến lưu lượng
  • Khả năng chống lỗi và dự phòng

Khung công trình giảm chi phí

  • Đo hiệu suất chi phí suy luận
  • Phù hợp với các tài nguyên tính toán và bộ nhớ
  • Giám sát và cảnh báo cho tối ưu hóa

An ninh và Tuân thủ trong Sản xuất

  • Bảo mật triển khai và API
  • Yếu tố quản lý dữ liệu
  • Tuân thủ quy định trong công trình giảm chi phí

Các nghiên cứu trường hợp và Tốt nhất

  • Cấu trúc tham khảo cho Mistral ở quy mô lớn
  • Bài học rút ra từ các triển khai doanh nghiệp
  • Xu hướng tương lai trong suy luận hiệu quả của các Mô hình Ngôn ngữ Lớn

Tóm lược và các bước tiếp theo

Yêu cầu

  • Hiểu biết về triển khai mô hình học máy
  • Kinh nghiệm với cơ sở hạ tầng cloud và hệ thống phân tán
  • Quen với các chiến lược điều chỉnh hiệu suất và tối ưu hóa chi phí

Đối tượng

  • Kỹ sư hạ tầng
  • Kiến trúc sư cloud
  • Nhóm trưởng MLOps
 14 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Các khóa học sắp tới

Các danh mục liên quan