Liên hệ với chúng tôi
 Thời gian kéo dài 14 Giờ học

Đề cương khóa học

Giới thiệu về Mistral ở quy mô lớn

  • Tổng quan về Mistral Medium 3
  • Lợi ích và thiệt hại giữa hiệu năng và chi phí
  • Các cân nhắc ở quy mô doanh nghiệp

Mô hình Triển khai cho LLM

  • Topo phục vụ và các lựa chọn thiết kế
  • Triển khai tại chỗ (on-premises) so với đám mây
  • Các chiến lược lai và đa đám mây

Kỹ thuật Tối ưu hóa Suy luận

  • Các chiến lược đóng gói (batching) cho thông lượng cao
  • Các phương pháp lượng tử hóa để giảm chi phí
  • Lợi dụng bộ tăng tốc và GPU

Khả năng Mở rộng và Độ tin cậy

  • Mở rộng cụm Kubernetes cho suy luận
  • Cân bằng tải và định tuyến lưu lượng
  • Khả năng chịu lỗi và dự phòng

Khung Công trình Chi phí

  • Đo lường hiệu quả chi phí suy luận
  • Tối ưu kích thước tài nguyên tính toán và bộ nhớ
  • Giám sát và cảnh báo cho tối ưu hóa

Bảo mật và Tuân thủ trong Môi trường Sản xuất

  • Bảo mật các triển khai và API
  • Các cân nhắc về quản trị dữ liệu
  • Tuân thủ quy định trong công trình chi phí

Các Nghiên cứu Trường hợp và Thực hành Tốt nhất

  • Kiến trúc tham chiếu cho Mistral ở quy mô lớn
  • Bài học kinh nghiệm từ các triển khai doanh nghiệp
  • Xu hướng tương lai trong suy luận LLM hiệu quả

Tóm tắt và Các Bước Tiếp theo

Yêu cầu

  • Hiểu biết vững chắc về việc triển khai mô hình học máy
  • Kinh nghiệm với hạ tầng đám mây và hệ thống phân tán
  • Quen thuộc với các chiến lược tinh chỉnh hiệu năng và tối ưu hóa chi phí

Đối tượng Mục tiêu

  • Kỹ sư hạ tầng
  • Kiến trúc sư đám mây
  • Người phụ trách MLOps

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan