Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Thời gian kéo dài 14 Giờ học
Đề cương khóa học
Giới thiệu về Mistral ở quy mô lớn
- Tổng quan về Mistral Medium 3
- Lợi ích và thiệt hại giữa hiệu năng và chi phí
- Các cân nhắc ở quy mô doanh nghiệp
Mô hình Triển khai cho LLM
- Topo phục vụ và các lựa chọn thiết kế
- Triển khai tại chỗ (on-premises) so với đám mây
- Các chiến lược lai và đa đám mây
Kỹ thuật Tối ưu hóa Suy luận
- Các chiến lược đóng gói (batching) cho thông lượng cao
- Các phương pháp lượng tử hóa để giảm chi phí
- Lợi dụng bộ tăng tốc và GPU
Khả năng Mở rộng và Độ tin cậy
- Mở rộng cụm Kubernetes cho suy luận
- Cân bằng tải và định tuyến lưu lượng
- Khả năng chịu lỗi và dự phòng
Khung Công trình Chi phí
- Đo lường hiệu quả chi phí suy luận
- Tối ưu kích thước tài nguyên tính toán và bộ nhớ
- Giám sát và cảnh báo cho tối ưu hóa
Bảo mật và Tuân thủ trong Môi trường Sản xuất
- Bảo mật các triển khai và API
- Các cân nhắc về quản trị dữ liệu
- Tuân thủ quy định trong công trình chi phí
Các Nghiên cứu Trường hợp và Thực hành Tốt nhất
- Kiến trúc tham chiếu cho Mistral ở quy mô lớn
- Bài học kinh nghiệm từ các triển khai doanh nghiệp
- Xu hướng tương lai trong suy luận LLM hiệu quả
Tóm tắt và Các Bước Tiếp theo
Yêu cầu
- Hiểu biết vững chắc về việc triển khai mô hình học máy
- Kinh nghiệm với hạ tầng đám mây và hệ thống phân tán
- Quen thuộc với các chiến lược tinh chỉnh hiệu năng và tối ưu hóa chi phí
Đối tượng Mục tiêu
- Kỹ sư hạ tầng
- Kiến trúc sư đám mây
- Người phụ trách MLOps