Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Giới thiệu Mistral ở quy mô lớn
- Tổng quan về Mistral Medium 3
- Thương lượng hiệu suất so với chi phí
- Yếu tố cần xem xét khi triển khai quy mô doanh nghiệp
Mẫu triển khai cho các Mô hình Ngôn ngữ Lớn
- Cấu trúc và lựa chọn thiết kế phục vụ
- Triển khai tại địa phương so với trên cloud
- Chiến lược hybrid và multi-cloud
Các kỹ thuật tối ưu hóa cho suy luận
- Các chiến lược batching để đạt hiệu suất cao
- Phương pháp lượng hóa để giảm chi phí
- Sử dụng bộ tăng tốc và GPU
Tính khả triển rộng và tin cậy
- Phóng to các cụm Kubernetes cho suy luận
- Cân bằng tải và định tuyến lưu lượng
- Khả năng chống lỗi và dự phòng
Khung công trình giảm chi phí
- Đo hiệu suất chi phí suy luận
- Phù hợp với các tài nguyên tính toán và bộ nhớ
- Giám sát và cảnh báo cho tối ưu hóa
An ninh và Tuân thủ trong Sản xuất
- Bảo mật triển khai và API
- Yếu tố quản lý dữ liệu
- Tuân thủ quy định trong công trình giảm chi phí
Các nghiên cứu trường hợp và Tốt nhất
- Cấu trúc tham khảo cho Mistral ở quy mô lớn
- Bài học rút ra từ các triển khai doanh nghiệp
- Xu hướng tương lai trong suy luận hiệu quả của các Mô hình Ngôn ngữ Lớn
Tóm lược và các bước tiếp theo
Yêu cầu
- Hiểu biết về triển khai mô hình học máy
- Kinh nghiệm với cơ sở hạ tầng cloud và hệ thống phân tán
- Quen với các chiến lược điều chỉnh hiệu suất và tối ưu hóa chi phí
Đối tượng
- Kỹ sư hạ tầng
- Kiến trúc sư cloud
- Nhóm trưởng MLOps
14 Giờ học