Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Giới thiệu về Mistral ở Quy mô lớn
- Tổng quan về Mistral Medium 3.
- Sự đánh đổi giữa hiệu suất và chi phí.
- Các cân nhắc cho quy mô doanh nghiệp.
Mẫu triển khai cho LLMs
- Topology phục vụ và các lựa chọn thiết kế.
- Triển khai trên-premises so với đám mây.
- Chiến lược lai và đa đám mây.
Kỹ thuật tối ưu hóa suy luận
- Chiến lược gom lô cho thông lượng cao.
- Các phương pháp lượng hóa để giảm chi phí.
- Sử dụng bộ gia tốc và GPU.
Tính khả dụng mở rộng và Độ tin cậy
- Mở rộng các cụm Kubernetes cho suy luận.
- Cân bằng tải và định tuyến lưu lượng truy cập.
- Khả năng chịu lỗi và dự phòng.
Các khung Kỹ thuật Chi phí
- Đo lường hiệu quả chi phí suy luận.
- Định cỡ lại tài nguyên máy tính và bộ nhớ cho phù hợp.
- Giám sát và cảnh báo để tối ưu hóa.
Bảo mật và Tuân thủ trong Môi trường Sản xuất
- Bảo vệ các triển khai và API.
- Các cân nhắc về quản trị dữ liệu.
- Tuân thủ quy định trong kỹ thuật chi phí.
Nghiên cứu điển hình và Thực tiễn Tốt nhất
- Kiến trúc tham chiếu cho Mistral ở quy mô lớn.
- Bài học kinh nghiệm từ các triển khai doanh nghiệp.
- Các xu hướng tương lai trong suy luận LLM hiệu quả.
Tóm tắt và Các bước Tiếp theo
Yêu cầu
- Hiểu biết vững chắc về triển khai mô hình học máy.
- Kinh nghiệm với hạ tầng đám mây và các hệ thống phân tán.
- Quen thuộc với các chiến lược điều chỉnh hiệu suất và tối ưu hóa chi phí.
Đối tượng tham gia
- Kỹ sư hạ tầng.
- Kiến trúc sư đám mây.
- Người dẫn dắt đội ngũ MLOps.
14 Giờ
