Đề cương khóa học
Chuẩn Bị Mô Hình Học Máy cho Triển Khai
- Đóng gói mô hình với Docker
- Xuất mô hình từ TensorFlow và PyTorch
- Xem xét phiên bản và lưu trữ
Phục Vụ Mô Hình trên Kubernetes
- Tổng quan về các máy chủ suy luận
- Triển khai TensorFlow Serving và TorchServe
- Thiết lập điểm cuối mô hình
Kỹ Thuật Tối Ưu Hóa Suy Luận
- Chiến lược batching
- Xử lý yêu cầu đồng thời
- Điều chỉnh độ trễ và thông lượng
Tự Động Mở Rộng Công Việc ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Cung Cấp và Quản Lý Tài Nguyên GPU
- Cấu hình các nút GPU
- Tổng quan về plugin thiết bị NVIDIA
- Yêu cầu và giới hạn tài nguyên cho công việc ML
Chiến Lược Triển Khai và Phát Hành Mô Hình
- Blue/green deployments
- Mẫu canary rollout
- A/B testing cho đánh giá mô hình
Giám Sát và Độ Tầm Nhìn cho ML trong Sản Xuất
- Các chỉ số cho công việc suy luận
- Thực hành ghi log và theo dõi
- Bảng điều khiển và cảnh báo
Xem Xét về An Ninh và Độ Tin Cậy
- Bảo mật các điểm cuối mô hình
- Chính sách mạng và kiểm soát truy cập
- Đảm bảo tính sẵn sàng cao
Tóm tắt và Bước Tiếp Theo
Yêu cầu
- Hiểu biết về quy trình làm việc ứng dụng được container hóa
- Kinh nghiệm với các mô hình học máy dựa trên Python
- Quen thuộc với các kiến thức cơ bản của Kubernetes
Đối Tượng
- Kỹ sư ML
- Kỹ sư DevOps
- Đội ngũ kỹ thuật nền tảng
Đánh giá (5)
Tính tương tác, không phải đọc slide cả ngày
Emilien Bavay - IRIS SA
Khóa học - Kubernetes Advanced
Dịch thuật bằng máy
ông ấy rất kiên nhẫn và hiểu rằng chúng tôi đã tụt hậu
Albertina - REGNOLOGY ROMANIA S.R.L.
Khóa học - Deploying Kubernetes Applications with Helm
Dịch thuật bằng máy
Khóa đào tạo thực tế hơn
Siphokazi Biyana - Vodacom SA
Khóa học - Kubernetes on AWS
Dịch thuật bằng máy
Học về Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Khóa học - Kubernetes on Azure (AKS)
Dịch thuật bằng máy
Nó đã cung cấp một nền tảng vững chắc cho Docker và Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Khóa học - Docker (introducing Kubernetes)
Dịch thuật bằng máy