Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Thời gian kéo dài 14 Giờ học
Đề cương khóa học
Chuẩn bị các mô hình Học máy để triển khai
- Đóng gói mô hình bằng Docker
- Xuất mô hình từ TensorFlow và PyTorch
- Các vấn đề về phiên bản và lưu trữ
Phục vụ mô hình trên Kubernetes
- Tổng quan về máy chủ suy luận (inference servers)
- Triển khai TensorFlow Serving và TorchServe
- Thiết lập các điểm cuối (endpoints) của mô hình
Kỹ thuật tối ưu hóa suy luận
- Chiến thuật batch (lô)
- Xử lý yêu cầu đồng thời
- Điều chỉnh độ trễ và thông lượng (throughput)
Tự động mở rộng các Workloads ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Cấp phát GPU và Quản lý tài nguyên
- Cấu hình các nút GPU
- Tổng quan về plugin thiết bị NVIDIA
- Yêu cầu và giới hạn tài nguyên cho các workloads ML
Chiến lược phát hành và triển khai mô hình
- Triển khai blue/green
- Mẫu triển khai canary
- Kiểm tra A/B để đánh giá mô hình
Giám sát và Quan sát (Observability) cho ML trong sản xuất
- Chỉ số (metrics) cho các workloads suy luận
- Thói quen ghi log và trace
- Bảng điều khiển (dashboards) và cảnh báo
Các cân nhắc về Bảo mật và Độ tin cậy
- Bảo mật các điểm cuối của mô hình
- Chính sách mạng và kiểm soát truy cập
- Đảm bảo tính khả dụng cao
Tóm tắt và Các bước tiếp theo
Yêu cầu
- Hiểu biết về quy trình ứng dụng container hóa
- Kinh nghiệm với các mô hình học máy dựa trên Python
- Quen thuộc với các nền tảng cơ bản của Kubernetes
Đối tượng khán giả
- Kỹ sư ML
- Kỹ sư DevOps
- Đội ngũ kỹ sư nền tảng
Đánh giá (1)
Tôi rất thích phần đào tạo về Kubernetes vì tôi đã gặp một số tác vụ liên quan đến pod và port trong K8s, và giờ đây đã có thể hiểu rõ hơn về chúng. Cảm ơn!
Laura Miron - Betfair
Khóa học - Docker and Kubernetes
Dịch thuật bằng máy