Đề cương khóa học
Chuẩn bị các mô hình Học máy để triển khai
- Đóng gói mô hình bằng Docker
- Xuất mô hình từ TensorFlow và PyTorch
- Các vấn đề về phiên bản và lưu trữ
Phục vụ mô hình trên Kubernetes
- Tổng quan về máy chủ suy luận (inference servers)
- Triển khai TensorFlow Serving và TorchServe
- Thiết lập các điểm cuối (endpoints) của mô hình
Kỹ thuật tối ưu hóa suy luận
- Chiến thuật batch (lô)
- Xử lý yêu cầu đồng thời
- Điều chỉnh độ trễ và thông lượng (throughput)
Tự động mở rộng các Workloads ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Cấp phát GPU và Quản lý tài nguyên
- Cấu hình các nút GPU
- Tổng quan về plugin thiết bị NVIDIA
- Yêu cầu và giới hạn tài nguyên cho các workloads ML
Chiến lược phát hành và triển khai mô hình
- Triển khai blue/green
- Mẫu triển khai canary
- Kiểm tra A/B để đánh giá mô hình
Giám sát và Quan sát (Observability) cho ML trong sản xuất
- Chỉ số (metrics) cho các workloads suy luận
- Thói quen ghi log và trace
- Bảng điều khiển (dashboards) và cảnh báo
Các cân nhắc về Bảo mật và Độ tin cậy
- Bảo mật các điểm cuối của mô hình
- Chính sách mạng và kiểm soát truy cập
- Đảm bảo tính khả dụng cao
Tóm tắt và Các bước tiếp theo
Yêu cầu
- Hiểu biết về quy trình ứng dụng container hóa
- Kinh nghiệm với các mô hình học máy dựa trên Python
- Quen thuộc với các nền tảng cơ bản của Kubernetes
Đối tượng khán giả
- Kỹ sư ML
- Kỹ sư DevOps
- Đội ngũ kỹ sư nền tảng
Đánh giá (4)
hiểu biết cơ bản về container/Kubernetes và cách chúng tương tác tính năng của nền tảng OpenShift
Eric Scholze - NOW IT GmbH
Khóa học - Introduction to Containers, Kubernetes & OpenShift
Dịch thuật bằng máy
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Khóa học - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Cách giảng viên truyền đạt kiến thức một cách hiệu quả
Vu Thoai Le - Reply Polska sp. z o. o.
Khóa học - Certified Kubernetes Administrator (CKA) - exam preparation
Dịch thuật bằng máy
Kiến thức và sự trao đổi với Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Khóa học - Docker and Kubernetes
Dịch thuật bằng máy