Đề cương khóa học
Chuẩn bị các mô hình Học máy để triển khai
- Đóng gói mô hình với Docker
- Xuất mô hình từ TensorFlow và PyTorch
- Xem xét về phiên bản và lưu trữ
Cung cấp mô hình trên Kubernetes
- Tổng quan về các máy chủ suy luận
- Triển khai TensorFlow Serving và TorchServe
- Thiết lập các điểm cuối mô hình
Kỹ thuật tối ưu hóa suy luận
- Chiến lược gom lô (batching)
- Xử lý yêu cầu đồng thời
- Điều chỉnh độ trễ và thông lượng
Tự động mở rộng tải công việc ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Cung cấp GPU và quản lý tài nguyên
- Cấu hình các nút GPU
- Tổng quan về NVIDIA device plugin
- Yêu cầu tài nguyên và giới hạn cho tải công việc ML
Chiến lược phát hành và phát tán mô hình
- Triển khai xanh/lục (blue/green)
- Mẫu triển khai canary
- Kiểm thử A/B để đánh giá mô hình
Theo dõi và quan sát cho ML trong sản xuất
- Các chỉ số cho tải công việc suy luận
- Kỹ thuật ghi nhật ký (logging) và theo dõi đường đi (tracing)
- Bảng điều khiển và cơ chế cảnh báo
Xem xét về bảo mật và độ tin cậy
- Bảo vệ các điểm cuối mô hình
- Chính sách mạng và kiểm soát truy cập
- Đảm bảo tính khả dụng cao
Tổng kết và các bước tiếp theo
Yêu cầu
- Hiểu biết về quy trình hoạt động của các ứng dụng đóng gói bằng container
- Kinh nghiệm làm việc với các mô hình học máy dựa trên Python
- Thông thạo các khái niệm cơ bản của Kubernetes
Đối tượng
- Kỹ sư ML
- Kỹ sư DevOps
- Nhóm kỹ sư nền tảng
Đánh giá (4)
hiểu biết cơ bản về container/Kubernetes và cách chúng tương tác tính năng của nền tảng OpenShift
Eric Scholze - NOW IT GmbH
Khóa học - Introduction to Containers, Kubernetes & OpenShift
Dịch thuật bằng máy
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Khóa học - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Cách giảng viên truyền đạt kiến thức một cách hiệu quả
Vu Thoai Le - Reply Polska sp. z o. o.
Khóa học - Certified Kubernetes Administrator (CKA) - exam preparation
Dịch thuật bằng máy
Kiến thức và sự trao đổi với Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Khóa học - Docker and Kubernetes
Dịch thuật bằng máy