Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Chuẩn bị các mô hình Học máy để triển khai
- Đóng gói mô hình với Docker
- Xuất mô hình từ TensorFlow và PyTorch
- Xem xét về phiên bản và lưu trữ
Cung cấp mô hình trên Kubernetes
- Tổng quan về các máy chủ suy luận
- Triển khai TensorFlow Serving và TorchServe
- Thiết lập các điểm cuối mô hình
Kỹ thuật tối ưu hóa suy luận
- Chiến lược gom lô (batching)
- Xử lý yêu cầu đồng thời
- Điều chỉnh độ trễ và thông lượng
Tự động mở rộng tải công việc ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Cung cấp GPU và quản lý tài nguyên
- Cấu hình các nút GPU
- Tổng quan về NVIDIA device plugin
- Yêu cầu tài nguyên và giới hạn cho tải công việc ML
Chiến lược phát hành và phát tán mô hình
- Triển khai xanh/lục (blue/green)
- Mẫu triển khai canary
- Kiểm thử A/B để đánh giá mô hình
Theo dõi và quan sát cho ML trong sản xuất
- Các chỉ số cho tải công việc suy luận
- Kỹ thuật ghi nhật ký (logging) và theo dõi đường đi (tracing)
- Bảng điều khiển và cơ chế cảnh báo
Xem xét về bảo mật và độ tin cậy
- Bảo vệ các điểm cuối mô hình
- Chính sách mạng và kiểm soát truy cập
- Đảm bảo tính khả dụng cao
Tổng kết và các bước tiếp theo
Yêu cầu
- Hiểu biết về quy trình hoạt động của các ứng dụng đóng gói bằng container
- Kinh nghiệm làm việc với các mô hình học máy dựa trên Python
- Thông thạo các khái niệm cơ bản của Kubernetes
Đối tượng
- Kỹ sư ML
- Kỹ sư DevOps
- Nhóm kỹ sư nền tảng
14 Giờ
Đánh giá (3)
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Khóa học - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Cách giảng viên truyền đạt kiến thức một cách hiệu quả
Vu Thoai Le - Reply Polska sp. z o. o.
Khóa học - Certified Kubernetes Administrator (CKA) - exam preparation
Dịch thuật bằng máy
Kiến thức và sự kiên nhẫn của người hướng dẫn để trả lời câu hỏi của chúng tôi.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Khóa học - Deploying Kubernetes Applications with Helm
Dịch thuật bằng máy