Đề cương khóa học

Cơ Sở Của Hệ Thống Đại Lý trong Sản Xuất

  • Kiến trúc đại lý: vòng lặp, công cụ, bộ nhớ và các lớp dàn dựng
  • Chu trình sống của đại lý: phát triển, triển khai và vận hành liên tục
  • Thách thức trong quản lý đại lý quy mô sản xuất

Cơ Sở Hạ Tầng và Mô Hình Triển Khai

  • Triển khai đại lý trong môi trường container hóa và đám mây
  • Mô hình mở rộng: mở rộng ngang vs dọc, đồng thời và điều tiết
  • Dàn dựng đa đại lý và cân bằng công việc

Giám Sát và Khả Năng Quan Sát

  • Các chỉ số chính: độ trễ, tỷ lệ thành công, sử dụng bộ nhớ và độ sâu gọi đại lý
  • Theo dõi hoạt động của đại lý và đồ thị gọi
  • Thực hiện khả năng quan sát bằng Prometheus, OpenTelemetry và Grafana

Ghi Nhật Ký, Kiểm Toán và Tuân Thủ

  • Ghi nhật ký tập trung và thu thập sự kiện có cấu trúc
  • Tuân thủ và khả năng kiểm toán trong quy trình đại lý
  • Thiết kế dấu vết kiểm toán và cơ chế phát lại cho việc gỡ lỗi

Điều Chỉnh Hiệu Suất và Tối Ưu Hóa Tài Nguyên

  • Giảm thiểu overhead suy luận và tối ưu hóa chu kỳ dàn dựng đại lý
  • Caching mô hình và embedding nhẹ nhàng để lấy nhanh hơn
  • Kiểm thử tải và các kịch bản căng thẳng cho ống dẫn AI

Kiểm Soát Chi Phí và Quản Trị

  • Hiểu biết về các yếu tố chi phí của đại lý: cuộc gọi API, bộ nhớ, tài nguyên tính toán và tích hợp bên ngoài
  • Theo dõi chi phí cấp đại lý và triển khai mô hình chargeback
  • Chính sách tự động hóa để ngăn chặn sự lan rộng của đại lý và tiêu thụ tài nguyên không hoạt động

CI/CD và Chiến Lược Triển Khai cho Đại Lý

  • Tích hợp ống dẫn đại lý vào hệ thống CI/CD
  • Kiểm thử, quản lý phiên bản và chiến lược hoàn tác cho các cập nhật đại lý lặp đi lặp lại
  • Triển khai dần dần và cơ chế triển khai an toàn

Phục Hồi Sự Cố và Kỹ Thuật Độ Tin Cậy

  • Thiết kế cho khả năng chịu lỗi và giảm grad theo cách êm dịu
  • Mô hình thử lại, thời gian chờ và breaker mạch cho độ tin cậy đại lý
  • Khung phản hồi sự cố và sau khi chết cho hoạt động AI

Dự Án Cuối Khóa

  • Xây dựng và triển khai một hệ thống AI đại lý với giám sát toàn diện và theo dõi chi phí
  • Tạo tải giả, đo lường hiệu suất và tối ưu hóa sử dụng tài nguyên
  • Trình bày kiến trúc cuối cùng và bảng điều khiển giám sát cho các đồng nghiệp

Tóm Tắt và Bước Tiếp Theo

Yêu cầu

  • Hiểu biết vững chắc về MLOps và các hệ thống máy học sản xuất
  • Kinh nghiệm với triển khai container hóa (Docker/Kubernetes)
  • Am hiểu về tối ưu hóa chi phí đám mây và các công cụ khả năng quan sát

Đối Tượng

  • Kỹ sư MLOps
  • Kỹ sư Độ Tin Cậy Trang Web (SREs)
  • Quản lý kỹ thuật giám sát cơ sở hạ tầng AI
 21 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Đánh giá (3)

Các khóa học sắp tới

Các danh mục liên quan