Đề cương khóa học
Cơ Sở Của Hệ Thống Đại Lý trong Sản Xuất
- Kiến trúc đại lý: vòng lặp, công cụ, bộ nhớ và các lớp dàn dựng
- Chu trình sống của đại lý: phát triển, triển khai và vận hành liên tục
- Thách thức trong quản lý đại lý quy mô sản xuất
Cơ Sở Hạ Tầng và Mô Hình Triển Khai
- Triển khai đại lý trong môi trường container hóa và đám mây
- Mô hình mở rộng: mở rộng ngang vs dọc, đồng thời và điều tiết
- Dàn dựng đa đại lý và cân bằng công việc
Giám Sát và Khả Năng Quan Sát
- Các chỉ số chính: độ trễ, tỷ lệ thành công, sử dụng bộ nhớ và độ sâu gọi đại lý
- Theo dõi hoạt động của đại lý và đồ thị gọi
- Thực hiện khả năng quan sát bằng Prometheus, OpenTelemetry và Grafana
Ghi Nhật Ký, Kiểm Toán và Tuân Thủ
- Ghi nhật ký tập trung và thu thập sự kiện có cấu trúc
- Tuân thủ và khả năng kiểm toán trong quy trình đại lý
- Thiết kế dấu vết kiểm toán và cơ chế phát lại cho việc gỡ lỗi
Điều Chỉnh Hiệu Suất và Tối Ưu Hóa Tài Nguyên
- Giảm thiểu overhead suy luận và tối ưu hóa chu kỳ dàn dựng đại lý
- Caching mô hình và embedding nhẹ nhàng để lấy nhanh hơn
- Kiểm thử tải và các kịch bản căng thẳng cho ống dẫn AI
Kiểm Soát Chi Phí và Quản Trị
- Hiểu biết về các yếu tố chi phí của đại lý: cuộc gọi API, bộ nhớ, tài nguyên tính toán và tích hợp bên ngoài
- Theo dõi chi phí cấp đại lý và triển khai mô hình chargeback
- Chính sách tự động hóa để ngăn chặn sự lan rộng của đại lý và tiêu thụ tài nguyên không hoạt động
CI/CD và Chiến Lược Triển Khai cho Đại Lý
- Tích hợp ống dẫn đại lý vào hệ thống CI/CD
- Kiểm thử, quản lý phiên bản và chiến lược hoàn tác cho các cập nhật đại lý lặp đi lặp lại
- Triển khai dần dần và cơ chế triển khai an toàn
Phục Hồi Sự Cố và Kỹ Thuật Độ Tin Cậy
- Thiết kế cho khả năng chịu lỗi và giảm grad theo cách êm dịu
- Mô hình thử lại, thời gian chờ và breaker mạch cho độ tin cậy đại lý
- Khung phản hồi sự cố và sau khi chết cho hoạt động AI
Dự Án Cuối Khóa
- Xây dựng và triển khai một hệ thống AI đại lý với giám sát toàn diện và theo dõi chi phí
- Tạo tải giả, đo lường hiệu suất và tối ưu hóa sử dụng tài nguyên
- Trình bày kiến trúc cuối cùng và bảng điều khiển giám sát cho các đồng nghiệp
Tóm Tắt và Bước Tiếp Theo
Yêu cầu
- Hiểu biết vững chắc về MLOps và các hệ thống máy học sản xuất
- Kinh nghiệm với triển khai container hóa (Docker/Kubernetes)
- Am hiểu về tối ưu hóa chi phí đám mây và các công cụ khả năng quan sát
Đối Tượng
- Kỹ sư MLOps
- Kỹ sư Độ Tin Cậy Trang Web (SREs)
- Quản lý kỹ thuật giám sát cơ sở hạ tầng AI
Đánh giá (3)
Phối hợp tốt giữa kiến thức và thực hành
Ion Mironescu - Facultatea S.A.I.A.P.M.
Khóa học - Agentic AI for Enterprise Applications
Dịch thuật bằng máy
Sự kết hợp giữa lý thuyết và thực hành, giữa góc nhìn cấp cao và cấp thấp
Ion Mironescu - Facultatea S.A.I.A.P.M.
Khóa học - Autonomous Decision-Making with Agentic AI
Dịch thuật bằng máy
bài tập thực hành
Daniel - Facultatea S.A.I.A.P.M.
Khóa học - Agentic AI in Multi-Agent Systems
Dịch thuật bằng máy