Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Cơ Sở Của Mastra Debugging và Đánh Giá
- Hiểu biết về các mô hình hành vi đại lý và chế độ hỏng hóc.
- Các nguyên tắc debug chính trong Mastra.
- Đánh giá các hành động đại lý xác định và không xác định.
Thiết Lập Môi Trường cho Kiểm Thử Đại Lý
- Cấu hình các sandbox kiểm thử và không gian đánh giá cách ly.
- Thu thập log, dấu vết và dữ liệu đo lường cho phân tích chi tiết.
- Chuẩn bị bộ dữ liệu và prompt cho kiểm thử có cấu trúc.
Debug Hành Vi Đại Lý AI
- Theo dõi các đường quyết định và tín hiệu lý do nội bộ.
- Xác định ảo tưởng, lỗi và hành vi không mong muốn.
- Sử dụng bảng điều khiển quan sát để điều tra nguyên nhân gốc rễ.
Các Chỉ Số Đánh Giá và Khung Tiêu Chuẩn
- Xác định các chỉ số đánh giá định lượng và định tính.
- Đo lường độ chính xác, nhất quán và tuân thủ bối cảnh.
- Áp dụng bộ dữ liệu tiêu chuẩn để đánh giá lặp lại.
Kỹ Thuật Độ Tin Cậy cho Đại Lý AI
- Thiết kế các bài kiểm tra độ tin cậy cho các đại lý chạy dài hạn.
- Phát hiện sự sai lệch và suy giảm hiệu suất của đại lý.
- Triển khai các biện pháp an toàn cho các quy trình quan trọng.
Quy Trình và Tự Động Hóa QA
- Xây dựng pipeline QA cho đánh giá liên tục.
- Tự động hóa các bài kiểm tra hồi quy cho cập nhật đại lý.
- Tích hợp QA với CI/CD và quy trình doanh nghiệp.
Các Kỹ Thuật Nâng Cao để Giảm Vảo Ảo
- Chiến lược prompting để giảm các đầu ra không mong muốn.
- Vòng lặp kiểm tra và cơ chế tự kiểm tra.
- Thí nghiệm với kết hợp mô hình để cải thiện độ tin cậy.
Báo Cáo, Giám Sát và Cải Thiện Liên Tục
- Phát triển báo cáo QA và bảng điểm đại lý.
- Giám sát hành vi dài hạn và các mẫu lỗi.
- Lặp lại trên khung đánh giá cho hệ thống đang phát triển.
Tóm Tắt và Bước Tiếp Theo
Yêu cầu
- Hiểu biết về hành vi của đại lý AI và sự tương tác giữa các mô hình.
- Kinh nghiệm với việc debug hoặc kiểm thử hệ thống phần mềm phức tạp.
- Thuộc lòng các công cụ quan sát hoặc ghi log.
Đối Tượng
- Kỹ sư QA
- Kỹ sư độ tin cậy AI
- Nhà phát triển chịu trách nhiệm về chất lượng và hiệu suất của đại lý.
21 Giờ học