Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Giới thiệu và các nền tảng chẩn đoán
- Tổng quan về các mô hình thất bại trong hệ thống LLM và các vấn đề đặc biệt của Ollama
- Xây dựng các thí nghiệm có thể lặp lại và môi trường kiểm soát
- Bộ công cụ gỡ lỗi: nhật ký địa phương, ghi lại yêu cầu/phản hồi và cản trở môi trường
Phản hồi và cô lập lỗi
- Các kỹ thuật để tạo ra các ví dụ và hạt giống lỗi tối thiểu
- Tương tác trạng thái và không trạng thái: cô lập lỗi liên quan đến ngữ cảnh
- Xác định, ngẫu nhiên và kiểm soát hành vi không xác định
Đánh giá hành vi và các chỉ số
- Các chỉ số định lượng: độ chính xác, các biến thể ROUGE/BLEU, cân bằng và các đại lý bối rối
- Đánh giá chất lượng: điểm số và thiết kế bảng điểm với sự tham gia của con người
- Kiểm tra độ trung thực và tiêu chí chấp nhận theo nhiệm vụ
Kiểm tra tự động và hồi quy
- Kiểm tra đơn vị cho các lời đề nghị và các thành phần, kiểm tra tình huống và cuối đến cuối
- Tạo các bộ kiểm tra hồi quy và các mẫu cơ bản
- Tích hợp CI/CD cho các bản cập nhật mô hình Ollama và các cửa kiểm tra xác thực tự động
Thăm dò và giám sát
- Nhật ký có cấu trúc, theo dõi phân phối và các ID liên quan
- Các chỉ số hoạt động quan trọng: độ trễ, sử dụng token, tỷ lệ lỗi và các tín hiệu chất lượng
- Cảnh báo, bảng điều khiển và SLIs/SLOs cho các dịch vụ dựa trên mô hình
Phân tích nguyên nhân sâu
- Theo dõi qua các lời đề nghị đồ họa, các cuộc gọi công cụ và các luồng nhiều lần
- Chẩn đoán A/B so sánh và nghiên cứu tiêu diệt
- Nguồn gốc dữ liệu, gỡ lỗi bộ dữ liệu và xử lý lỗi do bộ dữ liệu gây ra
An toàn, sự vững chắc và các chiến lược khắc phục
- Biện pháp giảm thiểu: lọc, cơ sở, bổ sung lấy dữ liệu và xây dựng khung đề xuất
- Quay lại, canary và các mẫu triển khai phân đoạn cho các bản cập nhật mô hình
- Phân tích sau sự cố, bài học học được và các vòng lặp cải thiện liên tục
Tóm tắt và các bước tiếp theo
Yêu cầu
- Kinh nghiệm về việc xây dựng và triển khai ứng dụng LLM
- Rất quen với các luồng làm việc và lưu trữ mô hình Ollama
- Sự thoải mái khi làm việc với Python, Docker, và các công cụ quan sát cơ bản
Đối tượng
- Nhân viên kỹ thuật AI
- Chuyên viên ML Ops
- Nhóm QA chịu trách nhiệm cho các hệ thống LLM sản xuất
35 Giờ học