Liên hệ với chúng tôi
 Thời gian kéo dài 35 Giờ học

Đề cương khóa học

Giới thiệu và Nền tảng Chẩn đoán

  • Tổng quan về các chế độ lỗi trong hệ thống LLM và các vấn đề đặc thù của Ollama
  • Xây dựng các thí nghiệm có thể tái hiện và môi trường được kiểm soát
  • Bộ công cụ gỡ lỗi: nhật ký cục bộ, bắt giữ yêu cầu/phản hồi và môi trường cách ly (sandboxing)

Tái hiện và Cô lập Lỗi

  • Kỹ thuật tạo các ví dụ lỗi tối thiểu và hạt giống (seeds)
  • Tương tác có trạng thái và không trạng thái: cô lập các lỗi liên quan đến ngữ cảnh
  • Sự xác định, tính ngẫu nhiên và kiểm soát hành vi không xác định

Đánh giá Hành vi và Chỉ số

  • Chỉ số định lượng: độ chính xác, các biến thể ROUGE/BLEU, hiệu chuẩn và các phương pháp gần đúng cho độ bất ngờ (perplexity)
  • Đánh giá định tính: chấm điểm có sự tham gia của con người và thiết kế tiêu chí đánh giá (rubric)
  • Kiểm tra độ trung thực cụ thể theo tác vụ và tiêu chí chấp nhận

Kiểm thử Tự động và Hồi quy

  • Thử nghiệm đơn vị (unit tests) cho prompts và các thành phần, thử nghiệm kịch bản và đầu-cuối (end-to-end)
  • Tạo các bộ thử nghiệm hồi quy và đường cơ sở ví dụ chuẩn (golden example baselines)
  • Tích hợp CI/CD cho các bản cập nhật mô hình Ollama và các cổng xác minh tự động

Tính quan sát được và Giám sát

  • Ghi nhật ký có cấu trúc, truy vết phân tán và ID tương quan
  • Các chỉ số vận hành chính: độ trễ, mức sử dụng token, tỷ lệ lỗi và tín hiệu chất lượng
  • Báo động, bảng điều khiển và SLI/SLO cho các dịch vụ dựa trên mô hình

Phân tích Nguyên nhân Cốt lõi Nâng cao

  • Truy vết qua các prompts được đồ thị hóa, các cuộc gọi công cụ (tool calls) và luồng đa lượt (multi-turn flows)
  • Chẩn đoán so sánh A/B và các nghiên cứu cắt bỏ (ablation studies)
  • Tuổi tác dữ liệu, gỡ lỗi tập dữ liệu và xử lý các lỗi gây ra bởi tập dữ liệu

An toàn, Độ bền và Chiến lược Khử lỗi

  • Biện pháp giảm thiểu: lọc, tiếp đất (grounding), tăng cường truy xuất (retrieval augmentation) và khung prompt
  • Mẫu mã hồi quy (rollback), canary và triển khai từng giai đoạn cho các bản cập nhật mô hình
  • Xử lý sự cố sau khi xảy ra, bài học kinh nghiệm và vòng lặp cải tiến liên tục

Tổng kết và Các bước tiếp theo

Yêu cầu

  • Kinh nghiệm vững chắc trong việc xây dựng và triển khai các ứng dụng LLM
  • Quen thuộc với quy trình làm việc của Ollama và lưu trữ mô hình
  • Sử dụng thành thạo Python, Docker và các công cụ quan sát được cơ bản

Đối tượng tham gia

  • Kỹ sư AI
  • Chuyên gia ML Ops
  • Đội ngũ QA chịu trách nhiệm cho các hệ thống LLM trong môi trường sản xuất

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan