Liên hệ với chúng tôi
 Thời gian kéo dài 35 Giờ học

Đề cương khóa học

Giới thiệu và Nền tảng chẩn đoán

  • Tổng quan về các chế độ lỗi trong hệ thống LLM và các vấn đề đặc thù của Ollama.
  • Xây dựng các thí nghiệm có thể tái tạo và môi trường kiểm soát.
  • Bộ công cụ gỡ lỗi: nhật ký cục bộ, bắt gói tin yêu cầu/đáp ứng và môi trường sandbox.

Tái tạo và Cô lập sự cố

  • Các kỹ thuật tạo ra các ví dụ lỗi tối thiểu và hạt giống (seeds).
  • Tương tác có trạng thái (stateful) và không có trạng thái (stateless): cô lập các bug liên quan đến ngữ cảnh.
  • Tính tất định, sự ngẫu nhiên và kiểm soát hành vi không tất định.

Đánh giá hành vi và Chỉ số

  • Chỉ số định lượng: độ chính xác, các biến thể ROUGE/BLEU, hiệu chuẩn và proxy của độ bất ngờ (perplexity).
  • Đánh giá định tính: chấm điểm có sự tham gia của con người và thiết kế tiêu chí chấm điểm (rubric).
  • Giờ kiểm tra độ trung thực cụ thể cho từng tác vụ và tiêu chí chấp nhận.

Kiểm thử tự động và Hồi quy

  • Kiểm thử đơn vị cho prompts và các thành phần, kiểm thử kịch bản và kiểm thử đầu-cuối (end-to-end).
  • Tạo các bộ kiểm thử hồi quy và đường chuẩn (baselines) cho các ví dụ vàng (golden examples).
  • Tích hợp CI/CD cho các bản cập nhật mô hình Ollama và các cổng xác thực tự động.

Khả năng quan sát và Giám sát

  • Đăng ký nhật ký có cấu trúc, theo dõi vết phân tán và ID tương quan.
  • Các chỉ số vận hành chính: độ trễ, mức độ sử dụng token, tỷ lệ lỗi và các tín hiệu chất lượng.
  • Cảnh báo, bảng điều khiển (dashboards) và SLI/SLO cho các dịch vụ dựa trên mô hình.

Phân tích nguyên nhân gốc nâng cao

  • Theo dõi các prompt được đồ thị hóa, các lời gọi công cụ (tool calls) và các luồng nhiều vòng (multi-turn).
  • Chẩn đoán A/B so sánh và các nghiên cứu cắt giảm (ablation studies).
  • Khuyến sinh dữ liệu (data provenance), gỡ lỗi tập dữ liệu và xử lý các sự cố do tập dữ liệu gây ra.

An toàn, Độ bền và Chiến lược khắc phục

  • Các biện pháp giảm thiểu: lọc, xác thực (grounding), tăng cường truy xuất (retrieval augmentation) và khung prompt (prompt scaffolding).
  • Các mô hình hoàn tác (rollback), canary và triển khai theo giai đoạn cho các bản cập nhật mô hình.
  • Các buổi họp tổng kết sau sự cố (post-mortems), bài học kinh nghiệm và các vòng lặp cải tiến liên tục.

Tóm tắt và Các bước tiếp theo

Yêu cầu

  • Kinh nghiệm vững vàng trong việc xây dựng và triển khai ứng dụng LLM.
  • Quen thuộc với các luồng công việc (workflows) và việc lưu trữ mô hình trên Ollama.
  • Thành thạo Python, Docker và các công cụ quan sát (observability) cơ bản.

Đối tượng tham gia

  • Kỹ sư AI
  • Chuyên gia ML Ops
  • Đội ngũ QA chịu trách nhiệm cho các hệ thống LLM trong môi trường sản xuất

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan