Liên hệ với chúng tôi

Đề cương khóa học

Giới thiệu về LLMOps

  • LLMOps so với MLOps: Những thách thức độc đáo khi vận hành LLM
  • Vòng đời ứng dụng LLM: prompt, đánh giá, triển khai, giám sát
  • Danh sách kiểm tra chuẩn bị sẵn sàng cho sản xuất đối với ứng dụng GenAI

Quản lý Prompt và Kiểm soát Phiên bản

  • Hệ thống soạn template prompt và tiêm biến
  • Kiểm soát phiên bản ngữ nghĩa cho prompt với kiểm thử hồi quy tự động
  • Cơ sở đăng ký prompt và quy trình cộng tác

Đánh giá LLM ở Quy mô Lớn

  • Các chiều đánh giá: độ chính xác, mức độ liên quan, an toàn, độ groundedness
  • Số liệu sử dụng LLM làm người giám định và quy trình đánh giá bởi con người
  • Các khung đánh giá tự động: RAGAS, DeepEval và bộ đánh giá tùy chỉnh
  • Các cột mốc chất lượng trong CI/CD đối với triển khai LLM

Cơ chế Bảo vệ An toàn và Quản trị Nội dung

  • Các cơ chế bảo vệ đầu vào và đầu ra: NeMo Guardrails và Guardrails AI
  • Phát hiện thông tin cá nhân (PII), lọc độc hại và xác định ranh giới chủ đề
  • Chiến lược phòng thủ chống lại tấn công jailbreak và tiêm prompt
  • Tiến hành red-teaming cho ứng dụng LLM để đảm bảo an toàn

Nhận thức và Giám sát LLM

  • Telemetry: số liệu sử dụng token, độ trễ, chi phí và chất lượng
  • Phát hiện suy giảm (drift) trong đầu ra LLM không gian vector embedding
  • The dõi theo phiên để đối thoại nhiều bước của tác nhân
  • Bảng điều khiển và cảnh báo với LangSmith, Arize và OpenTelemetry

Cổng AI và Điều phối Mô hình

  • Định tuyến đa nhà cung cấp với LiteLLM và Portkey
  • Chiến lược dự phòng, logic thử lại và cầu dao điện (circuit breakers)
  • Lựa chọn mô hình nhạy cảm chi phí và cân bằng tải
  • Giới hạn tốc độ, quản lý hạn mức và quản trị khóa API

Tối ưu hóa Hiệu suất

  • Lưu trữ đệm ngữ nghĩa với kho vector và chiến lược khớp chính xác
  • Buộc thực thi kết cấu đầu ra bằng việc giải mã có ràng buộc
  • Mô hình nhóm tác vụ, phát trực tuyến và đồng thời
  • Tối ưu hóa độ trễ xuyên suốt các nhà cung cấp mô hình

Quản trị, Tuân thủ và Kiểm toán

  • Lịch sử kiểm toán LLM: nhật ký prompt, nhật ký phản hồi và nguồn gốc quyết định
  • Xem xét về nơi lưu trữ dữ liệu và quyền riêng tư đối với APIs LLM
  • Triển khai chính sách dưới dạng mã (policy-as-code) cho việc sử dụng LLM trong tổ chức
  • Xây dựng sổ tay vận hành LLM nội bộ

Yêu cầu

  • Có kinh nghiệm xây dựng hoặc tích hợp các ứng dụng sử dụng LLM.
  • Hiểu biết về Python và REST APIs.
  • Nắm bắt cơ bản về các khái niệm kỹ thuật prompt engineering.

Đối tượng Tham gia

  • Các kỹ sư ML và chuyên gia MLOps đang chuyển hướng sang vận hành LLM.
  • Kỹ sư nền tảng chịu trách nhiệm về cơ sở hạ tầng LLM.
  • Trưởng nhóm kỹ thuật quản lý các triển khai GenAI trong môi trường sản xuất.
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Đánh giá (2)

Các khóa học sắp tới

Các danh mục liên quan