Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Giới thiệu về LLMOps
- LLMOps so với MLOps: Những thách thức độc đáo khi vận hành LLM
- Vòng đời ứng dụng LLM: prompt, đánh giá, triển khai, giám sát
- Danh sách kiểm tra chuẩn bị sẵn sàng cho sản xuất đối với ứng dụng GenAI
Quản lý Prompt và Kiểm soát Phiên bản
- Hệ thống soạn template prompt và tiêm biến
- Kiểm soát phiên bản ngữ nghĩa cho prompt với kiểm thử hồi quy tự động
- Cơ sở đăng ký prompt và quy trình cộng tác
Đánh giá LLM ở Quy mô Lớn
- Các chiều đánh giá: độ chính xác, mức độ liên quan, an toàn, độ groundedness
- Số liệu sử dụng LLM làm người giám định và quy trình đánh giá bởi con người
- Các khung đánh giá tự động: RAGAS, DeepEval và bộ đánh giá tùy chỉnh
- Các cột mốc chất lượng trong CI/CD đối với triển khai LLM
Cơ chế Bảo vệ An toàn và Quản trị Nội dung
- Các cơ chế bảo vệ đầu vào và đầu ra: NeMo Guardrails và Guardrails AI
- Phát hiện thông tin cá nhân (PII), lọc độc hại và xác định ranh giới chủ đề
- Chiến lược phòng thủ chống lại tấn công jailbreak và tiêm prompt
- Tiến hành red-teaming cho ứng dụng LLM để đảm bảo an toàn
Nhận thức và Giám sát LLM
- Telemetry: số liệu sử dụng token, độ trễ, chi phí và chất lượng
- Phát hiện suy giảm (drift) trong đầu ra LLM không gian vector embedding
- The dõi theo phiên để đối thoại nhiều bước của tác nhân
- Bảng điều khiển và cảnh báo với LangSmith, Arize và OpenTelemetry
Cổng AI và Điều phối Mô hình
- Định tuyến đa nhà cung cấp với LiteLLM và Portkey
- Chiến lược dự phòng, logic thử lại và cầu dao điện (circuit breakers)
- Lựa chọn mô hình nhạy cảm chi phí và cân bằng tải
- Giới hạn tốc độ, quản lý hạn mức và quản trị khóa API
Tối ưu hóa Hiệu suất
- Lưu trữ đệm ngữ nghĩa với kho vector và chiến lược khớp chính xác
- Buộc thực thi kết cấu đầu ra bằng việc giải mã có ràng buộc
- Mô hình nhóm tác vụ, phát trực tuyến và đồng thời
- Tối ưu hóa độ trễ xuyên suốt các nhà cung cấp mô hình
Quản trị, Tuân thủ và Kiểm toán
- Lịch sử kiểm toán LLM: nhật ký prompt, nhật ký phản hồi và nguồn gốc quyết định
- Xem xét về nơi lưu trữ dữ liệu và quyền riêng tư đối với APIs LLM
- Triển khai chính sách dưới dạng mã (policy-as-code) cho việc sử dụng LLM trong tổ chức
- Xây dựng sổ tay vận hành LLM nội bộ
Yêu cầu
- Có kinh nghiệm xây dựng hoặc tích hợp các ứng dụng sử dụng LLM.
- Hiểu biết về Python và REST APIs.
- Nắm bắt cơ bản về các khái niệm kỹ thuật prompt engineering.
Đối tượng Tham gia
- Các kỹ sư ML và chuyên gia MLOps đang chuyển hướng sang vận hành LLM.
- Kỹ sư nền tảng chịu trách nhiệm về cơ sở hạ tầng LLM.
- Trưởng nhóm kỹ thuật quản lý các triển khai GenAI trong môi trường sản xuất.
14 Giờ
Đánh giá (2)
Cách sử dụng prompt hiệu quả và chính xác
Marses Pacaldo
Khóa học - Generative AI and Prompt Engineering for Corporate Professionals
Dịch thuật bằng máy
Phong cách tương tác, các bài tập
Tamas Tutuntzisz
Khóa học - Introduction to Prompt Engineering
Dịch thuật bằng máy