Liên hệ với chúng tôi

Đề cương khóa học

Tổng quan về Kiến trúc LLM và Diện tích Tấn công

  • Cách thức LLM được xây dựng, triển khai và truy cập qua API.
  • Các thành phần chính trong hệ thống ứng dụng LLM (ví dụ: prompt, agent, bộ nhớ, API).
  • Chỗ nào và cách thức các vấn đề về an ninh xảy ra trong sử dụng thực tế.

Tấn công Tiêm nhập Lời nhắc (Prompt Injection) và Jailbreak

  • Tiết nhập lời nhắc là gì và tại sao nó nguy hiểm.
  • Các kịch bản tiêm nhập lời nhắc trực tiếp và gián tiếp.
  • Kỹ thuật Jailbreak để vượt qua các bộ lọc an toàn.
  • Chiến lược phát hiện và giảm thiểu.

Rủi ro Rò rỉ Dữ liệu và Quyền riêng tư

  • Phơi nhiễm dữ liệu không chủ đích qua các phản hồi.
  • Lỗi rò rỉ PII và lạm dụng trí nhớ của mô hình.
  • Thiết kế prompt tôn trọng quyền riêng tư và tạo văn bản tăng cường truy xuất (RAG).

Lọc và Bảo vệ Đầu ra LLM

  • Sử dụng Guardrails AI để lọc và xác thực nội dung.
  • Xác định lược đồ đầu ra và các ràng buộc.
  • Giám sát và ghi lại các đầu ra không an toàn.

Cách tiếp cận có Sự tham gia của Con người (Human-in-the-Loop) và Quy trình

  • Chỗ nào và khi nào cần đưa ra sự giám sát của con người.
  • Dhãy duyệt phê duyệt, ngưỡng điểm số, xử lý dự phòng.
  • Hiệu chỉnh độ tin cậy và vai trò của khả năng giải thích.

Mẫu thiết kế Ứng dụng LLM An toàn

  • Quyền tối thiểu và cô lập môi trường (sandboxing) cho các lệnh gọi API và agent.
  • Giới hạn tốc độ (rate limiting), kiểm soát luồng (throttling) và phát hiện lạm dụng.
  • Xâu hóa (chaining) vững chắc với LangChain và cách ly prompt.

Tuân thủ, Nhật ký và Quản trị

  • Đảm bảo khả năng kiểm toán đầu ra LLM.
  • Duy trì tính theo dõi và kiểm soát phiên bản prompt.
  • Phù hợp với các chính sách an ninh nội bộ và nhu cầu tuân thủ quy định.

Tóm tắt và Các bước tiếp theo

Yêu cầu

  • Hiểu biết về các mô hình ngôn ngữ lớn (LLM) và giao diện dựa trên lời nhắc (prompt).
  • Kinh nghiệm xây dựng ứng dụng LLM bằng Python.
  • Kiến thức về tích hợp API và triển khai trên đám mây.

Đối tượng

  • Nhà phát triển AI.
  • Kiến trúc sư ứng dụng và giải pháp.
  • Quản lý sản phẩm kỹ thuật làm việc với các công cụ LLM.
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan