Đề cương khóa học
Mô-đun 1 — Cách ứng dụng AI bị phá vỡ
Lab: không có — thảo luận & trình diễn kiến trúc
Mô hình tư duy của nhà xây dựng về bề mặt tấn công.
Các chủ đề:
- Kiến trúc LLM, RAG và tác nhân từ phía nhà phát triển
- chu kỳ yêu cầu / phản hồi của một tính năng AI
- dòng prompt: hệ thống, nhà phát triển, người dùng và thông điệp công cụ
- vị trí dữ liệu không đáng tin cậy đi vào (và đi lại) mô hình
- các ranh giới tin cậy mà nhà phát triển sở hữu so với thừa hưởng
- lý do các cuộc tấn công AI mang tính ngữ nghĩa, không phải cú pháp
- ánh xạ OWASP LLM Top 10 vào mã bạn viết
Thông điệp chính: Mọi vị trí mà văn bản không đáng tin cậy tiếp cận mô hình — hoặc đầu ra của mô hình tiếp cận mã của bạn — đều là một ranh giới bạn sở hữu.
Mô-đun 2 — Tiêm lệnh cho nhà xây dựng
Lab: Lab 01 — 01-Prompt-Injection
"Khoảnh khắc SQL injection" dành cho AI — nhưng bạn không thể tránh khỏi hoàn toàn.
Các chủ đề:
- tiêm lệnh trực tiếp so với gián tiếp
- hướng dẫn ẩn trong tài liệu, trang web, đầu ra công cụ
- jailbreaks và nhầm lẫn vai trò
- tại sao việc tách biệt hướng dẫn / dữ liệu lại quan trọng
- thiết kế prompt phòng thủ (dấu ngoặc, cấu trúc, quyền hạn tối thiểu)
- tại sao ngăn chặn chỉ là một phần — thiết kế để kiểm soát
Các hoạt động thực hành:
- tấn công chatbot của chính bạn
- vượt qua bộ lọc đơn giản
- cấu trúc lại prompt để thu hẹp phạm vi thiệt hại
Mô-đun 3 — Xử lý đầu ra mô hình như không đáng tin cậy
Lab: Lab 02 — 02-Output-Handling
Loại lỗi mà nhà phát triển đánh giá thấp nhất.
Các chủ đề:
- đầu ra của mô hình như dữ liệu đầu vào không đáng tin cậy đối với phần còn lại của ứng dụng
- xử lý đầu ra không an toàn (LLM02): XSS, SSRF, lệnh / SQL injection ở phía downstream
- không bao giờ eval / exec / render đầu ra thô của mô hình
- đầu ra có cấu trúc và xác thực lược đồ
- mã hóa đầu ra và danh sách cho phép
- render an toàn trong bối cảnh web / UI
Các hoạt động thực hành:
- tìm và sửa lỗi xử lý đầu ra không an toàn
- thực thi lược đồ JSON trên các phản hồi của mô hình
Mô-đun 4 — Bảo mật RAG
Lab: Lab 03 — 03-RAG-Security
Một trong những bề mặt tấn công mới lớn nhất — và nó thuộc về bạn để xây dựng.
Các chủ đề:
- đe dọa cơ sở dữ liệu vector và truy xuất
- tẩy sạch khi nạp
- nguồn gốc tài liệu và xếp hạng tin cậy
- giới hạn phạm vi truy xuất và cô lập siêu dữ liệu
- hướng dẫn ẩn trong nội dung được truy xuất (tiêm lệnh gián tiếp)
- mạo tín dụng thông qua truy xuất
Các hoạt động thực hành: - đầu độc một đường ống RAG với tài liệu độc hại - thêm tẩy sạch khi nạp và giới hạn phạm vi truy xuất để phòng thủ
Mô-đun 5 — An toàn tác nhân & công cụ
Lab: Lab 04 — 04-Agent-Safety
Chỗ mà lỗi trở thành một hành động.
Các chủ đề:
- tác quyền quá mức (LLM06) và lạm dụng công cụ
- quyền hạn tối thiểu cho tác nhân
- danh sách cho phép công cụ và xác thực đối số
- cổng phê duyệt và con người trong vòng lặp
- nhẫng Sandbox khi thực thi công cụ
- tín dụng ngắn hạn, phạm vi hẹp cho tác nhân
- giới hạn các vòng lặp tự chủ và chuỗi
Các hoạt động thực hành:
- khóa chặt một tác nhân được cấp quyền quá mức
- thêm danh sách cho phép + cổng phê duyệt vào một công cụ nguy hiểm
Mô-đun 6 — Bí mật, Danh tính & Chi phí
Lab: Lab 05 — 05-Secrets-and-Cost
Các lỗi vận hành gây tổn thương nhanh nhất.
Các chủ đề:
- quản lý khóa API và bí mật (không bao giờ trong prompt, mã hoặc nhật ký)
- xác thực và ủy quyền theo từng người dùng cho các tính năng AI
- vận chuyển danh tính người dùng đến công cụ và truy xuất
- phủ nhận ví tiền: tiêu thụ token / chi phí không giới hạn
- giới hạn tốc độ, ngân sách token và thời gian chờ
- jật ký mà không làm rò rỉ bí mật hoặc thông tin cá nhân (PII)
Các hoạt động thực hành:
- đưa bí mật ra khỏi đường dẫn prompt / mã
- thêm giới hạn tốc độ theo từng người dùng và ngân sách token / chi phí
Mô-đun 7 — Thư viện bảo vệ (Guardrail Libraries)
Lab: Lab 06 — 06-Guardrails
Mua so với tự xây dựng cho an toàn đầu vào / đầu ra.
Các chủ đề:
- các khung bảo vệ làm gì (và không làm gì)
- bảo vệ đầu vào: bộ phân loại tiêm lệnh / PII / chủ đề
- bảo vệ đầu ra: xác thực, lọc, kiểm tra nền tảng
- khi nào một lớp bảo vệ phù hợp so với kiểm tra xác định của riêng bạn
- chồng lớp các lớp bảo vệ với các kiểm soát từ các mô-đun trước đó
- hiệu suất, dương tính giả và các chế độ lỗi
Các hoạt động thực hành:
- thêm một lớp bảo vệ đầu vào / đầu ra vào một tính năng AI
- đo lường những gì nó chặn và những gì nó bỏ sót
Mô-đun 8 — Kiểm thử xâm nhập (Red-Teaming) ứng dụng của bạn
Lab: Lab 07 — 07-Red-Teaming
Triển khai nó như thể kẻ tấn công đã nắm giữ nó rồi.
Các chủ đề:
- xây dựng bộ kiểm thử / lạm dụng cho các tính năng AI
- bài kiểm thử tiêm lệnh và jailbreak tự động
- kiểm thử hồi quy các lớp bảo vệ và chính sách
- chạy kiểm tra bảo mật AI trong CI
- chuỗi cung ứng mô hình và phụ thuộc (nguồn gốc, ghim phiên bản)
- danh sách kiểm tra bảo mật trước khi triển khai cho các tính năng AI
Các hoạt động thực hành:
- viết các bài kiểm thử red-team tự động cho một tính năng AI
- đấu chúng vào một kiểm tra CI
Mô-đun 9 — Điểm bảo mật AI: Khung SAIS-100
Lab: không có — bài tập chấm điểm (sử dụng ứng dụng Capstone)
Biến mọi thứ bạn đã xây dựng thành một điểm số lặp lại.
Các chủ đề:
- Lục giác Bảo mật AI: sáu câu hỏi thay vì "có nó an toàn không?"
- sáu danh mục được chấm điểm (Dữ liệu, Prompt, Tác nhân, Chuỗi cung ứng, Phát hiện, Quản trị)
- thang đo 100 điểm và các trọng số của nó
- các dải kết luận và quy định ghi đè danh mục đơn lẻ
- Thang điểm Secure AI Score (SAIS-100) như một khung được đánh nhãn, có thể chạy lại
- chấm điểm trước / sau khi gia cố như một chỉ số
Các hoạt động thực hành:
- chấm điểm ứng dụng Capstone trên thang 100 điểm
- chỉ ra thay đổi đơn lẻ mang lại sự gia tăng điểm số lớn nhất
Thông điệp chính: Ba danh mục có trọng số cao nhất ánh xạ đến các ranh giới tin cậy mà nhà phát triển sở hữu — do đó, điểm số đo lường chính xác những gì khóa học này đã dạy.
Capstone
Học viên gia cố một ứng dụng AI có lỗ hổng cố ý từ đầu đến cuối.
Ứng dụng khởi tạo chứa:
- một prompt có thể tiêm lệnh
- xử lý đầu ra không an toàn
- một đường ống RAG không bị giới hạn phạm vi
- một tác nhân được cấp quyền quá mức
- bí mật trong đường dẫn prompt
- không có giới hạn chi phí
Học viên áp dụng khóa học:
- cấu trúc lại prompts để kiểm soát
- xác thực và mã hóa đầu ra của mô hình
- tẩy sạch và giới hạn phạm vi truy xuất
- áp dụng nguyên tắc quyền tối thiểu và cổng phê duyệt cho tác nhân
- đưa bí mật ra ngoài và thêm giới hạn chi phí / tốc độ
- thêm lớp bảo vệ và bài kiểm thử red-team tự động
Sản phẩm: một ứng dụng đã gia cố cộng với bài tự đánh giá ngắn về OWASP LLM Top 10.
Bản đồ Mô-đun - Lab
Các bài lab chạy theo thứ tự lab, tuân theo thứ tự mô-đun. Khóa học có 9 mô-đun và 7 bài lab: Mô-đun 1 là thảo luận / trình diễn kiến trúc và Mô-đun 9 là bài tập chấm điểm, vì vậy không có thư mục lab riêng cho chúng.
- Lab 01 - 01-Prompt-Injection: Tấn công chatbot của bạn & thiết kế để kiểm soát (Mô-đun 2)
- Lab 02 - 02-Output-Handling: Sửa lỗi xử lý đầu ra không an toàn (Mô-đun 3)
- Lab 03 - 03-RAG-Security: Đầu độc rồi phòng thủ một đường ống RAG (Mô-đun 4)
- Lab 04 - 04-Agent-Safety: Khóa chặt một tác nhân được cấp quyền quá mức (Mô-đun 5)
- Lab 05 - 05-Secrets-and-Cost: Bảo mật khóa + thêm lớp bảo vệ chi phí (Mô-đun 6)
- Lab 06 - 06-Guardrails: Thêm một lớp bảo vệ đầu vào / đầu ra (Mô-đun 7)
- Lab 07 - 07-Red-Teaming: Bài kiểm thử red-team tự động trong CI (Mô-đun 8)
Mô-đun 1 (Cách ứng dụng AI bị phá vỡ) không có lab — nó chạy như một bài trình diễn kiến trúc và thảo luận. Mô-đun 9 (Điểm bảo mật AI) không có thư mục lab — nó chạy như một bài tập chấm điểm đối với ứng dụng Capstone.
Yêu cầu
- Mức độ kỹ năng: Trung cấp.
- Học viên nên thoải mái với: xây dựng và tiêu thụ REST APIs, một ngôn ngữ kịch bản (các bài lab sử dụng Python), xác thực ứng dụng cơ bản, git và CLI
- Không yêu cầu nền tảng học máy — đây là khóa học bảo mật ứng dụng dành cho những người xây dựng các tính năng với LLMs, chứ không phải những người huấn luyện chúng.
Mục tiêu đối tượng
- Kỹ sư phần mềm / kỹ sư backend đang xây dựng các tính năng LLM
- nhà phát triển Full-stack và API
- Kỹ sư ứng dụng AI/ML
- Kỹ sư nền tảng tung ra copilots và tác nhân
- Trưởng nhóm kỹ thuật (Tech leads) và kỹ sư cao cấp chịu trách nhiệm về các tính năng AI
Đánh giá (2)
Tôi thực sự thích thú khi tìm hiểu về các cuộc tấn công AI và những công cụ sẵn có để bắt đầu thực hành và áp dụng tích cực trong kiểm thử bảo mật. Tôi đã tiếp thu nhiều kiến thức mới mà trước đây tôi chưa có, và khóa học đã đáp ứng những kỳ vọng của tôi. Phần yêu thích nhất của tôi từ buổi huấn luyện là Comet Browser, và tôi rất ấn tượng với những gì nó có thể làm. Chắc chắn tôi sẽ tìm hiểu sâu hơn về điều này. Nhìn chung, đây là một khóa học tuyệt vời và tôi đã rất vui khi được học tất cả về OWASP GenAI Top 10.
Patrick Collins - Optum
Khóa học - OWASP GenAI Security
Dịch thuật bằng máy
Kiến thức chuyên nghiệp và cách anh ấy trình bày trước mặt chúng tôi
Miroslav Nachev - PUBLIC COURSE
Khóa học - Cybersecurity in AI Systems
Dịch thuật bằng máy