Đề cương khóa học
Module 1 — Hệ thống AI dành cho Kỹ sư An ninh
Lab: Lab 01 — 01-Introduction
Hiểu kiến trúc hệ thống.
Nội dung:
- LLM so với ứng dụng thông thường
- Kênh suy luận AI (AI inference pipelines)
- Dòng chảy lệnh (Prompt flow)
- Kiến trúc RAG
- Embeddings / cơ sở dữ liệu vectơ
- Lưu trình tác nhân
- Gọi công cụ
- Cổng AI
- Trợ lý ảo (Copilots)
- Giao thức MCP và tác nhân
- Nơi WAF có khả năng quan sát
- Nơi WAF mất khả năng quan sát
Điểm mấu chốt: WAF truyền thống thường mất khả năng quan sát sau khi lệnh đến được mô hình.
Module 2 — OWASP GenAI Top 10
Lab: không có — tóm tắt/thảo luận tương tác
Các nhóm tấn công AI cốt lõi.
Nội dung:
- Tiêm lệnh (Prompt Injection)
- Xử lý đầu ra không an toàn
- Đầu độc dữ liệu huấn luyện
- DoS mô hình
- Sơ hở chuỗi cung ứng
- Rò rỉ thông tin nhạy cảm
- Quyền tự hành quá mức
- Sơ hở của Vectơ/Embedding
- Thông tin sai lệch
- Tiêu thụ không giới hạn
Bao gồm:
- Khác biệt so với OWASP kinh điển
- Ánh xạ đến các biện pháp phòng thủ (WAF, gateway, lớp ứng dụng)
- Vị trí mà mỗi biện pháp kiểm soát giúp ích
- Vị trí mà mỗi biện pháp kiểm soát thất bại
Module 3 — Phát hiện Tiêm lệnh
Lab: Lab 02 — 02-Prompt-Injection
Cuộc “thời khắc SQL injection” đối với AI.
Nội dung:
- Tiêm lệnh trực tiếp
- Tiêm lệnh gián tiếp
- Lệnh ẩn
- Cuộc tấn công dựa trên tài liệu
- Tiêm HTML/Markdown
- Mẫu jailbreak
- Cuộc tấn công ghi đè ngữ cảnh
- Cuộc tấn công làm nhầm lẫn vai trò
Chiến lược phát hiện:
- Khe luật từ khóa
- Phân loại ngữ nghĩa
- Kiểm tra cú pháp lệnh (prompt linting)
- Enforcement biên giới chỉ thị
- Chính sách cho phép/cấm
- Mẫu regex nhận biết AI
Bài lab thực hành:
- Tấn công bot trò chuyện
- Vượt qua bộ lọc ngây thơ
- Xây dựng hệ thống phátetect theo lớp
Module 4 — Quy tắc WAF nhận biết AI
Lab: Lab 03 — 03-WAF-Basics
Cách quy tắc WAF phát triển cho hệ thống AI.
- Nội dung:
- Bảo vệ điểm cuối LLM
- Bảo vệ API suy luận
- Giới hạn tốc độ nhận biết token
- Kiểm tra kích thước lệnh
- Chữ ký đặc thù AI
- Phát hiện bất thường trong hội thoại
- Mẫu lạm dụng đa lượt
- Nỗ enumerate mô hình
- Lấy dữ liệu suy luận
- Bảo vệ chống từ chối ví tiền
Ví dụ:
- Bảo vệ /v1/chat/completions
- Phòng thủ các API streaming
- Chặn lệnh gọi tác nhân đệ quy
Module 5 — Bảo vệ Kênh RAG
Lab: Lab 04 — 04-RAG-Security
Một trong những bề mặt tấn công mới lớn nhất.
Nội dung:
- Mối đe dọa DB vectơ
- Đầu độc embedding
- PDF/tài liệu độc hại
- Bóp méo quá trình truy xuất
- Đầu độc ngữ nghĩa
- Lệnh ẩn trong tài liệu
- Nhiễm bẩn chéo giữa các tài liệu
- Rò rỉ dữ liệu qua cơ chế truy xuất
Các biện pháp phòng thủ:
- Tiêu chuẩn hóa khi nhập liệu
- Điểm tin cậy
- Lớp cách ly siêu dữ liệu
- Xuất xứ tài liệu
- Chính sách truy xuất
- Khoanh vùng
Nghiên cứu tình huống: “Tải lên một PDF bị đầu độc và chiếm quyền điều khiển trợ lý AI.”
Module 6 — Bảo mật AI dạng tác nhân (Agentic AI)
Lab: Lab 05 — 05-Agent-Security
Khúc quanh nơi mọi thứ trở nên nguy hiểm.
Nội dung:
- Quyền tự hành quá mức
- Lạm dụng công cụ
- Kết nối chuỗi API
- Vòng lặp tự động
- Cấp quyền vượt bậc
- Đầu độc bộ nhớ
- Thực thi công cụ gián tiếp
- Lừa mạo tác nhân
- Rò rỉ thông tin xác thực
- Tấn công đa tác nhân
Các biện pháp phòng thủ:
- Nguyên tắc đặc quyền tối thiểu cho tác nhân
- Cổng phê duyệt
- Công cụ chính sách thời gian chạy
- Khoanh vùng (Sandboxing)
- Thông tin xác thực có giới hạn
- Danh sách trắng công cụ
- Con người trong vòng lặp
Đây là phần thường được các nhà quản lý quan tâm nhất vì rủi ro trở thành vận hành và ảnh hưởng đến kinh doanh.
Module 7 — Bảo mật API cho AI
Lab: Lab 06 — 06-Denial-of-Wallet
Hệ thống AI phụ thuộc nhiều vào API.
Nội dung:
- Cổng API
- Mối rủi ro GraphQL AI
- Lạm dụng MCP/API
- Bảo vệ JWT
- Bảo mật plugin AI
- Xác thực tác nhân
- Ủy quyền được ủy nhiệm
- Quản lý bí mật
- Lệnh đã ký
- Kho inventory API cho AI
Gắn kết với: OWASP API Security Top 10
Module 8 — Kỹ thuật Phát hiện & Tích hợp SOC
Lab: Lab 07 — 07-Detection
Phòng thủ vận hành.
Nội dung:
- Telemetry AI
- Ghi nhật ký lệnh
- Phân tích token
- Phát hiện bất thường
- Kênh SIEM ngữ nghĩa
- Các chỉ báo tấn công AI
- Săn tìm mối đe dọa đối với lạm dụng LLM
- Khả năng quan sát thời gian chạy AI
Ví dụ:
- Phát hiện chiến dịch jailbreak
- Nhận diện lạm dụng tác nhân tự động
- Xác định việc trích xuất mô hình
Module 9 — WAF đám mây và An ninh AI
Lab: không có — tóm tắt/thảo luận tương tác
Các triển khai cụ thể theo nhà cung cấp.
Nội dung:
- AWS WAF cho API AI
- Azure WAF
- Cloudflare AI Gateway
- Cổng API
- Lọc AI Envoy
- Kong AI Gateway
- Mẫu bảo mật AI NGINX
So sánh:
- WAF truyền thống vs cổng AI vs guardrail lớp ứng dụng
- Lọc dựa trên proxy vs lọc ngữ nghĩa
Module 10 — Xây dựng Phòng thủ AI Theo Lớp
Lab: Lab 08 — 08-Layered-Defense
Kết luận triết lý quan trọng:
Không có lớp đơn lẻ nào có thể bảo vệ hoàn toàn AI (WAF độc lập càng không thể).
Học viên xây dựng một mô hình phòng thủ nhiều lớp:
- WAF
- Cổng API
- Cổng AI
- Guardrails
- Giám sát thời gian chạy
- Xác thực/ủy quyền
- Sandbox
- Phe duyệt của con người
- Tính khả quan sát
- Ứng phó sự cố
Điều này phù hợp chặt chẽ với mô hình “bảo mật đa lớp”.
Bản đồ Mô ↔ Lab
Các lab được chạy theo thứ tự lab, tương ứng với thứ tự mô-đun.
Khóa học có 10 mô-đun nhưng chỉ có 8 lab: Mô-đun 2 và 9 là phần tóm tắt/thảo luận tương tác nên không có lab đi kèm.
Mỗi lab được gắn nhãn với mô-đun tương ứng trong phác thảo này.
- Lab 01 (Module 1)
- Thư mục: 01-Introduction
- Tiêu đề: Khám phá hệ thống AI — những gì đang trên dây mạng
- Lab 02 (Module 3)
- Thư mục: 02-Prompt-Injection
- Tiêu đề: Tấn công bot trò chuyện & vượt qua bộ lọc ngây thơ
- Lab 03 (Module 4)
- Thư mục: 03-WAF-Basics
- Tiêu đề: Xây dựng quy tắc WAF nhận biết AI
- Lab 04 (Module 5)
- Thư mục: 04-RAG-Security
- Tiêu đề: Đầu độc kênh RAG
- Lab 05 (Module 6)
- Thư mục: 05-Agent-Security
- Tiêu đề: Bảo vệ một tác nhân tự động
- Lab 06 (Module 7)
- Thư mục: 06-Denial-of-Wallet
- Tiêu đề: Phát hiện cuộc tấn công từ chối ví tiền
- Lab 07 (Module 8)
- Thư mục: 07-Detection
- Tiêu đề: Giám sát các mẫu lạm dụng AI trong nhật ký
- Lab 08 (Module 10)
- Thư mục: 08-Layered-Defense
- Tiêu đề: Xây dựng kiến trúc phòng thủ AI theo lớp
Bài tổng hợp (Capstone)
Học viên bảo vệ một trợ lý doanh nghiệp AI mô phỏng.
Đối thủ tấn công thử nghiệm:
- Tiêm lệnh
- Lạm dụng công cụ
- Đánh cắp thông tin xác thực
- Đầu độc cơ chế truy xuất
- Tiêu thụ API quá mức
- Nâng cấp đặc quyền của tác nhân
Các nhóm xây dựng:
- Quy tắc WAF
- Chính sách cổng AI
- Xuất phát hiện tại thời điểm chạy
- Guardrails
- Ứng phó sự cố
Yêu cầu
- Học viên cần đã hiểu về bảo mật HTTP/API, proxy/proxy ngược, xác thực, OWASP Top 10, API REST và mạng đám mây cơ bản
Đối tượng
- Kỹ sư An ninh & AppSec
- Chuyên gia SOC & kỹ thuật phát hiện
- Kỹ sư bảo mật API
- An ninh Đám mây / API / nền tảng
- Kỹ sư DevSecOps
- Kiến trúc sư An ninh
- Chuyên gia WAF / an ninh mạng
- Kỹ sư nền tảng AI
Đánh giá (2)
Tôi thực sự thích thú khi tìm hiểu về các cuộc tấn công AI và những công cụ sẵn có để bắt đầu thực hành và áp dụng tích cực trong kiểm thử bảo mật. Tôi đã tiếp thu nhiều kiến thức mới mà trước đây tôi chưa có, và khóa học đã đáp ứng những kỳ vọng của tôi. Phần yêu thích nhất của tôi từ buổi huấn luyện là Comet Browser, và tôi rất ấn tượng với những gì nó có thể làm. Chắc chắn tôi sẽ tìm hiểu sâu hơn về điều này. Nhìn chung, đây là một khóa học tuyệt vời và tôi đã rất vui khi được học tất cả về OWASP GenAI Top 10.
Patrick Collins - Optum
Khóa học - OWASP GenAI Security
Dịch thuật bằng máy
Kiến thức chuyên nghiệp và cách anh ấy trình bày trước mặt chúng tôi
Miroslav Nachev - PUBLIC COURSE
Khóa học - Cybersecurity in AI Systems
Dịch thuật bằng máy