Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Bối cảnh Mối đe dọa AI
- Tại sao an ninh AI lại khác biệt: tính phi xác định, lý luận mờ nhạt, prompt như một bề mặt tấn công
- Hệ thống phân loại tấn công: tấn công thời điểm huấn luyện, thời điểm suy luận và tấn công chuỗi cung ứng
- Mô hình kẻ thù ML: ai tấn công hệ thống AI và vì lý do gì
OWASP Top 10 cho Ứng dụng LLM
- Tiêm prompt: các vectơ tấn công trực tiếp và gián tiếp
- Xử lý kết quả đầu ra không an toàn và giả mạo yêu cầu chéo giữa các plugin
- Đầu độc dữ liệu huấn luyện và lỗ hổng chuỗi cung ứng
- Từ chối dịch vụ đối với mô hình, tiết lộ thông tin nhạy cảm và quyền hạn quá mức
- Bài lab thực hành: khai thác từng danh mục OWASP chống lại một ứng dụng thử nghiệm
Red Teaming Tiêm Prompt và Vượt qua Cơ chế Kiểm soát
- Hệ thống phân loại các kỹ thuật tiêm: trực tiếp, gián tiếp, nhiều lượt và đa phương thức
- Red-teaming tự động với Giskard, Garak và các công cụ fuzzing tùy chỉnh
- Xếp loại jailbreak và đánh giá khả năng phòng thủ
- Xây dựng môi trường red-team cho việc kiểm thử an ninh LLM liên tục
Các cuộc Tấn công và Phòng thủ ở Cấp độ Mô hình
- Trích xuất mô hình: đánh cắp trọng số và chức năng mô hình thông qua truy vấn API
- Suy luận thành viên: xác định xem dữ liệu có nằm trong tập huấn luyện hay không
- Ví dụ đối nghịch: các biến đổi nhỏ nhằm đánh lừa bộ phân loại và biểu diễn (embeddings)
- Đầu độc dữ liệu: làm hỏng dữ liệu huấn luyện để cài đặt backdoor hoặc giảm hiệu năng
Các Kiểm soát An ninh Đầu vào và Đầu ra
- Làm sạch đầu vào vượt xa các biện pháp bảo vệ web truyền thống
- Lọc kết quả đầu ra: độc tính, rò rỉ thông tin cá nhân (PII), thực thi mã ảo
- Guardrails như cơ sở hạ tầng an ninh: NeMo, Guardrails AI và các chính sách tùy chỉnh
- Bổn ép kết cấu đầu ra như một ranh giới an ninh
An ninh Chuỗi cung ứng AI
- Nguồn gốc mô hình: xác minh tính chính hãng và toàn vẹn của mô hình
- Quét phụ thuộc cho các khung ML và định dạng mô hình
- Serving mô hình an toàn: cách ly sandbox, cô lập mạng và quyền truy cập tối thiểu
- Kiểm duyệt các mô hình tinh chỉnh và cộng đồng để tìm mã độc nhúng
An ninh Vận hành cho Hệ thống AI
- Kiểm soát truy cập cho điểm cuối mô hình, kho vectơ và công cụ tác tử (agent)
- Ghi nhật ký kiểm toán cho mọi tương tác và quyết định của mô hình
- Phản ứng sự cố đối với các vi phạm đặc thù AI: khi chính mô hình bị xâm phạm
- Kiểm thử an ninh liên tục trong CI/CD cho các đường ống ML
Xây dựng Chương trình An ninh AI
- Mô hình mức độ trưởng thành và lộ trình an ninh AI
- Tích hợp an ninh AI vào các chương trình AppSec và an ninh đám mây hiện có
- Khung quản trị và quy định mới nổi cho hệ thống AI
- Xây dựng và duy trì sổ tay an ninh AI của tổ chức
Yêu cầu
- Kinh nghiệm triển khai các mô hình ML hoặc ứng dụng LLM trong môi trường sản xuất.
- Thông thạo về các khái niệm an ninh, bao gồm xác thực, ủy quyền và mô hình hóa mối đe dọa.
- Kiến thức chuyên sâu về Python để thực hiện các bài tập kiểm thử đối nghịch.
Đối tượng
- Kỹ sư an ninh mở rộng sang các bề mặt đe dọa AI/ML.
- Kỹ sư ML chịu trách nhiệm về tính an toàn và độ bền của mô hình.
- Thành viên nhóm red-team thêm hệ thống AI vào phạm vi kiểm thử.
14 Giờ
