Bảo mật GenAI theo OWASP Khóa Học Đào Tạo

Ngày 1: Nền tảng và các mối đe dọa cốt lõi

Module 1: Giới thiệu Dự án Bảo mật GenAI của OWASP (1 giờ)

Mục tiêu học tập:

• Hiểu sự tiến hóa từ OWASP Top 10 đến các thách thức bảo mật cụ thể của GenAI
• Khám phá hệ sinh thái và tài nguyên của Dự án Bảo mật GenAI OWASP
• Xác định các khác biệt chính giữa bảo mật ứng dụng truyền thống và bảo mật AI

Các chủ đề được đề cập:

• Tổng quan về sứ mệnh và phạm vi của Dự án Bảo mật GenAI OWASP
• Giới thiệu khung Threat Defense COMPASS
• Hiểu rõ bối cảnh bảo mật AI và các yêu cầu pháp lý
• Bề mặt tấn công AI so với các lỗ hổng ứng dụng web truyền thống

Bài tập thực hành: Cài đặt công cụ OWASP Threat Defense COMPASS và thực hiện đánh giá mối đe dọa ban đầu

Module 2: OWASP Top 10 cho LLM - Phần 1 (2.5 giờ)

Mục tiêu học tập:

• Nắm vững năm lỗ hổng LLM quan trọng hàng đầu
• Hiểu các véc-tơ tấn công và kỹ thuật khai thác
• Áp dụng các chiến lược giảm thiểu thực tế

Các chủ đề được đề cập:

LLM01: Tiêm nhập lời nhắc (Prompt Injection)

• Kỹ thuật tiêm nhập lời nhắc trực tiếp và gián tiếp
• Tấn công chỉ lệnh ẩn và ô nhiễm chéo giữa các lời nhắc
• Ví dụ thực tế: Phá vỡ các chatbot và vượt qua các biện pháp an toàn
• Chiến lược phòng thủ: Làm sạch đầu vào, lọc lời nhắc, riêng tư khác biệt

LLM02: Lộ thông tin nhạy cảm

• Trích xuất dữ liệu huấn luyện và rò rỉ lời nhắc hệ thống
• Phân tích hành vi mô hình cho việc phơi bày thông tin nhạy cảm
• Hàm ý về quyền riêng tư và các yếu tố cân nhắc tuân thủ quy định
• Giảm thiểu: Lọc đầu ra, kiểm soát truy cập, ẩn danh hóa dữ liệu

LLM03: Lỗ hổng chuỗi cung ứng

• Phụ thuộc vào mô hình bên thứ ba và bảo mật plugin
• Bộ dữ liệu huấn luyện bị xâm phạm và đầu độc mô hình
• Đánh giá rủi ro nhà cung cấp cho các thành phần AI
• Thực hành triển khai và xác minh mô hình an toàn

Bài tập thực hành: Phòng thí nghiệm thực hành mô phỏng các cuộc tấn công tiêm nhập lời nhắc nhắm vào các ứng dụng LLM dễ bị tổn thương và triển khai các biện pháp phòng thủ

Module 3: OWASP Top 10 cho LLM - Phần 2 (2 giờ)

Các chủ đề được đề cập:

LLM04: Đầu độc dữ liệu và mô hình

• Kỹ thuật thao túng dữ liệu huấn luyện
• Sửa đổi hành vi mô hình thông qua các đầu vào bị đầu độc
• Tấn công hậu môn (backdoor) và xác minh tính toàn vẹn dữ liệu
• Phòng ngừa: Ống dẫn kiểm tra dữ liệu, theo dõi nguồn gốc

LLM05: Xử lý đầu ra không phù hợp

• Xử lý nội dung do LLM tạo ra không an toàn
• Chèn mã thông qua các đầu ra do AI tạo ra
• Tấn công tiêm chéo trang (Cross-site scripting) thông qua các phản hồi AI
• Khung kiểm tra và làm sạch đầu ra

Bài tập thực hành: Mô phỏng các cuộc tấn công đầu độc dữ liệu và triển khai các cơ chế kiểm tra đầu ra mạnh mẽ

Module 4: Các mối đe dọa LLM nâng cao (1.5 giờ)

Các chủ đề được đề cập:

LLM06: Quyền hạn quá mức (Excessive Agency)

• Rủi ro trong ra quyết định tự động và vi phạm ranh giới
• Quyền hạn và quản lý đặc quyền của tác tử (agent)
• Tương tác hệ thống không có chủ đích và leo thang đặc quyền
• Triển khai các rào cản an toàn (guardrails) và các biện pháp giám sát của con người

LLM07: Rò rỉ lời nhắc hệ thống

• Các lỗ hổng phơi bày chỉ lệnh hệ thống
• Lộ thông tin xác thực và logic thông qua các lời nhắc
• Kỹ thuật tấn công để trích xuất lời nhắc hệ thống
• Bảo mật các chỉ lệnh hệ thống và cấu hình bên ngoài

Bài tập thực hành: Thiết kế kiến trúc tác tử an toàn với các biện pháp kiểm soát truy cập và giám sát phù hợp

Ngày 2: Các mối đe dọa nâng cao và Triển khai

Module 5: Các mối đe dọa AI mới nổi (2 giờ)

Mục tiêu học tập:

• Hiểu các mối đe dọa bảo mật AI tiên tiến
• Triển khai các kỹ thuật phát hiện và phòng ngừa nâng cao
• Thiết kế các hệ thống AI kiên cường trước các cuộc tấn công tinh vi

Các chủ đề được đề cập:

LLM08: Điểm yếu Vector và nhúng (Embedding)

• Các lỗ hổng hệ thống RAG và bảo mật cơ sở dữ liệu vector
• Tấn công đầu độc nhúng và thao túng độ tương tự
• Các ví dụ đối kháng trong tìm kiếm ngữ nghĩa
• Bảo mật các kho vector và triển khai phát hiện bất thường

LLM09: Thông tin sai lệch và độ tin cậy của mô hình

• Phát hiện và giảm thiểu ảo giác (hallucination)
• Khuếch đại thiên kiến và cân nhắc tính công bằng
• Các cơ chế kiểm chứng sự thật và xác minh nguồn gốc
• Xác minh nội dung và tích hợp giám sát của con người

LLM10: Tiêu thụ không giới hạn

• Hao kiệt tài nguyên và tấn công từ chối dịch vụ
• Chiến lược giới hạn tốc độ và quản lý tài nguyên
• Tối ưu hóa chi phí và kiểm soát ngân sách
• Hệ thống giám sát hiệu suất và cảnh báo

Bài tập thực hành: Xây dựng pipeline RAG an toàn với bảo vệ cơ sở dữ liệu vector và phát hiện ảo giác

Module 6: Bảo mật AI có tính tự hành (Agentic AI) (2 giờ)

Mục tiêu học tập:

• Hiểu các thách thức bảo mật độc đáo của các tác tử AI tự động
• Áp dụng phân loại mối đe dọa Agentic AI của OWASP vào các hệ thống thực tế
• Triển khai các biện pháp kiểm soát bảo mật cho các môi trường đa tác tử

Các chủ đề được đề cập:

• Giới thiệu về Agentic AI và các hệ thống tự động
• Phân loại mối đe dọa Agentic AI của OWASP: Thiết kế tác tử, bộ nhớ, lập kế hoạch, sử dụng công cụ, triển khai
• Bảo mật hệ thống đa tác tử và các rủi ro phối hợp
• Sử dụng sai công cụ, đầu độc bộ nhớ và các cuộc tấn công bắt cóc mục tiêu
• Bảo mật các quá trình liên lạc và ra quyết định của tác tử

Bài tập thực hành: Bài tập mô hình hóa mối đe dọa sử dụng phân loại Agentic AI của OWASP trên một hệ thống dịch vụ khách hàng đa tác tử

Module 7: Triển khai OWASP Threat Defense COMPASS (2 giờ)

Mục tiêu học tập:

• Nắm vững việc ứng dụng thực tế của Threat Defense COMPASS
• Tích hợp đánh giá mối đe dọa AI vào các chương trình bảo mật tổ chức
• Phát triển các chiến lược quản lý rủi ro AI toàn diện

Các chủ đề được đề cập:

• Tìm hiểu sâu về phương pháp luận Threat Defense COMPASS
• Tích hợp vòng lặp OODA: Quan sát, Định hướng, Quyết định, Hành động
• Áp ánh các mối đe dọa vào các khung MITRE ATT&CK và ATLAS
• Xây dựng các bảng điều khiển Chiến lược khả năng phục hồi mối đe dọa AI
• Tích hợp với các công cụ và quy trình bảo mật hiện có

Bài tập thực hành: Hoàn tất đánh giá mối đe dọa sử dụng COMPASS cho một kịch bản triển khai Microsoft Copilot

Module 8: Triển khai thực tế và các thực hành tốt nhất (2.5 giờ)

Mục tiêu học tập:

• Thiết kế các kiến trúc AI an toàn từ nền tảng
• Triển khai giám sát và ứng phó sự cố cho các hệ thống AI
• Tạo các khung quản trị cho bảo mật AI

Các chủ đề được đề cập:

Chu kỳ phát triển AI an toàn:

• Nguyên tắc an toàn ngay từ thiết kế cho các ứng dụng AI
• Thực hành xem xét mã nguồn cho các tích hợp LLM
• Phương pháp kiểm thử và quét lỗ hổng
• Bảo mật triển khai và tăng cường độ bền cho môi trường sản xuất

Giám sát và Phát hiện:

• Các yêu cầu ghi log và giám sát cụ thể cho AI
• Phát hiện bất thường cho các hệ thống AI
• Quy trình ứng phó sự cố cho các sự kiện bảo mật AI
• Kỹ thuật pháp y và điều tra

Quản trị và Tuân thủ:

• Các khung và chính sách quản lý rủi ro AI
• Các yếu tố cân nhắc tuân thủ quy định (GDPR, Đạo luật AI, v.v.)
• Đánh giá rủi ro bên thứ ba cho các nhà cung cấp AI
• Đào tạo nhận thức bảo mật cho các đội ngũ phát triển AI

Bài tập thực hành: Thiết kế một kiến trúc bảo mật hoàn chỉnh cho một chatbot AI doanh nghiệp, bao gồm giám sát, quản trị và quy trình ứng phó sự cố

Module 9: Công cụ và Công nghệ (1 giờ)

Mục tiêu học tập:

• Đánh giá và triển khai các công cụ bảo mật AI
• Hiểu rõ bối cảnh hiện tại của các giải pháp bảo mật AI
• Xây dựng các năng lực phát hiện và phòng ngừa thực tế

Các chủ đề được đề cập:

• Hệ sinh thái công cụ bảo mật AI và bối cảnh nhà cung cấp
• Các công cụ bảo mật mã nguồn mở: Garak, PyRIT, Giskard
• Các giải pháp thương mại cho bảo mật và giám sát AI
• Các mẫu tích hợp và chiến lược triển khai
• Tiêu chí chọn công cụ và khung đánh giá

Bài tập thực hành: Diễn thuyết thực hành về các công cụ kiểm tra bảo mật AI và lập kế hoạch triển khai

Module 10: Xu hướng tương lai và Tổng kết (1 giờ)

Mục tiêu học tập:

• Hiểu các mối đe dọa mới nổi và các thách thức bảo mật trong tương lai
• Phát triển các chiến lược học tập và cải thiện liên tục
• Tạo các kế hoạch hành động cho các chương trình bảo mật AI tổ chức

Các chủ đề được đề cập:

• Các mối đe dọa mới nổi: Deepfakes, tiêm nhập lời nhắc nâng cao, đảo ngược mô hình
• Sự phát triển và lộ trình tương lai của dự án GenAI OWASP
• Xây dựng các cộng đồng bảo mật AI và chia sẻ kiến thức
• Cải thiện liên tục và tích hợp tình báo mối đe dọa

Bài tập lập kế hoạch hành động: Phát triển kế hoạch hành động 90 ngày để triển khai các thực hành bảo mật GenAI OWASP trong tổ chức của người tham gia