Đề cương khóa học
Ngày 1
Cấu trúc của một Đại lý AI Hiện đại
Vượt ra ngoài các bot trò chuyện: Đại lý như các hệ thống lập luận và hành động tự chủ
Các mô hình đại lý: Phản ứng, chủ động, lai và hướng đích
Các thành phần cốt lõi: Nhận thức, lập kế hoạch, bộ nhớ, sử dụng công cụ, hành động
Những sự đánh đổi trong thiết kế đại lý đơn lẻ so với đa đại lý
Khuôn khổ Đại lý và Nền tảng Hiện đại
LangChain, LlamaIndex, AutoGen, CrewAI và những sự đánh đổi của chúng
So sánh với các khuôn khổ cổ điển như JADE và SPADE
Lựa chọn khuôn khổ dựa trên yêu cầu sản xuất
Gọi công cụ, gọi hàm và đầu ra có cấu trúc
Thực hành: Xây dựng khung một đại lý Python với các lệnh gọi công cụ
Kiến trúc Hệ thống Đa Đại lý
Thiết kế hệ thống tập trung, phi tập trung, lai và phân tầng
FIPA ACL, chuyển tiếp tin nhắn và các tương đương hiện đại
Mẫu phối hợp: Lập kế hoạch, đàm phán, đồng bộ hóa
Hành vi phát sinh và tự tổ chức trong quần thể đại lý
Quyết định và Học tập trong Đại lý
Lý thuyết trò chơi cho tương tác hợp tác và cạnh tranh giữa các đại lý
Học tăng cường trong môi trường đa đại lý
Học chuyển tiếp và chia sẻ tri thức giữa các đại lý
Giải quyết xung đột và niềm tin giữa các đại lý phối hợp
Ngày 2
Nền tảng Đa Phương tiện cho Đại lý
AI đa phương tiện như một quy trình làm việc thống nhất trên văn bản, hình ảnh, giọng nói và video
Các mô hình đa phương tiên hàng đầu: GPT-4 Vision, Gemini, Claude, Whisper
Kỹ thuật kết hợp để tích hợp các phương tiện bên trong vòng lặp lập luận của đại lý
Sự đánh đổi về độ trễ, chi phí và độ chính xác trong các quy trình đa phương tiện
Xây dựng Lớp Nhận thức
Xử lý hình ảnh cho đại lý: phân loại, chú thích, phát hiện đối tượng
Nhận dạng giọng nói với Whisper ASR và chép lời trực tiếp
Tổng hợp giọng nói từ văn bản và tương tác giọng nói tự nhiên
Nối đầu ra nhận thức với lập luận và lựa chọn công cụ do LLM điều khiển
Thực hành - Xây dựng Đại lý Đa Phương tiện trong Python
Xác định nhiệm vụ, cửa sổ ngữ cảnh và danh mục công cụ của đại lý
Kết nối API GPT-4 Vision và Whisper theo chiều dài từ đầu đến cuối
Xây dựng bộ nhớ, trạng thái và quản lý hội thoại
Thêm các lệnh gọi công cụ tạo ra tác động thực tế một cách an toàn
Thực hành - Điều phối Hệ thống Đa Đại lý
Phối hợp các đại lý chuyên biệt bằng AutoGen hoặc CrewAI
Xác định vai trò, trách nhiệm và giao thức giao tiếp giữa các đại lý
Phân bổ nguồn lực và phối hợp trong môi trường mô phỏng
Ghi lại quá trình lập luận, lệnh gọi công cụ và quyết định của đại lý để kiểm tra và kiểm toán
Ngày 3
Diện tích Mối đe dọa của Đại lý AI Sản xuất
Điều gì khiến AI đại lý dễ bị tổn thương độc đáo so với phần mềm truyền thống
Diện tích tấn công: dữ liệu, mô hình, lời nhắc, công cụ, đầu ra và lớp giao diện
Mô hình hóa mối đe dọa cho các hệ thống dựa trên đại lý với khả năng sử dụng công cụ tự chủ
So sánh thực tiễn an ninh mạng AI với an ninh mạng truyền thống
Thực hành Tấn công Đối kháng
Ví dụ đối kháng và phương pháp nhiễu: FGSM, PGD, DeepFool
Các kịch bản tấn công hộp trắng so với hộp đen
Tấn công đảo ngược mô hình và suy luận thành viên
Đầu độc dữ liệu và tiêm backdoor trong quá trình huấn luyện
Đổ lỗi lời nhắc, phá vỡ hạn chế và lạm dụng công cụ trong các đại lý dựa trên LLM
Kỹ thuật Phòng thủ và Củng cố Mô hình
Chiến lược huấn luyện đối kháng và tăng cường dữ liệu
Chưng cất phòng thủ và các kỹ thuật độ bền khác
Xử lý đầu vào, che Gradient và chuẩn hóa
Quyền riêng tư vi phân, tiêm nhiễu và ngân sách quyền riêng tư
Học liên kết và tổng hợp bảo mật cho huấn luyện phân tán
Thực hành với Công cụ Độ bền Đối kháng
Mô phỏng tấn công vào đại lý đa phương tiện đã xây dựng ở Ngày 2
Đo lường độ bền dưới sự nhiễu và định lượng sự suy giảm
Áp dụng các biện pháp phòng thủ lặp đi lặp lại và đánh giá lại tỷ lệ tấn công thành công
Thử nghiệm độ bền trên các đường dẫn gọi công cụ và vectơ đổ lỗi lời nhắc
Ngày 4
Khuôn khổ Quản trị Rủi ro cho AI
Khuôn khổ Quản trị Rủi ro AI của NIST: Quản trị, ánh xạ, đo lường, quản lý
ISO/IEC 42001 và các tiêu chuẩn cụ thể cho AI đang phát triển
Ánh xạ rủi ro AI vào các khuôn khổ GRC doanh nghiệp hiện có
Yêu cầu về trách nhiệm giải trình, khả năng kiểm toán và tài liệu hóa AI
Tuân thủ Quy định cho Hệ thống Đại lý
Đạo luật AI của EU: các tầng rủi ro, mục đích bị cấm và nghĩa vụ cho hệ thống rủi ro cao
Hậu quả của GDPR và CCPA đối với quy trình xử lý dữ liệu của đại lý
Lệnh Hành pháp Hoa Kỳ về AI An toàn, Bảo mật và Đáng tin cậy
Hướng dẫn cụ thể theo ngành cho tài chính, y tế và dịch vụ công cộng
Rủi ro bên thứ ba và việc sử dụng công cụ AI của nhà cung cấp
Đạo đức, Thiên kiến và Khả năng Giải thích
Phát hiện và giảm thiểu thiên kiến trong nhận thức và lập luận của đại lý
Khả năng giải thích và minh bạch như các thuộc tính liên quan đến bảo mật
Công bằng, tác hại thứ cấp và triển khai có trách nhiệm
Thiết kế hành vi đại lý bao trùm và có thể kiểm toán
Triển khai Sản xuất, Giám sát và Phản ứng Sự cố
Mẫu triển khai bảo mật cho hệ thống đơn lẻ và đa đại lý
Giai đoạn liên tục phát hiện sự trôi dạt, bất thường và lạm dụng
Ghi nhật ký, hồ sơ kiểm toán và chuẩn bị pháp y cho hành động của đại lý
Sách playbook phản ứng sự cố an ninh AI và khôi phục
Nghiên cứu trường hợp về các vụ vi phạm AI thực tế và bài học kinh nghiệm
Công việc Tổng kết và Tổng hợp
Đánh giá lại hệ thống đa phương tiện đa đại lý đã xây dựng xuyên suốt khóa học
Đánh giá quy trình đầu cuối: thiết kế, xây dựng, bảo mật, quản trị, triển khai
Tự đánh giá hệ thống dựa trên các chức năng NIST AI RMF
Tầm nhìn về các xu hướng mới nổi trong AI đại lý và an ninh AI
Tổng kết và Các Bước Tiếp theo
Yêu cầu
Đối tượng mục tiêu
Kỹ sư AI và Kiến trúc sư xây dựng các hệ thống đại lý cho mục đích sử dụng sản xuất. Các chuyên gia an ninh mạng, quản lý rủi ro và tuân thủ chịu trách nhiệm về đảm bảo AI trong các ngành công nghiệp được giám sát chặt chẽ như tài chính, y tế và tư vấn. Các nhà phát triển cao cấp và lãnh đạo giải pháp tích hợp khả năng đa phương tiện và đa đại lý vào các nền tảng doanh nghiệp.
Đánh giá (3)
Người hướng dẫn rất kiên nhẫn và hữu ích. Anh ấy am hiểu rõ về chủ đề.
CLIFFORD TABARES - Universal Leaf Philippines, Inc.
Khóa học - Agentic AI for Business Automation: Use Cases & Integration
Dịch thuật bằng máy
Phần lý thuyết và thực hành được pha trộn tốt
Ion Mironescu - Facultatea S.A.I.A.P.M.
Khóa học - Agentic AI for Enterprise Applications
Dịch thuật bằng máy
Phần kết hợp giữa lý thuyết và thực hành, giữa các góc nhìn ở mức độ cao và thấp
Ion Mironescu - Facultatea S.A.I.A.P.M.
Khóa học - Autonomous Decision-Making with Agentic AI
Dịch thuật bằng máy