Liên hệ với chúng tôi

Đề cương khóa học

Ngày 1
Cấu trúc của một Đại lý AI Hiện đại

Vượt ra ngoài các bot trò chuyện: Đại lý như các hệ thống lập luận và hành động tự chủ

Các mô hình đại lý: Phản ứng, chủ động, lai và hướng đích

Các thành phần cốt lõi: Nhận thức, lập kế hoạch, bộ nhớ, sử dụng công cụ, hành động

Những sự đánh đổi trong thiết kế đại lý đơn lẻ so với đa đại lý

Khuôn khổ Đại lý và Nền tảng Hiện đại

LangChain, LlamaIndex, AutoGen, CrewAI và những sự đánh đổi của chúng

So sánh với các khuôn khổ cổ điển như JADE và SPADE

Lựa chọn khuôn khổ dựa trên yêu cầu sản xuất

Gọi công cụ, gọi hàm và đầu ra có cấu trúc

Thực hành: Xây dựng khung một đại lý Python với các lệnh gọi công cụ

Kiến trúc Hệ thống Đa Đại lý

Thiết kế hệ thống tập trung, phi tập trung, lai và phân tầng

FIPA ACL, chuyển tiếp tin nhắn và các tương đương hiện đại

Mẫu phối hợp: Lập kế hoạch, đàm phán, đồng bộ hóa

Hành vi phát sinh và tự tổ chức trong quần thể đại lý

Quyết định và Học tập trong Đại lý

Lý thuyết trò chơi cho tương tác hợp tác và cạnh tranh giữa các đại lý

Học tăng cường trong môi trường đa đại lý

Học chuyển tiếp và chia sẻ tri thức giữa các đại lý

Giải quyết xung đột và niềm tin giữa các đại lý phối hợp

Ngày 2
Nền tảng Đa Phương tiện cho Đại lý

AI đa phương tiện như một quy trình làm việc thống nhất trên văn bản, hình ảnh, giọng nói và video

Các mô hình đa phương tiên hàng đầu: GPT-4 Vision, Gemini, Claude, Whisper

Kỹ thuật kết hợp để tích hợp các phương tiện bên trong vòng lặp lập luận của đại lý

Sự đánh đổi về độ trễ, chi phí và độ chính xác trong các quy trình đa phương tiện

Xây dựng Lớp Nhận thức

Xử lý hình ảnh cho đại lý: phân loại, chú thích, phát hiện đối tượng

Nhận dạng giọng nói với Whisper ASR và chép lời trực tiếp

Tổng hợp giọng nói từ văn bản và tương tác giọng nói tự nhiên

Nối đầu ra nhận thức với lập luận và lựa chọn công cụ do LLM điều khiển

Thực hành - Xây dựng Đại lý Đa Phương tiện trong Python

Xác định nhiệm vụ, cửa sổ ngữ cảnh và danh mục công cụ của đại lý

Kết nối API GPT-4 Vision và Whisper theo chiều dài từ đầu đến cuối

Xây dựng bộ nhớ, trạng thái và quản lý hội thoại

Thêm các lệnh gọi công cụ tạo ra tác động thực tế một cách an toàn

Thực hành - Điều phối Hệ thống Đa Đại lý

Phối hợp các đại lý chuyên biệt bằng AutoGen hoặc CrewAI

Xác định vai trò, trách nhiệm và giao thức giao tiếp giữa các đại lý

Phân bổ nguồn lực và phối hợp trong môi trường mô phỏng

Ghi lại quá trình lập luận, lệnh gọi công cụ và quyết định của đại lý để kiểm tra và kiểm toán

Ngày 3
Diện tích Mối đe dọa của Đại lý AI Sản xuất

Điều gì khiến AI đại lý dễ bị tổn thương độc đáo so với phần mềm truyền thống

Diện tích tấn công: dữ liệu, mô hình, lời nhắc, công cụ, đầu ra và lớp giao diện

Mô hình hóa mối đe dọa cho các hệ thống dựa trên đại lý với khả năng sử dụng công cụ tự chủ

So sánh thực tiễn an ninh mạng AI với an ninh mạng truyền thống

Thực hành Tấn công Đối kháng

Ví dụ đối kháng và phương pháp nhiễu: FGSM, PGD, DeepFool

Các kịch bản tấn công hộp trắng so với hộp đen

Tấn công đảo ngược mô hình và suy luận thành viên

Đầu độc dữ liệu và tiêm backdoor trong quá trình huấn luyện

Đổ lỗi lời nhắc, phá vỡ hạn chế và lạm dụng công cụ trong các đại lý dựa trên LLM

Kỹ thuật Phòng thủ và Củng cố Mô hình

Chiến lược huấn luyện đối kháng và tăng cường dữ liệu

Chưng cất phòng thủ và các kỹ thuật độ bền khác

Xử lý đầu vào, che Gradient và chuẩn hóa

Quyền riêng tư vi phân, tiêm nhiễu và ngân sách quyền riêng tư

Học liên kết và tổng hợp bảo mật cho huấn luyện phân tán

Thực hành với Công cụ Độ bền Đối kháng

Mô phỏng tấn công vào đại lý đa phương tiện đã xây dựng ở Ngày 2

Đo lường độ bền dưới sự nhiễu và định lượng sự suy giảm

Áp dụng các biện pháp phòng thủ lặp đi lặp lại và đánh giá lại tỷ lệ tấn công thành công

Thử nghiệm độ bền trên các đường dẫn gọi công cụ và vectơ đổ lỗi lời nhắc

Ngày 4
Khuôn khổ Quản trị Rủi ro cho AI

Khuôn khổ Quản trị Rủi ro AI của NIST: Quản trị, ánh xạ, đo lường, quản lý

ISO/IEC 42001 và các tiêu chuẩn cụ thể cho AI đang phát triển

Ánh xạ rủi ro AI vào các khuôn khổ GRC doanh nghiệp hiện có

Yêu cầu về trách nhiệm giải trình, khả năng kiểm toán và tài liệu hóa AI

Tuân thủ Quy định cho Hệ thống Đại lý

Đạo luật AI của EU: các tầng rủi ro, mục đích bị cấm và nghĩa vụ cho hệ thống rủi ro cao

Hậu quả của GDPR và CCPA đối với quy trình xử lý dữ liệu của đại lý

Lệnh Hành pháp Hoa Kỳ về AI An toàn, Bảo mật và Đáng tin cậy

Hướng dẫn cụ thể theo ngành cho tài chính, y tế và dịch vụ công cộng

Rủi ro bên thứ ba và việc sử dụng công cụ AI của nhà cung cấp

Đạo đức, Thiên kiến và Khả năng Giải thích

Phát hiện và giảm thiểu thiên kiến trong nhận thức và lập luận của đại lý

Khả năng giải thích và minh bạch như các thuộc tính liên quan đến bảo mật

Công bằng, tác hại thứ cấp và triển khai có trách nhiệm

Thiết kế hành vi đại lý bao trùm và có thể kiểm toán

Triển khai Sản xuất, Giám sát và Phản ứng Sự cố

Mẫu triển khai bảo mật cho hệ thống đơn lẻ và đa đại lý

Giai đoạn liên tục phát hiện sự trôi dạt, bất thường và lạm dụng

Ghi nhật ký, hồ sơ kiểm toán và chuẩn bị pháp y cho hành động của đại lý

Sách playbook phản ứng sự cố an ninh AI và khôi phục

Nghiên cứu trường hợp về các vụ vi phạm AI thực tế và bài học kinh nghiệm

Công việc Tổng kết và Tổng hợp

Đánh giá lại hệ thống đa phương tiện đa đại lý đã xây dựng xuyên suốt khóa học

Đánh giá quy trình đầu cuối: thiết kế, xây dựng, bảo mật, quản trị, triển khai

Tự đánh giá hệ thống dựa trên các chức năng NIST AI RMF

Tầm nhìn về các xu hướng mới nổi trong AI đại lý và an ninh AI

Tổng kết và Các Bước Tiếp theo

Yêu cầu

Đối tượng mục tiêu

Kỹ sư AI và Kiến trúc sư xây dựng các hệ thống đại lý cho mục đích sử dụng sản xuất. Các chuyên gia an ninh mạng, quản lý rủi ro và tuân thủ chịu trách nhiệm về đảm bảo AI trong các ngành công nghiệp được giám sát chặt chẽ như tài chính, y tế và tư vấn. Các nhà phát triển cao cấp và lãnh đạo giải pháp tích hợp khả năng đa phương tiện và đa đại lý vào các nền tảng doanh nghiệp.

 28 Giờ

Số người tham gia


Giá cho mỗi học viên

Đánh giá (3)

Các khóa học sắp tới

Các danh mục liên quan