Phân loại Âm thanh và Phát hiện Sự kiện với ML Khóa Học Đào Tạo

Nền tảng của Phân loại Âm thanh

• Các loại sự kiện âm thanh: môi trường, cơ học, do con người tạo ra
• Tổng quan về các trường hợp sử dụng: giám sát, theo dõi, tự động hóa
• Phân loại âm thanh so với phát hiện so với phân đoạn

Dữ liệu Âm thanh và Trích xuất Đặc trưng

• Các loại tệp và định dạng âm thanh
• Tần số lấy mẫu, cửa sổ hóa, các cân nhắc về kích thước khung
• Trích xuất MFCC, đặc trưng chroma, phổ đồ mel

Chuẩn bị và Gán nhãn Dữ liệu

• UrbanSound8K, ESC-50 và các tập dữ liệu tùy chỉnh
• Gán nhãn các sự kiện âm thanh và ranh giới thời gian
• Cân bằng tập dữ liệu và tăng cường âm thanh

Xây dựng Mô hình Phân loại Âm thanh

• Sử dụng mạng nơ-ron tích chập (CNN) cho âm thanh
• Đầu vào mô hình: sóng dạng thô so với các đặc trưng
• Hàm mất mát, chỉ số đánh giá và quá khớp

Phát hiện Sự kiện và Định vị Theo thời gian

• Các chiến lược phát hiện dựa trên khung và dựa trên phân đoạn
• Xử lý sau các phát hiện sử dụng ngưỡng và làm mịn
• Trực quan hóa các dự đoán trên dòng thời gian âm thanh

Các Chủ đề Nâng cao và Xử lý Theo thời gian thực

• Học chuyển giao (transfer learning) cho các kịch bản ít dữ liệu
• Triển khai mô hình với TensorFlow Lite hoặc ONNX
• Xử lý âm thanh streaming và các cân nhắc về độ trễ

Phát triển Dự án và Kịch bản Ứng dụng

• Thiết kế toàn bộ pipeline: từ nạp dữ liệu đến phân loại
• Phát triển một bằng chứng khái niệm (PoC) cho giám sát, kiểm soát chất lượng hoặc theo dõi
• Ghi log, cảnh báo và tích hợp với bảng điều khiển hoặc API

Tóm tắt và Các Bước Tiếp theo