一、AI系统（AI Systems）

1.1 典型流程

• Formulate Problem（问题定义）→ Collect Data（收集数据）→ Feature Extraction（特征提取）→ Machine Learning（机器学习）→ System Deployed（系统部署）

1.2 四大智能类型

• 计算智能（Computation Intelligence）：Feature ---> Label (unified)  如分类、异常检测 (outlier detection)
• 感知智能（Perception Intelligence）：Feature ---> Labels (Non-unified)   如情感检测
• 创造智能（Creative Intelligence）：超越现有生成 (generative) 模型（如AIGC等）。
• 通用智能（Universal Intelligence）：尚未实现的更高级AI目标。

二、AI应用（AI Applications）

2.1 多媒体信息检索（Multimedia Information Retrieval）

• 计算机视觉（Computer Vision）
• 计算机听觉系统（Computer Auditory Systems，包括音乐、语音、一般音频）
• 自然语言处理（Natural Language Processing, NLP）
• 多模态媒体（Multi-modal Media，如视频）

2.2 数据挖掘（Data Mining）、模式识别（Pattern Recognition）

• 数据挖掘是指从大量数据中自动发现有用的模式、知识或规律的过程。
  • 分类（Classification）
  • 聚类（Clustering）
  • 关联规则挖掘（Association Rule Mining，如购物篮分析）
  • 异常检测（Anomaly Detection）

• 模式识别是让计算机自动识别和分类各种数据（如图像、声音、文字等）中的“模式”或“类别”的技术和方法。

• 图像识别（如人脸识别、车牌识别）
• 语音识别
• 手写数字识别
• 生物特征识别（指纹、虹膜等）

数据挖掘偏重于“发现”——从大数据中找出知识和规律。

模式识别偏重于“判断”——给具体数据自动分类或识别标签。

三、计算机视觉（Computer Vision）

3.1 主要任务

• 目标检测/识别（Object Detection/Recognition）
• 图像分割（Image Segmentation）
• 场景理解（Scene Understanding, Q&A System）
• 运动分析（Motion Analysis）

3.2 应用场景

• 自动驾驶（Autonomous Vehicles）
• 医学影像（Medical Imaging）
• 增强现实（Augmented Reality）
• 安防监控（Surveillance Systems）

3.3 技术手段

• 传统方法：边缘检测（Canny, Sobel）、Haar特征 (cascades)、卷积
• 深度学习方法：卷积神经网络（CNN）、视觉Transformer（ViT）、YOLO（实时目标检测）
• 常用工具：OpenCV，PyTorch/TensorFlow，MMDetection

四、计算机听觉系统（Computer Auditory Systems）

4.1 关键任务

• 语音处理：自动语音识别（ASR）、说话人识别/验证、语音情感识别 (emotion recognition from speech)
• 音乐分析：风格 genre/艺术家分类、节奏 beat/Trmpo 速度检测、音乐生成/混音 Remixing
• 一般音频：环境音检测 (glass breaking alarms)、音频事件定位、噪音消除

4.2 应用场景

• 语音助手（如Alexa, Siri, Google Assistant）
• 娱乐（AI DJ系统、实时音频滤波如降噪 real-time audio filter,background noise suppression)）
• 医疗（AI助听器 hearing aidsw、诊断 diagnostic 工具如检测帕金森 parkinson）
• 安全（声纹认证、枪声检测）

4.3 技术手段

• 传统方法：梅尔频率倒谱系数（MFCCs）、隐马尔可夫模型（HMM）、非负矩阵分解（NMF）
• 深度学习：RNN/LSTM（时序依赖）、Transformer模型（如Whisper）、Diffusion生成模型
• 常用工具：Librosa、Kaldi、PyTorch Audio/TensorFlow Signal、Audacity+AI插件

五、自然语言处理（NLP）

5.1 关键任务

• 句法层 (syntax-level)：分词/词性标注（Tokenization/POS Tagging）、依存句法分析（Dependency Parsing）
• 语义层 (sematic-Level)：命名实体识别（NER）、情感 (sentiment)分析、机器翻译
• 生成任务 (generative tasks)：文本摘要、对话系统、创造性写作（如诗歌、故事）

5.2 技术手段

• 传统方法：词袋模型（BoW）、TF-IDF权重、HMM (Hidden Markov Models)
• 深度学习：RNN/LSTM、Transformer（如BERT, GPT）、注意力机制
• 常用工具：NLTK/Spacy、HuggingFace Transformers、Stanford CoreNLP

六、多模态媒体处理（Multi-modal Media Processing）

6.1 核心挑战

• 跨模态对齐 cross-model alinment（如视听同步）
• 特征融合策略（Feature Fusion Strategies）
• 上下文感知解释（Context-aware Interpretation）

多模态输入 → 特征提取（文本/音频/视觉特征）→ 融合层 → 决策输出

6.2 应用场景

• 视频理解：动作识别、内容检索 retrival
• 人机交互：手势+语音控制、跨模态情感识别
• 教育：自动讲座转录 transcription+幻灯片分析、多感官学习助手

七、其他AI应用

7.1 气候与环境科学（Climate & Environmental Science）

• 气候建模：AI预测气候变化、极端事件，长期气候趋势
• 野生动物保护：用相机陷阱或卫星影像追踪濒危动物，打击偷猎 （combat poaching）

7.2 农业（Agriculture）

• 精准农业：AI用卫星/物联网优化灌溉、施肥、病虫害防治
• 作物产量预测：基于天气、土壤、历史数据预测收成

7.3 金融与经济（Finance & Economics）

• 算法交易：分析市场趋势和情感 （sentiment）进行高频交易
• 信用评分：利用非传统数据（如社交行为）评估信用

7.4 网络安全（Cybersecurity）

• 威胁检测：AI识别网络流量中的异常 anomalies 以防止安全漏洞 breaches( Darktrace's selflearning systems)
• 钓鱼防护（pushing prevention）：用NLP分析邮件发现恶意意图（malicious intent）或冒充行为（impersonation attempts）

7.5 制造与供应链（Manufacturing & Supply Chain）

• 预测性维护：分析传感器数据预测设备故障，减少停机downtime (Siemens' AI-driven factories)
• 物流（logistics）优化：算法优化路线、库存（inventory）管理（如UPS ORION系统）