1 整体内容

课程链接：https://learning.edx.org/course/course-v1:HarvardX+TinyML2+1T2025/home

内容看着比Course1要少一些。。。

首先说回顾了一下课程1的内容，可以看：HarvardX TinyML小笔记1（Fundamentals of TinyML）-CSDN博客

然后是说了三种不同的sensor传感器需要不同的处理。

嵌入式ML要考虑的一些关键问题：

How do we capture the time-series data to feed into the neuralnetwork?
How do we pre-process the data for neural network inference?
How do you design the autoencoder neural network?
What dataset does the neural network need to be trained?
How do you post-process the neural network output?
How do you make sure there is no bias in the dataset?
How do you deploy this on the microcontroller?

整个ML的过程。

数据工程。以前对这部分重要性还不是很清楚，现在发觉这个部分可能才是最重要的。

可以参考：https://blog.csdn.net/fanged/article/details/151272086

模型。主要是训练，提高，优化。

SOTA就是英文“State-of-the-Art“，意思就是最优秀的模型。流行点说就是遥遥领先。

模型部署，这个会放在Course3来细说。

以上几个部分就是整个TinyML的全流程。每个部分又可以细化，就是下面图的下面色块的部分。可以看到数据工程分为了收集数据和处理数据。

这次课程主要集中在前6个内容。最后的两个Deploy Model和Make Inferences放在第三个课程。

这个是机器学习的全生命周期。。。

接着又介绍了TensorFlow的整个框架。

模型训练和部署的过程。然后是四个终端，标准的TensorFlow，TensorFlow Lite，TensorFlow Lite Micro，TensorFlow JS。

• The standard TensorFlow models that you’ve been creating this far, trained without any post-training modification can be deployed to Cloud or on-Premises infrastructures via a technology called TensorFLow Serving, which can give you a REST interface to the model so inference can be executed on data that’s passed to it, and it returns the results of the inference over HTTP.  You can learn more about it at https://www.tensorflow.org/tfx/guide/serving
• TensorFlow Lite is a runtime that is optimized for smaller systems such as Android, iOS and embedded systems that run a variant of Linux, such as a Raspberry Pi. You’ll be exploring that over the next few videos. TensorFlow Lite also includes  a suite of tools that help you convert and optimize your model for this runtime. https://www.tensorflow.org/lite
• TensorFlow Lite Micro, which you’ll explore later in this course, is built on top of TensorFlow Lite and can be used to shrink your model even further to work on microcontrollers and is a core enabling technology for TinyML. https://www.tensorflow.org/lite/microcontrollers
• TensorFlow.js provides a javascript-based library that can be used both for training models and running inference on them in JavaScript-based environments such as the Web Browsers or Node.js. https://www.tensorflow.org/js.

Google体系的分工就是TensorFlow负责常规训练，同时提供REST接口供访问。TensorFlow Lite是一般嵌入式设备用的，比如树莓派之类。TensorFlow Lite Micro是给microcontrollers这类最小的嵌入式设备用的，比如树莓派Pico。最后还有个TensorFlow.js，用在网页上。。。

最后就是常规的AI道德，里程碑的欧洲GDPR。

《通用数据保护条例》（General Data Protection Regulation，简称 GDPR）是欧盟于 2016 年通过，2018 年 5 月 25 日正式生效的一项数据保护法规。其旨在加强和统一欧盟境内个人数据保护，规范个人数据在欧盟内外的流动。GDPR 适用范围广泛，不仅包括欧盟境内的组织，还涵盖了虽不在欧盟境内但处理欧盟境内个人数据且与向欧盟境内个人提供商品或服务相关，或涉及对这些个人行为进行监控的非欧盟组织。它确立了合法、公平和透明等多项核心原则，赋予了数据主体知情权、访问权、更正权、删除权等一系列权利，并要求数据控制者和处理者履行相应义务，如指定数据保护官、进行数据保护影响评估等。违反 GDPR 的组织可能面临最高达 2000 万欧元或全球营收 4%（以较高者为准）的罚款。

2 细节内容

2.1 TFLite

详见：https://blog.csdn.net/fanged/article/details/150611409

2.2 PTQ

详见：https://blog.csdn.net/fanged/article/details/150669430

2.3 语音关键字跟踪

详见：https://blog.csdn.net/fanged/article/details/150696363

2.4 数据工程

详见：https://blog.csdn.net/fanged/article/details/151087810

2.5 视觉唤醒

详见：https://blog.csdn.net/fanged/article/details/151104928

2.6 异常探测

详见：https://blog.csdn.net/fanged/article/details/151195384