登录社区云，与社区用户共同成长
邀请您加入社区
本文针对工业AR头戴终端AX20的端侧AI部署难题，提出了一套完整的轻量化与优化方案。通过知识蒸馏、INT8量化和通道剪枝技术，将模型体积压缩至12MB（减少91%）；采用MNN推理引擎和流水线并行设计，使多模型串联推理耗时从86ms降至62ms；通过内存复用和动态帧率调节，实现178ms端到端延迟和6.5小时续航。该方案已成功应用于电网巡检和化工安全场景，在3GB内存/6核CPU的硬件限制下，满
选择合适版本下载，本文中使用的版本为arm-gnu-toolchain-15.2.rel1-x86_64-aarch64-none-linux-gnu,在x86的Linux平台使用的交叉编译工具。上方是部署到RK3588上的结果，未使用npu，仅cpu跑的结果，本意是想试试部署到树莓派上的效果的，当时没找着树莓派，不过也一样证明了mnn的有效性。需要一些工具，此处先构建MNN的转换工具、测试工具、
本文介绍了在瑞莎星睿O6开发板上基于MNN框架部署语言大模型和多模态模型的实践。文章详细阐述了软硬件环境配置，包括MNN引擎特性、开发板规格以及项目构建过程。重点解决了模型转换中的常见问题，提供了完整的编译配置方案，并展示了LLM模型的导出和基准测试方法。通过OpenCL和CPU两种计算方式的性能对比，验证了端侧AI部署的可行性，为边缘设备上的大模型应用提供了实用参考。
本文详细介绍了从零实现医疗联邦学习框架的全过程。通过FedAvg算法、差分隐私和梯度压缩等技术，在3家医院心衰诊断数据集上达到0.894 AUC（接近集中式的0.901），同时将隐私泄露风险降低99.7%。系统包含客户端本地训练、服务器聚合、隐私预算分配等完整模块，并提供了符合HIPAA合规的生产级部署方案。与单医院模型相比，联邦学习在保护数据隐私的前提下显著提升了模型性能，有效解决了医疗AI面临
MNN是一个轻量级高性能推理引擎，由阿里巴巴团队开发，支持Android、iOS、Windows、Linux、MacOS、WebGL等
3. 在命令窗口中，进入到MNN所在的目录。cd MNN/build 先进入到build文件夹中。cd MNN/build 先进入到build文件夹中。2. 进入MNN文件夹，然后运行下面命令行。前提已经安装好Visual Studio。（目前最新版本是2.0.0）。（目前最新版本是2.0.0）。...
简介MNN是阿里巴巴的一个深度学习框架，在端侧推理和训练性能优秀。本文通过一个简单的分类模型，来给出一个简单的C++和Python Demo，让大家快速上手。MNN 文档地址：https://www.yuque.com/mnn/cnMNN Github地址：https://github.com/alibaba/MNN/blob/master/README_CN.md注：由于初入公司，需要把Pyto
主要介绍推理引擎MNN的安装及初步使用
std::make _ unique在C++14以后新加入的函数，用来创建std::unique_ptr智能指针对象
Ubuntu20.04环境下编译MNN并部署mnist
在编译MNN时，由于protobuf已编译在自定义路径，但是cmake时，却提示Could NOT find Protobuf (missing: Protobuf_INCLUDE_DIR)，在/etc/profile中添加环境变量后，还是无用。提示如下图所示解决方法：cmake 时用-DCMAKE_PREFIX_PATH指定protobuf所在路径‘’‘cmake -DCMAKE_PREFIX_
开篇吐槽在决定使用MNN实现在线训练之前，也比较了TNN/NCNN，但是发现目前各大端侧推理引擎的训练框架都不成熟，半斤八两的状态，可能都把精力放在在线预测和op支持上，但是端侧训练的需求真的少么？fine-tune在端侧应用难道不是刚需？查了下NCNN关于训练框架的文档或教程几乎没有，移植到端侧应用的更是没找到案例，NCNN发布几年至今没有完善的官方文档，目前只有github里的几个关于编译和
MNN模型转化以及量化的方法指南
abiFilters "armeabi-v7a", "arm64-v8a" // 根据需求选择 }通过以上步骤，即可在 Android 应用中使用 MNN 进行大模型推理，支持语音交互等功能。# 基础编译配置（armeabi-v7a架构，启用NEON优化，关闭GPU）# 安装Android NDK（建议使用r21版本或更高）在Ubtuntu下面的编译，先整理编译环境。复制到 Android 项目的
YOLOv5训练自己的模型并部署mnn框架使用
参考MNN ubuntu环境 记录编译过程● cmake（建议使用3.10或以上版本）、● protobuf（使用3.0或以上版本）● gcc（使用4.9或以上版本）
Pytorch模型转成ONNX和MNN准备工作一、MNN安装简介：MNN是一个轻量级的神经网络推理引擎，在端侧加载深度神经网络进行推理预测。由阿里巴巴团队研发并开源，目前在一些场景下性能和NCNN相同甚至超越；下载MNNgit clone https://github.com/alibaba/MNN编译安装MNNcd /path/to/MNN./schema/generate.sh./tools/
modelscope 用户可以下载后指定 config 文件运行，例如./mls serve -c /Users/songjinde/.cache/modelscope/hub/MNN/DeepSeek-R1-1.5B-Qwen-MNN/config.json。下载完成后，记得在 ~/.mnnmodels 文件夹下找到找到配置文件，设置 config.json 中的 backend 为合适的 ba
2025年最新免费在线模型转换网址支持ncnn mnn tengine onnx 支持模型优化 量化
