大模型微调：Lora

原理：不改变原始大模型参数，只加入一个类似残差分支，先降纬再升纬，因为模型是过参数化的，它们有更小的内在维度，模型主要依赖于这个低的内在维度（low intrinsic dimension）去做任务适配。优势：Lora的训练参数更少。

yang_daxia

513人浏览 · 2024-05-28 10:08:10

yang_daxia · 2024-05-28 10:08:10 发布

原理图

在这里插入图片描述
原理：不改变原始大模型参数，只加入一个类似残差分支，先降纬再升纬，因为模型是过参数化的，它们有更小的内在维度，模型主要依赖于这个低的内在维度（low intrinsic dimension）去做任务适配。
优势：Lora的训练参数更少。

代码

在这里插入图片描述

https://www.jiqizhixin.com/articles/2024-03-20
https://www.zhihu.com/tardis/zm/art/623543497?source_id=1003

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

SPI设备驱动

申请或者定义一个spi_driver，然后初始化spi_driver中的各个成员变量，当SPI设备和驱动匹配以后，spi_driver下的probe函数就会执行！构建spi_transfer，然后将其打包到spi_message里面，需要使用spi_message_init初始化spi_message，然后在使用spi_message_add_tail将spi_transfer添加到spi_me

2048 AI社区

【源码解析：memcpy、memmove、memset】

这段代码是GNU C库中用于内存安全操作的宏定义，主要功能是防止缓冲区溢出。它通过__ssp_bos_check3宏将标准内存操作函数（memcpy、memmove、memset）重定向到带有安全检查的版本。该机制会在编译时检测目标缓冲区大小，在运行时验证操作长度，若发现溢出则终止程序。在嵌入式开发中，这些函数常用于结构体复制、数据初始化、协议处理等场景，特别适合对安全性要求高的应用。通过条件编译