# lora
#### 介绍
lora初始化代码
#### 软件架构
软件架构说明
#### 安装教程
1. xxxx
2. xxxx
3. xxxx
#### 使用说明
1. xxxx
2. xxxx
3. xxxx
#### 参与贡献
1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request
#### 特技
1. 使用 Readme\_XXX.md 来支持不同的语言,例如 Readme\_en.md, Readme\_zh.md
2. Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3. 你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4. [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目,是综合评定出的优秀开源项目
5. Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)
没有合适的资源?快使用搜索试试~ 我知道了~
lora初始化代码.rar
共93个文件
h:50个
c:32个
md:2个
需积分: 5 0 下载量 177 浏览量
2023-08-03
00:30:01
上传
评论
收藏 528KB RAR 举报
温馨提示
具体做法 在原模型旁边增加一个旁路,通过低秩分解(先降维再升维)来模拟参数的更新量; 训练时,原模型固定,只训练降维矩阵A和升维矩阵B; 推理时,可将BA加到原参数上,不引入额外的推理延迟; 初始化,A采用高斯分布初始化,B初始化为全0,保证训练开始时旁路为0矩阵; 可插拔式的切换任务,当前任务W0+B1A1,将lora部分减掉,换成B2A2,即可实现任务切换; 秩的选取:对于一般的任务,rank=1,2,4,8足矣,而对于一些领域差距比较大的任务可能需要更大的rank。 总的来说,lora就是冻结预先训练的模型权重,并将可训练的秩分解矩阵注入Transformer架构的每一层。
资源推荐
资源详情
资源评论
收起资源包目录
lora初始化代码.rar (93个子文件)
lora初始化代码
lora-master
.gitignore 350B
README.en.md 821B
LoRaTX052
Drivers
STM32L0xx_HAL_Driver
Src
stm32l0xx_hal_spi.c 120KB
stm32l0xx_hal_flash_ramfunc.c 17KB
stm32l0xx_hal_rcc.c 52KB
stm32l0xx_hal_rcc_ex.c 39KB
stm32l0xx_hal_pwr.c 26KB
stm32l0xx_hal.c 19KB
stm32l0xx_hal_flash_ex.c 40KB
stm32l0xx_hal_uart.c 120KB
stm32l0xx_hal_i2c_ex.c 10KB
stm32l0xx_hal_pwr_ex.c 5KB
stm32l0xx_hal_tim_ex.c 19KB
stm32l0xx_hal_tim.c 196KB
stm32l0xx_hal_i2c.c 214KB
stm32l0xx_hal_flash.c 24KB
stm32l0xx_hal_uart_ex.c 17KB
stm32l0xx_hal_cortex.c 14KB
stm32l0xx_hal_gpio.c 19KB
stm32l0xx_hal_dma.c 26KB
Inc
stm32l0xx_hal_rcc.h 85KB
stm32l0xx_hal_pwr.h 16KB
stm32l0xx_hal_tim_ex.h 12KB
stm32l0xx_hal_flash_ramfunc.h 3KB
stm32l0xx_hal_i2c.h 37KB
stm32l0xx_hal_gpio_ex.h 121KB
stm32l0xx_hal_rcc_ex.h 108KB
stm32l0xx_hal_gpio.h 13KB
stm32l0xx_hal_dma.h 28KB
stm32l0xx_hal.h 17KB
stm32l0xx_hal_flash.h 13KB
stm32l0xx_hal_i2c_ex.h 7KB
stm32l0xx_hal_def.h 7KB
Legacy
stm32_hal_legacy.h 184KB
stm32l0xx_hal_spi.h 31KB
stm32l0xx_hal_cortex.h 14KB
stm32l0xx_hal_pwr_ex.h 3KB
stm32l0xx_hal_uart_ex.h 21KB
stm32l0xx_hal_tim.h 93KB
stm32l0xx_hal_flash_ex.h 38KB
stm32l0xx_hal_uart.h 73KB
CMSIS
Include
arm_common_tables.h 7KB
cmsis_armcc_V6.h 52KB
core_cm0plus.h 43KB
arm_math.h 239KB
core_cmFunc.h 3KB
cmsis_armcc.h 23KB
core_cm0.h 36KB
core_cm4.h 110KB
core_sc300.h 99KB
core_cm3.h 100KB
core_cmInstr.h 3KB
cmsis_gcc.h 39KB
arm_const_structs.h 4KB
core_cmSimd.h 3KB
core_cm7.h 134KB
core_sc000.h 43KB
Device
ST
STM32L0xx
Include
stm32l052xx.h 551KB
stm32l0xx.h 9KB
system_stm32l0xx.h 2KB
STM32L052K8TX_FLASH.ld 6KB
Core
Src
LoRa_App.c 18KB
syscalls.c 4KB
LoRa_Reg.c 14KB
stm32l0xx_hal_timebase_tim.c 4KB
stm32l0xx_it.c 5KB
stm32l0xx_hal_msp.c 2KB
dma.c 2KB
spi.c 3KB
LoRa_Dri.c 5KB
system_stm32l0xx.c 9KB
gpio.c 2KB
main.c 7KB
usart.c 4KB
sysmem.c 3KB
Startup
startup_stm32l052k8tx.s 10KB
Inc
gpio.h 1KB
usart.h 1KB
spi.h 1KB
LoRa_Reg.h 25KB
LoRa_Dri.h 5KB
main.h 2KB
stm32l0xx_hal_conf.h 11KB
stm32l0xx_it.h 2KB
LoRa_App.h 4KB
dma.h 1KB
LoRaTX052 Debug.launch 7KB
.cproject 24KB
LoRaTX052.ioc 5KB
.mxproject 8KB
.project 1KB
README.md 910B
lora历史进程.pdf 28KB
共 93 条
- 1
资源评论
野生的狒狒
- 粉丝: 1664
- 资源: 1667
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- pta题库答案c语言之排序4统计工龄.zip
- pta题库答案c语言之树结构7堆中的路径.zip
- pta题库答案c语言之树结构3TreeTraversalsAgain.zip
- pta题库答案c语言之树结构2ListLeaves.zip
- pta题库答案c语言之树结构1树的同构.zip
- 基于C++实现民航飞行与地图简易管理系统可执行程序+说明+详细注释.zip
- pta题库答案c语言之复杂度1最大子列和问题.zip
- 三维装箱问题(Three-Dimensional Bin Packing Problem,3D-BPP)是一个经典的组合优化问题
- 以下是一些关于Linux线程同步的基本概念和方法.txt
- 以下是一个简化的示例,它使用pygame库来模拟烟花动画的框架.txt
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功