文献阅读(文献阅读(56))
文章目录文章目录1 缩写 & 引用2 abstract & introduction
题目:Deep Compression compressing deep neural networks with pruning, train quantization and huffman coding
时间:2016
会议:ICLR
研究机构:韩松
可以参考的博客:https://blog.csdn.net/u013082989/article/details/77915375
1 缩写缩写 & 引用引用
2 abstract & introduction
提出的deep compression分三步:减枝、量化、霍夫曼编码
减枝:权重小于阈值的就去掉,这样就可以用稀疏矩阵的格式如CSR和CSC来存储权重
量化:利用了weight sharing,存一个对照表,这样就只需要存index而不是确定的值,实现过程用到了k-means,当然也要retrain
霍夫曼编码:权重的index、稀疏矩阵的index都不是均匀的,这就适合霍夫曼压缩了
评论0