没有合适的资源?快使用搜索试试~ 我知道了~
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
需积分: 5 2 下载量 102 浏览量
2024-04-07
12:15:53
上传
评论
收藏 1.1MB PDF 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/89094325/0001-a9c6a486d7f8b676d3cd90e335c9d813_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
16页
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
资源推荐
资源详情
资源评论
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/89094325/bg1.jpg)
来源:
DeepHub IMBA
在过去的几个月里,大型语言模型
(llm)
获得了极大的关注,这些模型创造了令人
兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人员。
大型语言模型
(llm)
是指能够生成与人类语言非常相似的文本并以自然方式理解
提示的机器学习模型。这些模型使用广泛的数据集进行训练,这些数据集包括书
籍、文章、网站和其他来源。通过分析数据中的统计模式,
LLM
可以预测给定
输入后最可能出现的单词或短语。
以上是目前的
LLM
的一个全景图。
背景知识
1
、
LangChain
LangChain
是一个令人印象深刻且免费的框架,它彻底改变了广泛应用的开发过
程,包括聊天机器人、生成式问答
(GQA)
和摘要。通过将来自多个模块的组件无
缝链接,
LangChain
能够使用大部分的
llm
来创建应用程序。
2
、
LLaMA
LLaMA
是由
Facebook
的母公司
Meta AI
设计的一个新的大型语言模型。
LLaMA
拥有
70
亿到
650
亿个参数的模型集合,是目前最全面的语言模型之一。
2023
年
2
月
24
日,
Meta
向公众发布了
LLaMA
模型,展示了他们对开放科学的奉献
精神(虽然我们现在用的都是泄露版)。
![](https://csdnimg.cn/release/download_crawler_static/89094325/bg2.jpg)
3
、什么是
GGML
GGML
是一个用于机器学习的张量库,它只是一个
c++
库,允许你在
CPU
或
CPU + GPU
上运行
llm
。它定义了用于分发大型语言模型
(llm)
的二进制格式。
GGML
使用了一种称为量化的技术,该技术允许大型语言模型在消费者硬件上
运行。
4
、量化
我们都知道,模型的权重是浮点数。就像表示大整数
(
例如
1000)
比表示小整数
(
例
如
1)
需要更多的空间一样,表示高精度浮点数
(
例如
0.0001)
比表示低精度浮点
数
(
例如
0.1)
需要更多的空间。量化大型语言模型的过程涉及降低表示权重的精
度,以减少使用模型所需的资源。
GGML
支持许多不同的量化策略
(
例如
4
位、
5
位和
8
位量化
)
,每种策略在效率和性能之间提供不同的权衡。
下面是量化后模型大小的对比:
![](https://csdnimg.cn/release/download_crawler_static/89094325/bg3.jpg)
5
、
Streamlit
Streamlit
是一个用于构建数据科学和机器学习应用程序的开源
Python
库。它
旨在使开发人员能够以简单快速的方式构建交互式应用程序,无需繁琐的前端开
发。
Streamlit
提供了一组简单的
API
,可用于创建具有数据探索、可视化和交
互功能的应用程序。只需要通过简单的
Python
脚本就可以创建一个
Web
应
用程序。可以利用
Streamlit
的丰富组件库来构建用户界面,例如文本框、滑块、
下拉菜单和按钮,以及可视化组件,例如图表和地图。
1、建立虚拟环境和项目结构
设置虚拟环境为运行应用程序提供了一个受控和隔离的环境,确保其依赖关系与
其他系统范围的包分离。这种方法简化了依赖关系的管理,并有助于维护不同环
境之间的一致性。
然后就是创建我们的项目,一个好的结构会加速我们的开发,如下图所示:
剩余15页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/33a83db7802f42ec9ff84a7e07a6d632_96573.jpg!1)
96573
- 粉丝: 4
- 资源: 9
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)