没有合适的资源?快使用搜索试试~ 我知道了~
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
需积分: 5 15 下载量 8 浏览量
2023-09-23
12:38:06
上传
评论 1
收藏 1.98MB DOCX 举报
温馨提示


试读
15页
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
资源推荐
资源详情
资源评论


















来源:DeepHub IMBA
在过去的几个月里,大型语言模型(llm)获得了极大的关注,这些模型创造了令
人兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人
员。
大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解
提示的机器学习模型。这些模型使用广泛的数据集进行训练,这些数据集包括
书籍、文章、网站和其他来源。通过分析数据中的统计模式,LLM 可以预测给
定输入后最可能出现的单词或短语。
以上是目前的 LLM 的一个全景图。
背景知识
1、LangChain
LangChain 是一个令人印象深刻且免费的框架,它彻底改变了广泛应用的开发
过程,包括聊天机器人、生成式问答(GQA)和摘要。通过将来自多个模块的组
件无缝链接,LangChain 能够使用大部分的 llm 来创建应用程序。
2、LLaMA
LLaMA 是由 Facebook 的母公司 Meta AI 设计的一个新的大型语言模型。
LLaMA 拥有 70 亿到 650 亿个参数的模型集合,是目前最全面的语言模型之
一。2023 年 2 月 24 日,Meta 向公众发布了 LLaMA 模型,展示了他们对开放
科学的奉献精神(虽然我们现在用的都是泄露版)。

3、什么是 GGML
GGML 是一个用于机器学习的张量库,它只是一个 c++库,允许你在 CPU 或
CPU + GPU 上运行 llm。它定义了用于分发大型语言模型(llm)的二进制格式。
GGML 使用了一种称为量化的技术,该技术允许大型语言模型在消费者硬件上
运行。
4、量化
我们都知道,模型的权重是浮点数。就像表示大整数(例如 1000)比表示小整数
(例如 1)需要更多的空间一样,表示高精度浮点数(例如 0.0001)比表示低精度浮
点数(例如 0.1)需要更多的空间。量化大型语言模型的过程涉及降低表示权重的
精度,以减少使用模型所需的资源。GGML 支持许多不同的量化策略(例如 4
位、5 位和 8 位量化),每种策略在效率和性能之间提供不同的权衡。
下面是量化后模型大小的对比:

5、Streamlit
Streamlit 是一个用于构建数据科学和机器学习应用程序的开源 Python 库。
它旨在使开发人员能够以简单快速的方式构建交互式应用程序,无需繁琐的前
端开发。Streamlit 提供了一组简单的 API,可用于创建具有数据探索、可视
化和交互功能的应用程序。只需要通过简单的 Python 脚本就可以创建一个
Web 应用程序。可以利用 Streamlit 的丰富组件库来构建用户界面,例如文本
框、滑块、下拉菜单和按钮,以及可视化组件,例如图表和地图。
1、建立虚拟环境和项目结构
设置虚拟环境为运行应用程序提供了一个受控和隔离的环境,确保其依赖关系
与其他系统范围的包分离。这种方法简化了依赖关系的管理,并有助于维护不
同环境之间的一致性。
然后就是创建我们的项目,一个好的结构会加速我们的开发,如下图所示:
剩余14页未读,继续阅读
资源评论


缘分天空
- 粉丝: 6
- 资源: 24
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


安全验证
文档复制为VIP权益,开通VIP直接复制
