## 大模型加速部署：TensorRT-LLM, Triton Inference Server, vLLM, LangChain
### 基于ChatGLM3
+ ChatGLM3-6B的模型解析和HF部署（流式，非流式）
+ TensorRT-LLM的特性，安装以及大模型部署（流式，非流式）
+ Triton Inference Server的trtllm-backend, vllm-backend的部署
+ vLLM特性，安装及大模型部署
+ Langchain实现RAG(ChatGLM3-6B)
+ Langchain+TensorRT-LLM实现RAG
+ Langchain+Triton Inference Server实现RAG
+ Langchain+vLLM实现RAG
关于详细的slide介绍，请在issue中索要！
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
版权申诉
64 浏览量
2024-06-05
10:10:58
上传
评论
收藏 6.36MB ZIP 举报
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip （47个子文件） 
TensorRT-LLM-ChatGLM3-main 
app.py 5KB vLLM 
results.txt 750B langchang_chatglm3_vllm.py 405B chatglm3_quant_awq.py 773B offline_chatglm3.py 564B prompts.txt 22B model_repo vllm_model config.pbtxt 2KB 1 model.json 247B client.py 8KB
Triton大模型部署.pdf 7.41MB tensorrt_llm run_hf.py 2KB utils.py 4KB __init__.py 0B quantize.py 6KB see_chatglm3_model.py 406B process.py 1KB smoothquant.py 5KB requirements.txt 75B run_chat_trt.py 8KB build.py 28KB weight.py 24KB visualize.py 3KB langchain_chatglm3.py 4KB triton_inference_server model_repo postprocessing config.pbtxt 3KB 1 model.py 9KB __pycache__ model.cpython-310.pyc 5KB ensemble config.pbtxt 9KB tensorrt_llm config.pbtxt 8KB tensorrt_llm_bls config.pbtxt 4KB 1 model.py 15KB __pycache__ model.cpython-310.pyc 7KB preprocessing config.pbtxt 4KB 1 model.py 15KB __pycache__ model.cpython-310.pyc 9KB img 
content.jpg 92KB face.jpg 44KB service knowledge_service.py 3KB utils.py 4KB __init__.py 58B chatglm_service.py 2KB chatglm_triton_service.py 9KB chatglm_trtllm_service.py 7KB config.py 593B langchain_chatglm3_triton.py 4KB end_to_end_grpc_client.py 12KB requirements.txt 304B README.md 591B资源评论
王二空间
- 粉丝: 2519
- 资源: 554
最新资源
- 华为打印机，华为打印机资料
- mac os button功能demo
- 如何在Ubuntu上安装软件？
- 华为HCIA-WLAN 3.0 课程视频（20 熟悉命令行.mp4）
- 三峡职业技术学院的GeoJSON 坐标点数据集
- 华为HCIA-WLAN 3.0 课程视频（19 华为VRP系统概述（下）.mp4）
- 三峡职业技术学院的GeoJSON地图区域数据
- 华为HCIA-WLAN 3.0 课程视频（18 华为VRP系统概述（上）.mp4）
- 编程实战项目：基于asp.net技术的学生成绩管理系统(最全的源代码+最全的文档)
- 华为HCIA-WLAN 3.0 课程视频（17 Wi-Fi6产品介绍(2).mp4）
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
