清华 chatglm 本地部署

一.环境配置需求

硬件需求：

软件需求

安装cuda

Window10搭建GPU环境（CUDA、cuDNN）

安装 pytorch

pip 安装 pytorch

二.安装chatglm

安装chatglm

git clone /THUDM/ChatGLM-6B.git

安装python库

requirements.txt 在安装的chatglm目录下

pip install -r requirements.txt

模型下载

transformers 的使用

参考文章

清华ChatGLM-6B本地GPU推理部署

chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署

新手搭建ChatGLM-6B踩坑记录，有人说ChatGLM-6B可以达到ChatGPT的七八十，支持本地跑