Windows下ChatGLM-6B部署

目录

一：模型介绍

二：环境准备

三：安装步骤

一：模型介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

ChatGLM-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。ChatGLM-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

二：环境准备

我们通过官方软件库 https://github.com/THUDM/ChatGLM-6B 这个地址查看安装步骤，发现安装6B需要的显存至少是6g，由于我们的显存不够，只能在cpu模式下运行，我们这里使用量化以后的INT4，需要提前安装软件gcc 与 openmp

注意：

如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0