智普AI | ChatGLM4 已开源 详细推理教程

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

模型下载

首先在githup上下载GLM4的模型：GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

我是在云服务器上（算力云）推理的GLM4：

最好是单张4090（3090也可以）

在魔塔社区下载模型：首页 · 魔搭社区 (modelscope.cn)

根据需求而定下载哪一个模型，我这里下载的GLM-4-9b-chat

然后在你的笔记本里面下载模型

首先要下载modelscope：pip install modelscope -i（可以加一个源镜像）

from modelscope import snapshot_download

model_dir = snapshot_download('ZhipuAI/glm-4-9b-chat',cache_dir="autodl-tmp")

然后进入到GLM4文件夹下进入到basic_demo按需求运行

最低硬件要求

Python >= 3.10

内存不少于 32 GB

安装依赖

pip install -r requirements.txt

基础功能调用

除非特殊说明，本文件夹所有 demo 并不支持 Function Call 和 All Tools 等进阶用法

使用 transformers 后端代码

使用命令行与 GLM-4-9B 模型进行对话。

python trans_cli_demo.py # GLM-4-9B-Chat

python trans_cli_vision_demo.py # GLM-4V-9B

使用 Gradio 网页端与 GLM-4-9B-Chat 模型进行对话。

python trans_web_demo.py

使用 Batch 推理。

python cli_batch_request_demo.py

使用 vLLM 后端代码

使用命令行与 GLM-4-9B-Chat 模型进行对话。

python vllm_cli_demo.py

自行构建服务端，并使用 OpenAI API 的请求格式与 GLM-4-9B-Chat 模型进行对话。本 demo 支持 Function Call 和 All Tools功能。

启动服务端：

python openai_api_server.py

客户端请求：

python openai_api_request.py

压力测试

python trans_stress_test.py

运行

由于我只需要进入web页面，那我就只把trans_web_demo的路径换成权重，可以根据个人的需求来修改

由于我实在服务器上跑的，需要本地代理。

结语：除了glm4-9b-chat，我觉得比较有意义的智普的多模态模型的开源，这代表这AI时代又向前走了一步，希望我的文档可以对大家有所帮助，最后大家如果认可的话请点赞收藏，避免到时候需要的时候找不到，希望大家一起进步