GLM-4-9B大模型官网下载本地部署使用微调教程

公司	智谱AI
发布日期	2024-06-05
分类	大语言模型
类型	开源
参数	9B
上下文	8k
收费价格	0.1元/千tokens
体验网址	点击使用

GLM-4-9B 是由智谱 AI 推出的最新一代开源预训练大语言模型，属于 GLM-4 系列。该模型在语义理解、数学推理、代码生成和知识掌握等方面表现出色。GLM-4-9B 系列模型包括基础版 GLM-4-9B、对话版 GLM-4-9B-Chat、长文本版 GLM-4-9B-Chat-1M 以及多模态版 GLM-4V-9B。这些模型不仅支持多轮对话，还具备网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。

模型评测

GLM-4-9B 系列模型在多个评测任务中表现优异。以下是一些关键评测结果：

对话模型典型任务: 在 AlignBench、MT-Bench、IFEval、MMLU、C-Eval 等任务中，GLM-4-9B-Chat 均表现出超越 Llama-3-8B-Instruct 的性能。
基座模型典型任务: GLM-4-9B 在 MMLU、C-Eval、GPQA、GSM8K、MATH 等任务中表现突出。
长文本能力: 在 1M 的上下文长度下进行大海捞针实验，GLM-4-9B-Chat 显示出卓越的长文本处理能力。
多语言能力: 在 M-MMLU、FLORES、MGSM、XWinograd、XStoryCloze、XCOPA 等多语言数据集上，GLM-4-9B-Chat 表现优于 Llama-3-8B-Instruct。
工具调用能力: 在 Berkeley Function Calling Leaderboard 上，GLM-4-9B-Chat 显示出较高的工具调用准确性。
多模态能力: GLM-4V-9B 在 MMBench-EN-Test、MMBench-CN-Test、SEEDBench_IMG 等多个视觉理解任务中表现优异。

部署使用

详细步骤

安装依赖: 确保系统安装了 Python 和必要的库。可以通过以下命令安装 transformers 库：
```
pip install transformers
```

下载模型: 从 Huggingface 或 ModelScope 下载 GLM-4-9B 模型。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat")
model = AutoModelForCausalLM.from_pretrained("THUDM/glm-4-9b-chat")

配置硬件: 根据模型需求配置硬件，如 GPU 或 CPU。确保设备支持模型运行。

运行模型: 使用以下代码进行模型推理：

device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device).eval()

query = "你好"
inputs = tokenizer.encode(query, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model.generate(inputs, max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))