Qwen1.5-110B-Chat

Qwen1.5-110B-Chat 是 Qwen2 系列的测试版，属于基于 Transformer 架构的解码器仅语言模型。它由不同尺寸的模型组成，从 0.5B 到 110B，包括一个 14B 的 MoE 模型，具有 2.7B 的激活量。该模型在人类偏好、多语言支持、上下文长度稳定性等方面进行了显著改进，并支持高达 32K 的上下文长度。

模型评测

Qwen1.5-110B-Chat 在多个维度上进行了性能评测，包括但不限于语言生成能力、多语言理解和生成、以及在特定任务上的表现。模型的评测结果表明，它在聊天模型的人类偏好方面有显著提升，并且在多语言支持方面表现出色。

部署使用

部署步骤

1. 安装依赖：确保已安装 Python 和 PyTorch。推荐安装 Hugging Face 的 transformers 库，版本需大于等于 4.37.0。
2. 加载模型和分词器：

   from modelscope import AutoModelForCausalLM, AutoTokenizer
   model = AutoModelForCausalLM.from_pretrained("qwen/Qwen1.5-110B-Chat")
   tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-110B-Chat")
   

3. 准备输入：定义提示（prompt）和系统消息，构建输入文本。
4. 生成文本：使用模型生成响应文本。

   generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)
   response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
   

5. 调整和优化：根据需要调整生成参数，如 max_new_tokens，或使用提供的 generation_config.json 进行超参数调整。

常见问题

• Q: 如何解决 KeyError: 'qwen2' 错误？
  A: 确保已安装正确版本的 transformers 库。
• Q: 如何处理模型生成的文本不符合预期？
  A: 检查输入提示是否合适，或尝试调整生成参数。
• Q: 如何在多语言环境中使用模型？
  A: Qwen1.5-110B-Chat 支持多语言，只需确保输入文本是模型支持的语言之一。

相关资源

• 官方文档：Qwen1.5-110B-Chat 官方介绍
• GitHub 仓库：访问 Qwen GitHub 仓库 获取更多代码示例和文档。
• 技术报告：阅读 Qwen Technical Report 以获取技术细节和模型性能评估。

引用格式

如果您在研究中使用了 Qwen1.5-110B-Chat 模型，请按照以下格式引用：

@article{qwen,
  title={Qwen Technical Report},
  author={Bai, Jinze and others},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}