Qwen-Long

qwen-long 是一款大型语言模型（LLM），是通义千问模型家族中的一员，专为处理超长上下文而设计，支持多种语言和文档格式。具备强大的文本处理能力。它支持中文、英文等多种语言输入，并能够处理最长1000万tokens（约1500万字或1.5万页文档）的超长上下文对话。qwen-long 还支持多种文档格式，包括Word、PDF、Markdown、EPUB和MOBI，使其在文档解析和对话生成方面具有广泛的应用潜力。

模型评测

qwen-long 的性能在多个方面得到了验证。研究表明，尽管训练数据有限，qwen-long 仍能展现出强大的性能，能够从少数示例中学习到特定的响应格式，并泛化到未见过的任务上。此外，qwen-long 在预训练阶段已经学到了大量的知识，只需少量的指令微调数据即可产生高质量的输出。这强调了“少即是多”（Less is More）的理念在模型对齐上的有效性。

部署使用

部署步骤

1. 获取API-KEY：首先，需要开通服务并获取API-KEY。
2. 安装OpenAI SDK：确保安装了OpenAI SDK，并且版本不低于1.0.0。

   pip install --upgrade "openai>=1.0"
   

3. 配置客户端：使用获取的API-KEY和DashScope服务endpoint配置客户端。

   from openai import OpenAI
   
   client = OpenAI(
       api_key="$your-dashscope-api-key",
       base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
   )
   

4. 上传文档：使用Dashscope的文件上传服务上传文档并获取文档ID。

   from pathlib import Path
   
   file = client.files.create(file=Path("data.pdf"), purpose="file-extract")
   

5. 调用模型：通过system role的接口提供文档信息，并调用qwen-long模型进行对话。

   completion = client.chat.completions.create(
       model="qwen-long",
       messages=[
           {
               'role': 'system',
               'content': 'You are a helpful assistant.'
           },
           {
               'role': 'system',
               'content': f'fileid://{file.id}'
           },
           {
               'role': 'user',
               'content': '这篇文章讲了什么？'
           }
       ],
       stream=True
   )
   for chunk in completion:
       if chunk.choices[0].delta.content is not None:
           print(chunk.choices[0].dict())
   

常见问题

Q: 如何获取API-KEY？

A: 您需要先开通服务，通常在阿里云旗下大模型服务平台百炼的官方网站上可以申请获取API-KEY。

Q: 如何处理非TXT格式的文档？

A: 目前qwen-long主要支持TXT格式的文本。对于其他格式如PDF、Word等，需要先转换为TXT格式再进行上传和处理。

Q: 如何优化模型的输出？

A: 可以通过提供更具体的指令或微调数据来优化模型的输出。强调“少即是多”的理念，即通过少量的指令微调数据即可让模型产生高质量的输出。

相关资源

• API详情：更多关于qwen-long API的详细调用，请参见 API详情。
• 计量计费：有关模型的限流条件以及超出基础限流的申请方式，请前往 计量计费 了解详情。
• 文档上传接口：对于文档上传的具体操作方法，可以参考 文档上传接口。

通过这些资源，您可以更深入地了解和使用qwen-long模型，提升您的项目和应用的文本处理能力。