阿里AIGC开源模型Qwen-72B-私有化部署(阿里开源工具)

前言

近期大家都知道阿里推出了自己的开源的大模型千问72B,据说对于中文非常友好,在开源模型里面,可谓是名列前茅。

阿里AIGC开源模型Qwen-72B-私有化部署(阿里开源工具)

千问拥有有强大的基础语言模型,已经针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练,覆盖领域、语言(重点是中文和英文)。

Qwen 模型在一系列基准数据集(例如 MMLU、C-Eval、GSM8K、MATH、HumanEval、MBPP、等)上优于类似模型大小的基线模型,这些数据集评估了模型在自然语言理解、数学方面的能力Qwen-72B 在所有任务上都比 LLaMA2-70B 取得了更好的性能,并且在 10 任务中的 7 个上优于 GPT-3.5。

阿里AIGC开源模型Qwen-72B-私有化部署(阿里开源工具)阿里AIGC开源模型Qwen-72B-私有化部署(阿里开源工具)

部署

从下图我们可以看到,千问大模型的版本逐渐升级,对于显卡的要求也是逐渐变高,一张4090恐怕已经难以支持,想要省钱的小伙伴可以选择共享算力平台

阿里AIGC开源模型Qwen-72B-私有化部署(阿里开源工具)阿里AIGC开源模型Qwen-72B-私有化部署(阿里开源工具)

算力共享平台

环境和硬件准备

  • python 3.8及以上版本
  • pytorch 1.12及以上版本,推荐2.0及以上版本
  • 建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项)
  • 运行BF16或FP16模型需要多卡至少144GB显存(例如2xA100-80G或5xV100-32G)
  • 运行Int4模型至少需要48GB显存(例如1xA100-80G或2xV100-32G)

部署

下载项目或者用git命令下去项目,解压后。

项目地址:https://github.com/QwenLM/Qwen

如果不用 docker,满足上述要求,安装依赖。

pip install -r requirements.txt

如果您的设备支持fp16或bf16,我们建议安装flash-attention(我们现在支持flash Attention 2。)以获得更高的效率和更低的内存占用。(flash-attention是可选的,项目无需安装即可正常运行

git clone https://github.com/Dao-AILab/flash-attentioncd flash-attention && pip install .# Below are optional. Installing them might be slow.# pip install csrc/layer_norm# If the version of flash-attn is higher than 2.1.1, the following is not needed.# pip install csrc/rotary

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizerfrom transformers.generation import GenerationConfigtokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-1_8B-Chat", trust_remote_code=True)# Only Qwen-72B-Chat and Qwen-1_8B-Chat has system prompt enhancement now.model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="auto", trust_remote_code=True).eval()# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-72B-Chat", device_map="auto", trust_remote_code=True).eval()response, _ = model.chat(tokenizer, "你好呀", history=None, system="请用二次元可爱语气和我说话")print(response)# 你好啊!我是一只可爱的二次元猫咪哦,不知道你有什么问题需要我帮忙解答吗?response, _ = model.chat(tokenizer, "My colleague works diligently", history=None, system="You will write beautiful compliments according to needs")print(response)# Your colleague is an outstanding worker! Their dedication and hard work are truly inspiring. They always go above and beyond to ensure that their tasks are completed on time and to the highest standard. I am lucky to have them as a colleague, and I know I can count on them to handle any challenge that comes their way.

Web UI

pip install -r requirements_web_demo.txt

python web_demo.py

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月17日 下午12:55
下一篇 2024年5月17日 下午1:06

相关推荐

  • 广东省协同创新中心(广东省协同办公平台)

    广东省协同办公平台 随着数字化时代的到来,广东省协同办公平台成为了企业数字化转型的重要工具之一。广东省协同办公平台不仅可以帮助企业提高内部协作效率,还可以帮助企业更好地与客户和合作…

    科研百科 2024年6月5日
    62
  • 广州项目管理系统方案

    广州项目管理系统方案 随着现代项目管理的日益复杂和快速变化,广州项目管理系统已经成为了项目管理中不可或缺的一部分。广州项目管理系统方案可以帮助项目经理有效地管理项目进度、成本和质量…

    科研百科 2024年12月26日
    0
  • 科研项目有哪八个类别组成的(科研项目有哪八个类别组成)

    科研项目通常被分为八个类别,这些类别是科学领域中的不同方面,涵盖了许多不同的研究领域和问题。这八个类别是: 1. 基础科学:研究自然界基本规律和原理的科研项目。2. 应用科学:研究…

    科研百科 2024年8月5日
    25
  • 剑指低代码新机遇

    剑指低代码新机遇 低代码开发平台是近年来兴起的一种新型软件开发方式,它通过提供可视化的开发工具和预定义的组件,使得开发人员可以快速构建应用程序,而无需编写大量的代码。这种开发方式的…

    科研百科 2024年3月4日
    118
  • 如何发现公司的好价格!公司估值工具(怎么看公司价值低估)

    如何发现好公司的好价格!公司估值 按照世界著名价值投资大师沃伦巴菲特的话,假如由他在商学院开设投资专业课程,他只会讲授两门课程:如何面对股价波动,如何估算内在价值。 如何面对股价波…

    科研百科 2023年3月26日
    98
  • 科研项目管理SOP

    科研项目管理SOP 科研项目管理是一个非常重要的领域,它涉及到项目的规划、执行、评估和收尾。因此,确保科研项目管理遵循标准化流程非常重要。本文将介绍科研项目管理中的标准化流程,包括…

    科研百科 2024年10月12日
    25
  • 阿里的项目管理系统

    阿里的项目管理系统:创新项目管理的神器 随着电子商务的快速发展,阿里巴巴成为了全球最著名的互联网公司之一。而阿里巴巴的成功离不开其独特的项目管理系统。今天,我们将介绍阿里的项目管理…

    科研百科 2024年7月15日
    53
  • 丰林县:加强公立医院党建工作 促进医疗服务高质量发展(强化党建引领,推动医院业务全面发展)

    丰林县深入贯彻落实《关于加强公立医院党的建设工作的意见》和《黑龙江省加强公立医院党的建设工作实施办法(试行)》,聚焦制度建设、组织建设、队伍建设,探索形成党组织凝聚力强、党员发挥作…

    科研百科 2023年2月8日
    157
  • 苏职称〔2022〕17号

    苏职称〔2022〕17号 为促进我国高等教育事业的发展,根据《中华人民共和国教师法》和《事业单位人事管理条例》等法律法规的规定,经国务院批准,现将《关于深化高等教育教学改革s意见》…

    科研百科 2024年10月12日
    12
  • 论坛管理系统项目介绍

    论坛管理系统项目介绍 随着互联网的发展,论坛已经成为了人们交流信息、分享经验的重要平台。论坛管理系统是为了帮助论坛管理员更好地管理论坛而设计的软件,能够大大提高论坛的效率和管理水平…

    科研百科 2024年12月20日
    0