阿里云通义千问 14B 模型开源！性能超越 Llama 2 等同等尺寸模型
| 2023-09-25 20:20 评论: 2
9 月 25 日，阿里云开源通义千问 140 亿参数模型 Qwen-14B 及其对话模型 Qwen-14B-Chat，免费可商用。Qwen-14B 在多个权威评测中超越同等规模模型，部分指标甚至接近 Llama2-70B。阿里云此前开源了 70 亿参数模型 Qwen-7B 等，一个多月下载量破 100 万，成为开源社区的口碑之作。
Qwen-14B 是一款支持多种语言的高性能开源模型，相比同类模型使用了更多的高质量数据，整体训练数据超过 3 万亿 Token，使得模型具备更强大的推理、认知、规划和记忆能力。Qwen-14B 最大支持 8k 的上下文窗口长度。
图 1：Qwen-14B 在十二个权威测评中全方位超越同规模 SOTA 大模型
Qwen-14B-Chat 是在基座模型上经过精细 SFT 得到的对话模型。借助基座模型强大性能，Qwen-14B-Chat 生成内容的准确度大幅提升，也更符合人类偏好，内容创作上的想象力和丰富度也有显著扩展。
Qwen 拥有出色的工具调用能力，能让开发者更快地构建基于 Qwen 的 Agent（智能体）。开发者可用简单指令教会 Qwen 使用复杂工具，比如使用 Code Interpreter 工具执行 Python 代码以进行复杂的数学计算、数据分析、图表绘制等；还能开发具有多文档问答、长文写作等能力的“高级数字助理”。
百亿以内参数级别大语言模型是目前开发者进行应用开发和迭代的主流选择， Qwen-14B 进一步提高了小尺寸模型的性能上限，从众多同尺寸模型中冲出重围，在 MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench 等 12 个权威测评中取得最优成绩，超越所有测评中的 SOTA（State-Of-The-Art）大模型，也全面超越 Llama-2-13B，比起 Llama 2 的 34B、70B 模型也并不逊色。与此同时，Qwen-7B 也全新升级，核心指标最高提升 22.5%。
图 2：Qwen-14B 性能超越同尺寸模型
用户可从魔搭社区直接下载模型，也可通过阿里云灵积平台访问和调用 Qwen-14B 和 Qwen-14B-Chat。阿里云为用户提供包括模型训练、推理、部署、精调等在内的全方位服务。
8 月，阿里云开源通义千问 70 亿参数基座模型 Qwen-7B，先后冲上 HuggingFace、GitHub 的 趋势榜单。短短一个多月，累计下载量突破 100 万。开源社区出现了 50 多个基于 Qwen 的模型，社区多个知名的工具和框架都集成了 Qwen。
通义千问是落地最深、应用最广的中国大模型，国内已有多个月活过亿的应用接入通义千问，大量中小企业、科研机构和个人开发者都在基于通义千问开发专属大模型或应用产品，如阿里系的淘宝、钉钉、未来精灵，以及外部的科研机构、创业企业。
浙江大学联合高等教育出版社基于 Qwen-7B 开发了智海-三乐教育垂直大模型，已在全国 12 所高校应用，可提供智能问答、试题生成、学习导航、教学评估等能力，模型已在阿里云灵积平台对外提供服务，一行代码即可调用；浙江有鹿机器人科技有限公司在路面清洁机器人中集成了 Qwen-7B，使机器人能以自然语言与用户进行实时交互，理解用户提出的需求，将用户的高层指令进行分析和拆解，做高层的逻辑分析和任务规划，完成清洁任务。
阿里云 CTO 周靖人表示，阿里云将持续拥抱开源开放，推动中国大模型生态建设。阿里云笃信开源开放的力量，率先开源自研大模型，希望让大模型技术更快触达中小企业和个人开发者。
阿里云还牵头建设了中国最大的 AI 模型开源社区魔搭 ModelScope，团结全行业的力量，共同推动大模型技术普惠和应用落地。过去两个月内，魔搭社区的模型下载量从 4500 万飙升到 8500 万，增幅接近 100%。
附录：
魔搭社区模型地址：
- https://www.modelscope.cn/models/qwen/Qwen-14B-Chat/summary
- https://www.modelscope.cn/models/qwen/Qwen-14B/summary
魔搭社区模型体验：
阿里云灵积平台地址：
- https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-qianwen-7b-14b-api-detailes
- https://dashscope.console.aliyun.com/model
Qwen 论文地址：
https://qianwen-res.oss-cn-beijing.aliyuncs.com/QWEN_TECHNICAL_REPORT.pdf
GitHub：
HuggingFace:
（题图：MJ/11548073-a2f9-43d0-9156-827b6ba99efd）
 );){kind=link}