大语言模型发展现状及中外大语言模型发展状况对比中国大语言模型正处于追赶阶

大语言模型发展现状及中外大语言模型发展状况对比中国大语言模型正处于追赶阶段

行业主要上市公司：百川智能 ( A04400.SH ) 、昆仑万维 ( 300418.SZ ) 、拓维信息 ( 002261.SZ ) 、浪潮信息 ( 000977.SZ ) 、科大讯飞 ( 002230.SZ ) 等

本文核心数据：国内外主要大语言模型数据 ; 中外代码预训练模型对比表 ; 大语言模型研发技术国内外主要研究机构及代表性成果等

国内外主要大语言模型数据集

得益于开源共创的互联网生态，海外已有大量优质、结构化的开源数据库，文本来源既包含严谨的学术写作、百科知识，也包含文学作品、新闻媒体、社交网站、流行内容等，更加丰富的语料数据能够提高模型在不同情景下的对话能力。而受制于搭建数据集较高的成本以及尚未成熟的开源生态，国内开源数据集在数据规模和语料质量上相比海外仍有较大差距，数据来源较为单一，且更新频率较低，从而导致模型的训练效果受限。因此，大模型厂商的自有数据和处理能力构成模型训练效果差异化的核心。受益于移动互联网时代积累的海量用户、应用和数据，互联网企业在自有数据上更具特色化和独占性，叠加更强大的数据处理能力，从而能够通过数据优势带来模型训练成果的差异。例如，阿里在研发 M6 时，构建了最大的中文多模态预训练数据集 M6-Corpus，包含超过 1.9TB 图像和 292GB 文本，涵盖百科全书、网页爬虫、问答、论坛、产品说明等数据来源，并设计了完善的清洁程序以确保数据质量。百度 ERNIE 模型的训练数据集中也运用了大量百度百科、百度搜索以及百度知识图谱等生态内数据，通过更高质量的数据保障了模型的训练效果。

代码预训练模型正成为新的热点

同样，预训练语言模型就是预训练方法在自然语言处理领域中的应用，本质上是对自然语言的表示学习，是将自然语言转化为让机器可以处理的数据表达形式。预训练语言模型先通过大量的语料 ( 通常是无标注的数据 ) 进行训练，得到一个通用的语言表征模型，然后再使用面向具体任务的少量语料，就可以完成下游任务的训练。近年来，代码预训练模型正在成为一个新的热点，并且与语言大模型的发展不可分割，这些模型在代码相关任务上已经展示了出色的性能。

注：该图表数据截至 2024 年 1 月。

中国大语言模型研究已取得一定成果

语言大模型研发技术国内外情况差异较大，尽管国内大语言模型研究已取得了一定成果，但与美国仍然具有一定差距，尤其在端到端语言大模型研发技术，中国暂没有比肩美国的成果。

国内外主要大语言模型研发路径与技术对比

在大语言模型 ( LLMs ) 的全球竞技场中，ChatGPT 与 Google 的 Gopher、LaMDA，以及 Meta 的 Llama 等构成了国际标杆，而国内则由百度的 " 文心一言 "、360 的大语言模型、阿里的 " 通义千问 " 和商汤的 " 商量 " 等引领潮流。从对话和文本生成能力的角度，ChatGPT 暂居优势，但这并非因为技术壁垒不可逾越。实际上，Google 等国外企业因战略和技术理念选择了不同的发展路径，这是其暂时落后的主因。随着新技术的不断涌现，赶超 ChatGPT 并非不可能。相对而言，百度等国内企业在数据集、计算能力和工程化方面存在短板，短期内难以实现对国外模型的迎头赶上，这更多地需要国内 AI 产业全链条的协同进步。

在影响大语言模型性能的因素方面，训练数据、模型规模 ( 即参数数量 ) 、生成算法和优化技术被认为是核心变量。然而，如何准确量化这些因素对模型性能的具体影响，目前还处于探索阶段，没有明确的结论。总体来看，世界顶级的大语言模型在技术层面上尚未拉开明显的差距。

国内外大语言模型商业化路径对比

在战略业务拓展方面，ChatGPT 已经形成了明确且差异化的商业路线，主要围绕 API、订阅制和战略合作 ( 例如与微软的 Bing、Office 等软件的嵌入合作 ) 三大营收模式，在用户数据积累、产品布局和生态建设等方面已具备明显的先发优势。而 Google 由于其主营业务是搜索引擎，对于聊天机器人等产品的发展相对保守，更注重利用大模型能力来推动 " 模型即服务 " 范式，以拓展其在云服务市场的份额。作为国内大模型的标杆企业，百度的战略更接近 Google，主要针对 B 端市场，通过全栈优势来构建全链能力