3 月18 日，月之暗面宣布旗下的智能助手Kimi 的上下文长度突破到200 万字。

2023 年10 月，月之暗面就发布了支持20 万汉字上下文长度的智能助手Kimi，在当时就是全球市场上能产品化使用的大模型服务中最长的。现在Kimi 的能力上限又提升了十倍，达到了国际领先的水平。目前全球最长上下文的模型是谷歌于2023 年2 月推出的Gemini 1.5 Pro，最极限情况下能够达到1000 万token，但是并没有开放使用，日常对外开放的仅有100 万token 长度。

上下文技术是大语言模型能力的核心之一，它决定了模型对信息的理解深度和广度。支持更长的上下文长度能够让模型在处理大量信息时都能保持较高的准确性，让模型的应用场景得到进一步拓宽，例如对完整代码库的分析理解、自主完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。就好比是计算机的RAM，操作系统保留了所有应用程序的实时上下文，由于上下文长度充足，LLM 可以像“推理计算机”一样，保留大量用户上下文。

大模型上下文长度拓展存在“不可能三角”：文本长度、注意力和算力。

Transformer 架构依赖于自注意力机制来处理输入序列。随着序列长度的增加，自注意力层的计算复杂度呈二次方增长，其中n 是序列长度。这意味着对于较长的序列，模型需要进行大量的计算，这也对算力提出了更高的要求，从两个方面共同限制了大模型上下文长度的无限拓展。 上下文文本越长，模型越难聚焦充分注意力，难以完整理解用户意图；注意力限制下，短文本无法完整解读复杂信息；处理长文本需要大量算力，从而提高了成本。按GPT-4 Turbo 目前API 的输入输出价格来计算，要用满128k 的长度进行一次输入输出的话，一次问答的价格超过30 元。

随着大模型长文本技术不断深入，AI 应用落地的曙光初现。目前业界已经逐步形成共识，即使是千亿参数的大模型也无法完全避免幻觉和胡说八道的问题。相比于短文本，长文本可以通过提供更多上下文信息和细节信息，来辅助模型判断语义，进一步减少歧义，并且基于所提供事实基础上的归纳、推理也更加准确。长文本技术既可以解决大模型诞生初期被诟病的一些问题，增强一些功能，同时也是当前进一步推进产业和应用落地的一环关键技术。随着Kimi 率先在国内突破长文本技术，AI相关的应用落地也有望进一步加速。目前月之暗面瞄准的是2C 的赛道，未来在2B赛道中长文本能力更有广阔的施展空间。

算力需求预计也会迎来提升。考虑到Transformer 本身架构因素，上下文长度的提升必然会带来算力消耗的提升，即使在业界不断优化的情况下，对于算力的需求仍会有较大程度的增长。随着Kimi 带动的长文本技术逐步延展，我们认为各大模型厂商均会逐步开启对于长文本模型的训练和研究，对算力的需求将会进一步提升。

我们认为，大模型上下文长度持续拓展有望加速AI 相关应用落地，同时对于算力的需求也会随之大幅提升。

AI 应用：建议关注金山办公(688111，增持)、新致软件(688590，未评级)、科大讯飞(002230，买入)、同花顺(300033，未评级)、彩讯股份(300634，未评级)、上海钢联(300226，增持)等公司

AI 算力：建议关注中科曙光(603019，买入)、海光信息(688041，买入)、寒武纪-U(688256，未评级)、云赛智联(600602，未评级)、润泽科技(300442，未评级)、华铁应急(603300，买入)等公司

其他工具：星环科技-U(688031，未评级)

风险提示

技术落地不及预期；政策监管风险