3月25日,A股三大指数集体低开,Kimi概念盘初大幅跳水,中广天择闪崩触及跌停,华策影视跌超10%,海天瑞声、世纪天鸿、引力传媒等多股大跌。
与之相对,算力板块组织反扑,润建股份二连板,数据港触及涨停,奥飞数据、依米康、浪潮信息集体走强。二级市场Kimi概念热度逐渐回落,投资逻辑回归产业链本质。
Kimi是AI大模型初创企业月之暗面(Moonshot)推出的AI产品,后者披露Kimi 智能助手在长上下文窗口技术上取得突破,无损上下文长度提升了一个数量级到200万字。该消息在二级市场引发多日追涨,也拉动相关公司布局长文本。
据了解,百度旗下文心一言即将于下月进行升级,开放长文本能力,文本范围在200万-500万。
3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360AI浏览器。目前360AI浏览器已向用户免费开放100万字长文本阅读功能,可一分钟读完《三体》,并就文本外的“超纲”问题进行问答和延展学习。
3月22日,阿里通义千问宣布升级,向所有人免费开放1000万字的长文档处理功能,金融、法律、科研、医疗、教育等领域的专业人士可通过通义千问网站和APP快速读研报、分析财报、读科研论文、总结深度文章。
此前接受媒体采访时,月之暗面创始人杨植麟表示,如果说参数量决定了大模型支持多复杂的“计算”,而能够接收多少文本输入(即长文本技术)决定了大模型有多大的“内存”,两者共同决定模型的应用效果。无损长上下文将是通往AGI(通用人工智能)的关键基础技术。从 Word2vec 到 RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。
OpenAI也在进行相关布局,经过三次升级,GPT-3.5上下文输入长度从4000增长至1.6万token(模型输入和输出的基本单位),GPT-4从8000增长至3.2万token。另外,Anthropic也将上下文长度扩至10万token。
那么,长文档规模是否越大越好?对此,阶跃星辰CEO、前微软全球副总裁姜大昕对记者表示,考虑长文档规模大小的时候还需要看智能水平,后者也是一项重要挑战,目前包括GPT-4、Gemini、Claude等模型均未达到理想水平。另外,长文档规模与智能水平也需要进行工程方面的ROI考量。
记者以“大模型上下文规模是否越大越好”问题向Kimi提问,后者解读称:长文本规模会带来增强理解能力、改善连贯性、提高信息整合能力、减少信息丢失等优点,但也伴随计算资源消耗、过拟合风险、稀疏性问题、更新与维护难度、能源消耗与环境影响等挑战。
总结来看,Kimi认为上下文规模的选择需要根据具体的应用场景和需求来决定。在某些需要处理大量信息和保持话题连贯性的任务中,较大的上下文规模可能是必要的。然而,在其他一些对计算资源有限制或对实时性要求较高的场景中,适中或较小的上下文规模可能更为合适。
另外,算力挑战也是长文本需面对的首要问题。华西证券认为,国内长文本带动大厂长文本能力迅速迭代,一方面将会缩小国内外大语言模型的代差,一方面将会进一步加大对底层算力的需求,算力需求爆发引发国内异构算力的构建,会带来AI行业的又一次变革,AI模型、语料库、算力租赁、算力运维、国产算力等将会继续受益。
信通院数据显示,2021年全球计算设备算力总规模达到615EFlops(每秒浮点运算次数),同比增长44%,其中基础算力规模为369EFlops,智能算力规模为 232EFlops,超算算力规模为14EFlops,预计2030 年全球算力规模将达到56ZFlps,平均年均增长65%,中国目前计算设备总规模达到202EFlops,全球占比约为 33%,增速高于全球。
银河证券研报显示,人工智能产业快速增长,对算力需求提升持续爆发,产业链环节持续受益。其中算力产业链将持续受益,随着目前大模型对训练和推理需求提升,其中AI芯片及服务器、交换机及光模块、IDC机房及上游产业链等需求均将获得快速增长。