（原标题：继DeepSeek后，MiniMax也发布了挑战传统Transformer架构的国产开源模子）

图片着手：视觉中国

蓝鲸新闻1月15日讯（记者 朱俊熹）国产开源大模子再添一员强将。1月15日，大模子独角兽MiniMax发布并开源了MiniMax-01全新系列模子，包含基础言语大模子和视觉多模态大模子两个模子。

据MiniMax先容，其基础言语大模子MiniMax-Text-01在大量任务上，追平了GPT-4o、Claude 3.5 Sonnet这两个国外公认首先进的闭源模子。在评估模子辅导恪守本事的IFEval和C-SimpleQA中语评测蚁集，该基础言语大模子的得分也卓绝了另一国产开源模子DeepSeek-V3。

与DeepSeek模子相通，MiniMax的新系列模子也对传统的Transformer架构进行了蜕变。MiniMax称，在模子中初次大范围终明晰线性留意力机制，每8层中有7个是基于Lightning Attention的线性留意力，有一层是传统的SoftMax留意力。

粗造来讲，若是比方成要在一群东说念主中找到最紧要的阿谁，传统留意力需要每个东说念主跟其他东说念主都单独聊一遍，一一比拟扫数东说念主的紧要性。而线性留意力只用检察每个东说念主手中的柬帖，快速统计出哪些东说念主握有的信息是最紧要的。因此，传统留意力机制精确但计较费事，稳妥短输入或复杂任务，而线性留意力以其高效更稳妥超长输入、需要快速处罚的任务。

MiniMax在本事答复中提到，正在盘考更高效的模子架构，但愿大概系数去除SoftMax留意机制，从而终了无尽长的高下文窗口，而不会加多计较支拨。

幻方量化旗下AI公司DeepSeek在12月底发布了V3开源模子，接收的是蜕变的多头潜在留意力机制（MLA）和DeepSeekMoE羼杂众人架构。在省俭内存占用和计较资源的同期，确保资源被高效愚弄。DeepSeek-V3以极低的熟练老本终明晰对皆领军闭源模子的性能，激励国表里科技社区热议。不仅被前OpenAI联创Andrej Karpathy赞为“在资源受限的情况下对盘考和工程的一次令东说念主印象久了的展示”，也被OpenAI列作中国AI本事快速发展的标准。

围绕线性留意力机制，MiniMax对模子的熟练和推理系统进行了重构。其模子包含4560亿个参数，单次推理激活459亿个。大概高效处罚最长400万token的高下文，是GPT-4o的32倍，Claude 3.5 Sonnet的20倍。在长高下文的测评集上，MiniMax-Text-01的阐扬显耀率先于其他开闭源模子。

图片着手：MiniMax官网

MiniMax暗示，01系列模子将大概撑握异日一年内智能体应用的大幅增长需求，因为智能体系统越来越需要更长的高下文处罚本事和握续的缅想。“咱们肯定2025年会是Agent（智能体）高速发展的一年。”该公司称，“在这个模子中，咱们走出了第一步，并但愿使用这个架构握续缔造复杂Agent所需的基础本事。”

智能体正成为国表里AI公司竞相押注的赛说念。OpenAI CEO Sam Altman本月初发文称，到2025年，将可能看到第一批AI智能体“加入劳能源队列”，并骨子性地改变公司的产出。谷歌在推出新一代Gemini 2.0大模子时也暗示，这是为智能体时间构建的。该模子主打撑握多模态输入和输出，以构建出更接近通用助手愿景的智能体。

MiniMax在请问为何采选将模子开源时提到，一是觉得这有可能启发更多长高下文的盘考和应用，从而更快促进智能体时间的到来。二是通过开源促使其勤苦作念更多蜕变，更高质料地开展后续的模子研发使命。

MiniMax缔造于2021年12月，被精深称为国内“大模子六小龙”之一。旗下领有AI伴随应用星野，以及集成了对话、视频、音乐功能的海螺AI等代表性居品，在国外商场积聚了一定热度。其最新裸露的一轮融资一经在旧年3月，由阿里领投的6亿好意思元B轮融资，公司估值达25亿好意思元。此前腾讯、米哈游、高瓴创投等机构也参投了MiniMax。

六小龙中，各公司的大模子开源程度不一。其中，百川智能、智谱AI、零一万物开源了多款模子开云网站，涵盖大言语模子、多模态模子等。而月之暗面、阶跃星辰仅开源了部分本事，举例月之暗面长入清华大学等机构开源的大模子推理架构Mooncake，以及阶跃星辰专注擢升光学字符识别（OCR）本事的GOT-OCR2.0模子。