上海交大: SmallThinker技术让大模型跑通普通电脑

这项由上海交通大学并行与分布式系统研究所、人工智能学院以及ZenergizeAI公司联合完成的研究发表于2025年7月28日，论文编号为arXiv:2507.20984v1，感兴趣的读者可以通过论文链接或访问hf.co/PowerInfer/SmallThinker-4BA0.6B-Instruct和hf.co/PowerInfer/SmallThinker-21BA3B-Instruct获取完整论文和模型。

当我们打开手机或电脑使用ChatGPT、Gemini这些AI助手时，其实是在和远方数据中心里的超级计算机对话。这些强大的AI大脑需要消耗大量电力，占据整个房间的服务器机架才能正常运转。但是，如果有一天你的普通笔记本电脑也能运行这样聪明的AI助手，甚至比云端的AI跑得更快，会是什么样的体验？

上海交通大学的研究团队就像是给大象装上了翅膀的魔法师，他们开发出了名为SmallThinker的AI模型家族，彻底颠覆了我们对AI部署的认知。传统的做法就像是把为大型工厂设计的机器硬塞进家庭作坊，结果往往是勉强能用但效率低下。而SmallThinker团队采用了完全不同的思路，他们从一开始就为"家庭作坊"量身定制了全新的机器。

这种革命性的设计理念带来了令人惊叹的结果。SmallThinker-21B-A3B模型在普通的消费级CPU上能达到每秒超过20个词的生成速度，只需要8GB内存，而传统模型在同样条件下可能慢如蜗牛甚至根本无法运行。更小的SmallThinker-4B-A0.6B模型更是只需要1GB内存就能流畅运行，这意味着即使是几年前的老电脑也能拥有强大的AI能力。

更令人震撼的是性能表现。在MMLU这个衡量AI知识广度的标准测试中，SmallThinker-21B-A3B达到了84.4分的优异成绩，甚至超越了一些体积更大的模型。这就好比一台小型家用车不仅油耗更低，加速性能还超过了大型SUV，完全打破了我们的固有认知。

研究团队的核心洞察在于将限制转化为设计优势。就像日本的茶道将狭小空间的约束转化为精致美学的源泉，SmallThinker将本地设备的计算能力弱、内存小、存储慢这些看似的劣势，转化为推动架构创新的动力。

一、重新定义AI的"身材管理"：稀疏化架构的奇迹

传统的AI模型就像一个什么都要亲力亲为的工作狂，每次思考问题时都要动用全部的"脑细胞"。而SmallThinker采用了一种全新的工作方式，更像是一个善于分工合作的团队领导者。

SmallThinker的核心创新在于其两层稀疏结构，这种设计可以比作一个高效的专业团队。第一层是细粒度的专家混合系统（MoE），就像一个公司里有多个不同领域的专家组。当遇到数学问题时，只需要调动数学专家组；处理语言翻译时，则启用语言专家组。SmallThinker-4B模型配备了32个这样的专家组，而21B模型则拥有64个专家组，但每次只激活其中的4到6个，就能完成绝大部分工作。

第二层稀疏化更加精细，研究团队发现即使在被选中的专家组内部，也有超过60%的"神经元"处于休眠状态。这就像即使在最忙碌的部门里，也不是每个员工都需要同时工作。通过使用ReGLU激活函数，SmallThinker能够精确识别哪些神经元真正需要参与计算，从而大幅减少实际的计算量。

这种稀疏化设计的巧妙之处在于，它不仅仅是简单的"偷懒"，而是一种智能的资源分配策略。研究团队通过大量实验发现，不同类型的任务确实会激活不同的专家组合。处理中文内容时，某些专家组会特别活跃；而进行代码编程时，另一套专家组合会主导工作。这种专业化分工不仅提高了效率，还增强了模型的专业能力。

为了让这种专家系统在本地设备上发挥最大效能，研究团队还创新性地设计了预注意力路由器。传统模型在处理每个词语时，都要先完成注意力计算，再决定调用哪些专家，这就像是边开车边看地图，效率很低。而预注意力路由器能够提前预测需要哪些专家，在进行注意力计算的同时就开始从存储器中加载相应的专家参数，就像GPS导航提前规划路线一样，大大提高了整体效率。

二、记忆系统的革命：混合稀疏注意力机制

AI模型在处理长文本时面临的挑战，就像人类大脑试图同时记住一本小说的每个细节。传统模型采用的全注意力机制虽然理论上最完美，但在内存有限的设备上就像试图在小桌子上摆放整套百科全书，空间完全不够用。

SmallThinker采用了一种巧妙的"混合记忆策略"，称为NoPE-RoPE混合稀疏注意力。这种机制的工作方式很像人类的记忆系统：我们既有能够快速访问的短期记忆，也有储存重要信息的长期记忆。

具体来说，SmallThinker按照1:3的比例安排其神经网络层。每隔三层使用滑动窗口注意力的层中间，插入一层全局注意力层。滑动窗口注意力就像短期记忆，只关注最近4096个词的上下文，这样可以大大减少内存占用。而全局注意力层则像长期记忆，能够捕捉整个文档的宏观结构和关键信息。

这种设计的巧妙之处在于，它充分利用了文本处理的自然特性。在阅读长文档时，我们通常更关注最近读到的内容，同时保持对整体主题和关键信息的把握。SmallThinker的混合注意力机制完美模拟了这种认知模式，在大幅减少内存需求的同时，几乎没有损失长文本理解能力。

实验结果显示，这种混合策略能够将KV缓存（一种重要的内存使用方式）的需求减少约75%，而在长文本理解任务上的性能损失不到5%。这就像用四分之一的书架空间，依然能够存放和快速查找90%以上的重要信息。

三、训练数据的精心配制：从原料到佳肴的完美转化

制作一道精美的菜肴需要精选食材、巧妙搭配和精确火候，训练SmallThinker也是如此。研究团队收集了超过10万亿词汇的高质量训练数据，这个数量相当于1000万本厚书的内容，但关键不在于数量，而在于质量和搭配。

数据收集过程就像一个美食家在全世界寻找最优质的食材。研究团队从FineWeb-Edu、Nemotron-CC等知名开源数据集中精选了9万亿词汇的网络文本，这些内容涵盖了人类知识的方方面面。针对数学和编程这两个特别重要但高质量数据相对稀缺的领域，他们分别收集了1万亿词汇的数学内容和大量编程代码。

更有创意的是，研究团队还像顶级厨师一样"自制食材"。他们开发了一套数据合成方法，通过人工智能生成了额外的2690亿词汇的数学和编程内容。这个过程采用了MGA风格的方法论和角色驱动的生成策略，就像让AI扮演不同的数学家和程序员，从多个角度创造新的训练素材。

训练过程采用了三阶段渐进式课程，这种方法很像烹饪中的火候控制。第一阶段使用广泛的基础数据建立模型的基本语言能力，就像打好菜肴的底味。第二阶段逐步增加高质量专业内容的比例，特别是STEM、数学和编程相关的内容，就像加入精选调料提升层次。第三阶段引入最高质量的语料和丰富的指令-回答对话数据，就像最后的精心摆盘和调味。

在训练规模上，SmallThinker-4B模型接受了2.5万亿词汇的训练，而21B模型则经历了7.2万亿词汇的"教育"。有趣的是，研究团队还采用了两阶段的上下文长度扩展策略，先用4096词长的文本进行基础训练，然后将上下文扩展到32768词（4B模型）或16384词（21B模型），让模型逐步适应处理更长的文档。

四、后期精雕细琢：从粗坯到艺术品的升华

如果说预训练阶段是雕刻一件艺术品的粗胚制作，那么后训练阶段就是精雕细琢的过程。研究团队在这个阶段采用了监督微调和模型融合两个关键步骤，就像雕刻师既要精细雕琢细节，又要整体打磨抛光。

监督微调阶段的数据构建极其精细。针对知识密集型任务，研究团队从评分最高的预训练语料中提取了超过1000万个问答对，然后对答案进行了质量优化，确保每个回答都准确、完整且易于理解。这个过程就像从大量原石中挑选出最有价值的部分，再由工匠精心打磨。

数学和编程领域的数据创建更加复杂，因为这些领域需要可验证的标准答案。研究团队开发了一套多阶段数据生成流水线，首先从各种开源数据集中采样核心问题作为种子，然后使用角色驱动的方法扩展这些问题的多样性。接着，他们利用Qwen3-32B模型生成详细的分步解答。由于这些推理密集型回答往往很长，所有生成的答案都经过了严格的筛选，以确保质量一致性并避免生成退化。

模型融合技术则像是调配香水的最后步骤。研究团队在监督微调完成后，对不同训练阶段保存的检查点进行线性插值融合。这种技术能够在通用知识保持和指令跟随能力之间找到最佳平衡点，就像调香师混合不同香料来创造完美的香气层次。

整个后训练过程充分体现了精益求精的工匠精神。每个环节都经过精心设计和反复优化，确保最终的模型不仅具备强大的基础能力，还能准确理解和执行用户的各种指令。

五、性能验证：数据背后的惊人表现

当SmallThinker完成所有训练后，真正的考验才刚刚开始。就像新车需要经过各种路况测试才能上市，AI模型也需要在各种标准测试中证明自己的实力。

在MMLU这个被誉为AI模型"高考"的综合知识测试中，SmallThinker-21B-A3B取得了84.4分的优异成绩，几乎与参数量更大的Qwen3-30B-A3B模型（85.1分）持平，甚至超越了Phi4-14B（84.9分）和Gemma3-12B（78.5分）等模型。这就像一个轻量级选手在重量级比赛中获得了金牌，证明了"小而精"战胜"大而全"的可能性。

更令人印象深刻的是在专业领域的表现。在GPQA-Diamond这个考验高级科学推理能力的测试中，SmallThinker-21B-A3B达到了55.1分，超越了大部分同类模型。在数学推理测试MATH-500中，它取得了82.4分的高分，展现了出色的数学解题能力。在编程能力测试HumanEval中，89.6分的成绩证明了它在代码生成方面的强大实力。

SmallThinker-4B-A0.6B的表现同样令人瞩目。尽管激活参数只有0.6B，但在多个测试中都超越了激活参数更多的竞争对手。在LiveBench这个动态评测中，它的42.2分超过了许多体积更大的模型，在HumanEval编程测试中更是以82.3分的成绩力压群雄。

特别值得关注的是专家专业化分析结果。研究团队通过可视化专家激活模式发现，不同专家确实在不同类型的任务中展现出明显的专业分工。数学问题会激活特定的专家组合，中文处理会调用另一套专家，编程任务又有其独特的激活模式。这种专业化程度达到了70%-80%的专家激活频率低于0.14，而剩余20%-30%的专家则保持0.4-0.6的高激活率，形成了清晰的"热门专家"和"冷门专家"分层。

神经元级别的稀疏性分析更加令人震撼。即使在被选中的专家内部，超过60%的神经元在处理任务时保持非激活状态。这种高度稀疏性在所有层中都保持一致，初始层的稀疏性甚至接近90%-100%。这意味着SmallThinker在保持高性能的同时，实际参与计算的参数远少于理论数量。

六、本地部署的技术革命：让AI真正走进千家万户

SmallThinker最令人兴奋的突破在于其出色的本地部署能力。这就像把原本需要整个发电厂才能驱动的机器，改造成了家用电器那样高效便携。

研究团队开发了完整的本地推理框架，这个框架就像一个精密的管家系统，能够智能地管理有限的资源。当设备内存不足以加载完整模型时，系统会采用专家卸载策略，将不常用的专家参数存储在SSD硬盘上，而把经常使用的"热门专家"保留在内存中。这种策略配合LRU（最近最少使用）替换算法，就像一个聪明的图书管理员，总是把最常借阅的书放在最容易拿到的地方。

更巧妙的是专家预取流水线技术。由于SmallThinker采用了预注意力路由器设计，系统能够在计算注意力的同时，提前从硬盘加载下一步需要的专家参数。这种并行处理方式完全隐藏了存储访问延迟，就像一个优秀的餐厅服务员，总是在客人需要之前就准备好了下一道菜。

在稀疏推理方面，SmallThinker充分利用了ReGLU激活函数和语言模型头部计算的内在稀疏性。研究团队开发了高度优化的稀疏ReGLUFFN内核，使用SIMD向量化指令实现高效的并行处理。对于语言模型头部这个计算复杂度为O(HV)的瓶颈（H是隐藏层大小，V是词汇表大小），他们引入了专门的预测器模块，能够选择性地只计算高激活概率的词汇行，大幅减少不必要的计算开销。

实际性能测试结果令人惊叹。在PC平台上（i914900K处理器），SmallThinker-21B-A3B能够达到30.19词/秒的生成速度，而SmallThinker-4B-A0.6B更是能够达到108.17词/秒的惊人速度。在智能手机上（OnePlus13，搭载骁龙8Gen4），两个模型分别能达到23.03词/秒和78.99词/秒。即使在资源相对有限的嵌入式设备上，如树莓派5，SmallThinker依然能够保持流畅的推理速度。

内存受限情况下的表现更加突出。当SmallThinker-21B-A3B被限制在8GB内存环境中时，依然能够保持20.30词/秒的生成速度，比同等条件下的Qwen3-30B-A3B快了整整85倍。SmallThinker-4B-A0.6B在1GB内存限制下仍能达到29.99词/秒，而对比模型在如此严格的内存约束下几乎无法正常工作。

这些数字背后的意义远超技术本身。它们意味着高质量的AI助手不再是云端服务的专利，而是可以真正融入每个人的数字生活。无论是离线工作的场景，还是对隐私有特殊要求的应用，SmallThinker都提供了全新的可能性。

七、突破与局限：技术进步路上的真实写照

任何革命性的技术突破都不是完美无缺的，SmallThinker也不例外。研究团队以科学家的诚实态度，清晰地分析了当前技术的局限性和未来改进方向。

最主要的限制来自于训练数据的规模。相比于一些顶级模型使用的海量训练数据，SmallThinker的训练语料相对较少。这就像一个天才学生虽然学习效率很高，但毕竟读过的书还不够多，在某些冷门知识领域可能会有所欠缺。这种限制可能会影响模型在更广泛任务上的表现，特别是那些需要大量背景知识的复杂推理任务。

另一个重要局限是SmallThinker目前只经历了监督微调，还没有经过强化学习从人类反馈（RLHF）的进一步训练。这意味着虽然模型能够很好地跟随指令，但在回答的细致度、有用性和安全性方面，可能还没有达到经过RLHF训练的模型那样的水准。就像一个刚毕业的优秀学生，专业能力很强，但在人际交往和情商方面还需要更多的历练。

不过，这些局限性为未来的研究指明了清晰的方向。研究团队已经计划扩大训练数据集的规模，以增强模型的通用能力和知识广度。同时，他们也准备实施完整的RLHF流程，进一步优化模型回答的质量、有用性和安全性，确保模型的输出更符合用户期望和价值观。

值得注意的是，即使存在这些局限性，SmallThinker在其设计目标——高效的本地部署——方面已经取得了突破性成功。它证明了在资源受限的环境中实现高质量AI推理的可能性，为整个AI领域开辟了新的发展路径。

这项研究的真正价值不仅在于技术突破本身，更在于它所展现的设计哲学：将约束转化为创新的动力，用精巧的工程设计弥补资源的不足。这种思路对于AI技术的普及和民主化具有重要意义，让更多人能够在自己的设备上享受到高质量的AI服务。

SmallThinker的成功故事告诉我们，技术进步不一定总是意味着更大、更复杂、更耗能。有时候，真正的创新来自于对问题本质的深刻理解，以及将看似的劣势转化为优势的巧妙设计。正如古人所说，"山不在高，有仙则名"，AI模型的价值不在于参数的多少，而在于能否真正解决实际问题，为用户创造价值。

随着SmallThinker技术的不断完善和推广，我们有理由相信，一个AI助手真正普及到每个人手中的时代即将到来。到那时，强大的人工智能将不再是少数人的特权，而是像电灯、自来水一样的基础设施，默默地为每个人的生活和工作提供支持。

Q&A

Q1：SmallThinker是什么？它和传统AI模型有什么不同？A：SmallThinker是上海交通大学开发的AI大语言模型家族，专门为本地设备设计。与传统需要强大云端服务器的AI模型不同，SmallThinker采用稀疏化架构，只激活少量专家参数，能在普通电脑上高效运行，速度超过20词/秒，内存需求仅1-8GB。

Q2：SmallThinker会不会性能很差？毕竟体积小了很多？A：恰恰相反，SmallThinker在多项测试中表现优异。21B模型在MMLU测试中达到84.4分，甚至超越了一些更大的模型。这得益于其精心设计的专家混合系统和高质量训练数据，证明了"小而精"可以战胜"大而全"。

Q3：普通人现在能使用SmallThinker吗？需要什么设备？A：可以使用。SmallThinker已在GitHub开源，普通的消费级CPU就能运行。4B版本只需1GB内存，21B版本需要8GB内存。研究团队还提供了专门的PowerInfer推理框架，让部署变得更加简单，即使是几年前的电脑也能流畅运行。