ABOUT THE SEEKER
关于
一个 20 岁的追问者,与他对智能本质的全部执念
我的故事
叩问智能之门
进入重庆工程学院,第一次系统接触机器学习。Transformer 的注意力机制令我震撼,也让我开始怀疑:堆叠算力与参数,真的是通往智能的唯一路径吗?
确立类脑计算方向
读完《On Intelligence》与一系列 SNN 论文后,确信大脑才是唯一被验证过的通用智能实现。决定把研究重心从"更大的模型"转向"更对的架构"。
智元矩阵诞生
创立个人研究品牌「智元矩阵」,系统精读状态空间、脉冲网络、分层推理、自进化四大方向的核心论文,开始构建自己的后 Transformer 架构世界观。
未完待续
这条时间线由我亲手填写,也将在每一次顿悟后持续生长。如果你也在思考同样的问题,欢迎与我同行。
我正在读
On Intelligence
Mamba: Linear-Time Sequence Modeling
A Thousand Brains
Spiking Neural Networks: Principles
研究信条
真正的突破,不在于把旧路走得更快,
而在于敢于另辟一条新路。—— 写在智元矩阵创立之夜
源自控制理论的序列建模范式:用隐状态递推压缩历史信息,复杂度 O(n)。代表工作 S4、Mamba。本站 SSM 方向的核心研究对象。
Mamba 的关键创新:让状态转移参数成为输入的函数,模型可针对当前内容动态决定"记住什么、忘掉什么",补上传统 SSM 内容无关的短板。
第三代神经网络:神经元以离散脉冲通信,事件驱动、极致稀疏,理论能效远超稠密网络。代表工作 SpikingBrain-1.0。
最常用的脉冲神经元模型:膜电位漏积分至阈值后发放脉冲并重置。数学上等价于一个一阶动态系统,与 SSM 状态递推形式同构。
用"高层规划 + 低层计算"的嵌套循环换取有效计算深度。HRM 以 2700 万参数在硬核推理任务上击败巨型 LLM,证明深度结构优于参数宽度。
神经网络学习新任务时覆盖旧知识的现象。持续学习的核心难题;LILITH 等模块化架构以"生长式"新模块缓解之。
"一起放电的神经元连接在一起"——生物突触可塑性的基本规律,本质是一种结构学习算法,启发自进化网络的连接重构。
将 SSM 与注意力层交替堆叠(如 Jamba、Zamba):SSM 负责长程压缩记忆,注意力负责精确召回。Mamba-3 的状态对偶理论为其提供了第一性原理。
无事件即无计算:SNN 中只有脉冲到达才触发突触操作,FLOPs 按实际事件计数而非参数量估算,是类脑芯片百倍能效的根源。
Mamba-3 提出的统一框架:任何(半)可分离矩阵同时定义一个 SSM 与一个注意力变体——训练时按注意力并行,推理时按 SSM 递推。
Python 筑基前往系列 →
语法骨架、函数与生成器、面向对象、文件与异常、NumPy 向量化、工程化包管理——六讲打磨研究工具链。
PyTorch 实战前往系列 →
Tensor 与自动求导、nn.Module、数据管线、标准训练循环、CNN 实战、模型保存与 GPU 训练——从零到能复现论文。
论文精读前往论文库 →
沿四大方向系统精读:状态空间(Mamba 系)、脉冲网络(SpikingBrain / 4SM)、分层推理(HRM / QUORUM)、自进化(LuminaNet / LILITH)。
复现实验
以 4SM(脉冲状态空间融合)为首个复现目标:验证长序列性能与脉冲稀疏性能否兼得。实验记录见研究动态。
独立研究
提出自己的架构问题:选择性记忆 × 事件驱动 × 结构可塑性,三条线的交汇点,或许就是后 Transformer 时代的答案。