上下求索

ABOUT THE SEEKER

关于

一个 20 岁的追问者,与他对智能本质的全部执念

我的故事

2024 · 启程

叩问智能之门

进入重庆工程学院,第一次系统接触机器学习。Transformer 的注意力机制令我震撼,也让我开始怀疑:堆叠算力与参数,真的是通往智能的唯一路径吗?

2025 · 转向

确立类脑计算方向

读完《On Intelligence》与一系列 SNN 论文后,确信大脑才是唯一被验证过的通用智能实现。决定把研究重心从"更大的模型"转向"更对的架构"。

2026 · 创立

智元矩阵诞生

创立个人研究品牌「智元矩阵」,系统精读状态空间、脉冲网络、分层推理、自进化四大方向的核心论文,开始构建自己的后 Transformer 架构世界观。

未来 · 远方

未完待续

这条时间线由我亲手填写,也将在每一次顿悟后持续生长。如果你也在思考同样的问题,欢迎与我同行。

我正在读

论智能

On Intelligence

Jeff Hawkins · 大脑新皮质理论

芒巴

Mamba: Linear-Time Sequence Modeling

Gu & Dao · 选择性状态空间

千脑

A Thousand Brains

Jeff Hawkins · 千脑智能理论

脉冲

Spiking Neural Networks: Principles

脉冲计算方法论

研究信条

真正的突破,不在于把旧路走得更快,
而在于敢于另辟一条新路。

—— 写在智元矩阵创立之夜

状态空间模型State Space Model · SSM

源自控制理论的序列建模范式:用隐状态递推压缩历史信息,复杂度 O(n)。代表工作 S4、Mamba。本站 SSM 方向的核心研究对象。

选择性机制Selective Mechanism

Mamba 的关键创新:让状态转移参数成为输入的函数,模型可针对当前内容动态决定"记住什么、忘掉什么",补上传统 SSM 内容无关的短板。

脉冲神经网络Spiking Neural Network · SNN

第三代神经网络:神经元以离散脉冲通信,事件驱动、极致稀疏,理论能效远超稠密网络。代表工作 SpikingBrain-1.0。

LIF 神经元Leaky Integrate-and-Fire

最常用的脉冲神经元模型:膜电位漏积分至阈值后发放脉冲并重置。数学上等价于一个一阶动态系统,与 SSM 状态递推形式同构。

分层推理Hierarchical Reasoning

用"高层规划 + 低层计算"的嵌套循环换取有效计算深度。HRM 以 2700 万参数在硬核推理任务上击败巨型 LLM,证明深度结构优于参数宽度。

灾难性遗忘Catastrophic Forgetting

神经网络学习新任务时覆盖旧知识的现象。持续学习的核心难题;LILITH 等模块化架构以"生长式"新模块缓解之。

赫布法则Hebbian Rule

"一起放电的神经元连接在一起"——生物突触可塑性的基本规律,本质是一种结构学习算法,启发自进化网络的连接重构。

混合架构Hybrid Architecture

将 SSM 与注意力层交替堆叠(如 Jamba、Zamba):SSM 负责长程压缩记忆,注意力负责精确召回。Mamba-3 的状态对偶理论为其提供了第一性原理。

事件驱动计算Event-driven Computing

无事件即无计算:SNN 中只有脉冲到达才触发突触操作,FLOPs 按实际事件计数而非参数量估算,是类脑芯片百倍能效的根源。

状态对偶性State Duality

Mamba-3 提出的统一框架:任何(半)可分离矩阵同时定义一个 SSM 与一个注意力变体——训练时按注意力并行,推理时按 SSM 递推。

壹

Python 筑基前往系列 →

语法骨架、函数与生成器、面向对象、文件与异常、NumPy 向量化、工程化包管理——六讲打磨研究工具链。

贰

PyTorch 实战前往系列 →

Tensor 与自动求导、nn.Module、数据管线、标准训练循环、CNN 实战、模型保存与 GPU 训练——从零到能复现论文。

叁

论文精读前往论文库 →

沿四大方向系统精读:状态空间(Mamba 系)、脉冲网络(SpikingBrain / 4SM)、分层推理(HRM / QUORUM)、自进化(LuminaNet / LILITH)。

肆

复现实验

以 4SM(脉冲状态空间融合)为首个复现目标:验证长序列性能与脉冲稀疏性能否兼得。实验记录见研究动态。

伍

独立研究

提出自己的架构问题:选择性记忆 × 事件驱动 × 结构可塑性,三条线的交汇点,或许就是后 Transformer 时代的答案。