发布于 2026-08-27
摘要
这一篇主要是用于记录关于 LM 预训练中关于参数设置的一些经验之谈。这些经验的基础来自于 nanochat/nanoGPT 一系列 …
学术相关
发布于 2026-08-27
摘要
这篇文章是计算机应用数学课的报告，当时正在研究 Muon，觉得好玩，就写了。现在看来还有很多写得不到位的地方，但扔了可惜，先端上来 …
发布于 2026-07-21
摘要
因为这门课程内容比较多，按照春夏学期分开来写。上半学期还有很多坑没填上，后面会补上的（会的吧） 二编：后半部分一些关于有限元方法和 …
发布于 2026-03-27
置顶
摘要
1. Exclusive Self Attention 标题：如题 概览：非常短的一篇文章，来自 Apple 的单人作品。核心观察 …
发布于 2026-03-25
摘要
本篇包括一些自动微分的进阶论述，以及 torch 中 vjp 的使用和相关注意事项。不过，目前测试下来，torch 中的 vjp …
发布于 2026-03-17
摘要
Lec 1-2. Point Estimation 在统计学中，点估计（英语：point estimation）是指以样本数据来估 …
发布于 2026-01-21
摘要
这是摘自Nested Learning中的片段。尽管整篇文章依旧很难评价，并且长篇的理论说明中不乏左右脑互搏和理论滥用的成分，但这 …
发布于 2026-01-09
摘要
本篇包括经典SSM从连续形式到离散形式的参数变换过程推导，Mamba2的周围架构和部分实现细节，以及SSM到经典Linear At …
发布于 2025-11-02
摘要
Lec 1. 神经解剖学 Neuroanatomy 脑的外侧是颅骨、脑膜和幕骨，脑膜又分为三层。 外界传入大脑皮层经过丘脑，其中丘 …
发布于 2025-10-18
摘要
哈哈，居然撑到第二期了.jpg 让我们用 ICLR 2026 submission 的新闻开场吧。 1. Mamba-3 标题：M …