1. Exclusive Self Attention 标题:如题 概览:非常短的一篇文章,来自 Apple 的单人作品。核心观察 …
Article
发布于 2026-03-27
置顶
摘要
发布于 2026-08-27
摘要
这一篇主要是用于记录关于 LM 预训练中关于参数设置的一些经验之谈。这些经验的基础来自于 nanochat/nanoGPT 一系列 …
发布于 2026-08-27
摘要
这篇文章是计算机应用数学课的报告,当时正在研究 Muon,觉得好玩,就写了。现在看来还有很多写得不到位的地方,但扔了可惜,先端上来 …
发布于 2026-07-21
摘要
因为这门课程内容比较多,按照春夏学期分开来写。上半学期还有很多坑没填上,后面会补上的(会的吧) 二编:后半部分一些关于有限元方法和 …
发布于 2026-03-25
摘要
本篇包括一些自动微分的进阶论述,以及 torch 中 vjp 的使用和相关注意事项。不过,目前测试下来,torch 中的 vjp …
发布于 2026-03-17
摘要
Lec 1-2. Point Estimation 在统计学中,点估计(英语:point estimation)是指以样本数据来估 …
发布于 2026-01-21
摘要
这是摘自Nested Learning中的片段。尽管整篇文章依旧很难评价,并且长篇的理论说明中不乏左右脑互搏和理论滥用的成分,但这 …

