鸽了很久的周记，应该有大半个月了吧。这一篇也不是。几天终于完成了宿舍的搬迁，几个月的折腾也算是有结果了。还要把钥匙换回去，把自行车搞回来，改信用卡的寄送地址，补交住宿费，重新考虑交通问题。搬家真的很麻烦啊。不过新宿舍的条件很好，也不抱怨什么了。

虽然鸽了很久，但还是记一下这段时间干了什么。树木识别的项目给了前端第一个完整的版本，后来还是用 canvas 重写了，基本可以做到实时绘制，但如果是大面积重绘的话还是需要重写数据结构，目前不想写了。另外还有一个小的 demo 目前没有具体的实现思路，明天再说吧。

另外开始尝试从 mad-lab 开始验证序列内混合注意力的可能性，不出意料地也是遇到了很多问题。发现 RoPE 在仅应用于前几个维度上的时候表现要更好，以及在 deltanet 上观察到了 over parameterization，即更大的 state 反而不能获得正常的训练结果。目前也只是找到了一个合适的测试基线，即 rnn 会被充满，但是 transformer+conv 仍然能够进行良好外推的场景。接下来就要开始尝试 hybrid 了。

#weekly

不知道鸽了多久，两个星期？

在 iclr 投了之后重新测试了 attention 在各类任务上的能力，结果发现似乎也没有那么理想，SWA 和 dynamic sparse 都会有一定的掉点和偏见。特别是 dynamic sparse，它但凡有一块选到正确的位置就可以了，但还是会掉点。这可能暗示着 pooling 并不是一个靠谱的表征。DeepSeek-3.2-Exp 的倾向也表明了这一点。

另外发现另外一些工作也开始挑战 passkey retrieval 的合理性，即 passkey retrieval/NIAH != 长文本处理能力。说起来这些 benchmark 到底考验的还是语句匹配，只要 native sparse 能够匹配这些部位，就足够杀死比赛。在 passkey retrieval 上刷榜的时代大约是要过去了。

改了专利。重新读了 delta rule。

接了一个语义分割的项目，可行性没有问题，但是前端有些难写。基本的功能已经写完了，但是响应性很差，大约要用 canvas 重写。

本来应该先补一下鸽了一天的 weekly，但是刚刚看完刀剑神域进击篇，实在有些忍不住。

黯淡黄昏的诙谐曲，是进击篇第五层的内容。我个人喜欢进击篇的理由，其一自然是能够看到以桐人和亚丝娜为主的爱情故事，正篇已经被川原老贼霍霍完了；其二是因为故事上保持了刀剑神域一贯的质量，对于故事的意图有明确的构思；其三是因为足够丰富的世界观，进击篇对浮游城的每一层都设计了足够巧妙且个性分明的主题，让人能够沉浸到丰富的幻想世界中去，这一点是正篇中没有做到的。进击篇的第五层就前两点而言是我个人目前最喜欢的一个篇章，因为这个篇章存在两个高光部分，一个是亚丝娜在地下迷宫时实现的自我成长和战斗博弈，另一个是篇章结尾描绘的生死之交中的爱情。世界观上最喜欢的是第四层，泡影的船歌的部分。

但很遗憾的是，剧场版对这些剧情高潮的处理是很失败的。争议最大的自然是米特这个角色的引入。在无星夜的咏叹调中，米特的出现对故事有积极的作用，因为她作为小说的补充交代了亚丝娜进入游戏的动机和最初的遭遇。这事实上也是对小说文本的改编，在文本中，亚丝娜出于模糊的理由而进入了艾恩葛朗特，而剧场版通过米特的出现为此提供了新的理由。这实际上比较合理，因为这与亚丝娜看似完美乖巧但实际上富有主见、保持着叛逆精神的刻画相符合。况且，米特也为亚丝娜最初的成长提供了契机。但进入到黯淡黄昏的诙谐曲中，制作组似乎想要进一步卖米特这个角色，将其逐渐提升为主角团的一员，实际上却造成了严重的抢戏：一处是在楼层 boss 的攻略战中，原剧本涉及到来自不同工会的一对恋人，在横生变故时女孩对男孩舍身相救，最终两个人惊险获救的情节。剧场版的设计在这里换成亚丝娜救了男孩，并最终让米特登场救下亚丝娜，成为攻略战中的关键人物。这个安排造成了角色严重的错位，同时侵占了这对恋人的戏份，带来了严重的刻意感。第二处是楼层 boss 攻略结束之后，原剧本中无人愿意交出最关键的掉落物“公会旗帜”，场上出现了心怀不轨之人。这里引出了一段紧张的心理博弈，剧场版却设定成米特捡到了公会旗帜，把心理描写硬生生删掉了。最严重的是结尾的处理，原剧情是桐人初次遭遇 poh，在受到生命威胁的情况下双方展开了博弈和对战，最后桐人死里逃生，在跨年夜的烟花下抱住了亚丝娜。剧场版改为两人同行，poh 以亚丝娜作威胁，博弈由亚丝娜主导，最后归功到米特赠送的项链上。这个改动真是难以评价，不仅没对米特形成有效的刻画，而且降低了剧情的惊险性，同时把最浪漫的部分删掉了。观众或许也不是不能接受米特这个原创角色，但是她对本来应该表达的剧情创伤太大了。

另外一段是亚丝娜在地下迷宫中丢失武器的片段，虽然没有米特带来的问题，但原文存在大量的心理描写和转变，后半部分的遭遇战也是以智斗为主，而剧场版几乎就没有心理独白和特写。作为看过原作的观众，这一段真的只能说是听个响。作画没有序列之争那么精细，但是也还算没有崩坏，只有米特的战斗画面特别流畅。到底是有多想卖这个角色啊？

说到底，真的是不太满意。还是看原作吧。

#weekly

重新对 state-passing 进行痛苦调参，发现学习率影响还是挺大的。成功复现了 pointwise ppl，但是对 retrieval 似乎没有太大的帮助，并且似乎仅限 mamba。补了神经解剖学，研究了一下 landmark attention，觉得似乎这种 attention 比较有希望。疯狂压缩 paper，包括但不限于附录、咬文嚼字、重新画图。

#weekly

这一周主要是对论文的修补，简称 inkscape 从入门到入土，能工智人 grammarly，以及 random seed 挑选大师。某个图表的数据经核对没有问题，只是 lmeval 的默认种子比较逆天，其他随便抽十次都抽不出这个结果来。中间迫于 overleaf 的编译时长，将论文迁移到了 Texlyre 上，发现编译意外地快。另外补了附录的部分，事实证明有翔实的实验记录和邮件 log 是非常正确的。

另外其实很多时间在摸鱼，将 obsidian 的集成进行了大修。现在想想其实 rsync 代码也可以搬到 action 上去，下周再改吧。中间还被迫从 python 迁移到 nodejs 多花了一天时间，事实证明不要总是起手 python，凡是前端相关的东西还是得先考虑一下 node。

对 mamba 的 sequence extrapolation 续作跟踪了一下引用，发现了一批 extrapolation 相关的工作。现在也在怀疑长文本上是不是需要先考虑 extrapolation 相关的问题，而不是单纯的架构能力问题。另外，有关的神经科学依据，比如 Marr 的早期著作和 HTM 也有了一些线索，还没来得及深究。这些留作下周的工作（如果没有多出来什么奇怪的事的话）