2023 安河桥

我知道 那些夏天
就像青春一样回不来
代替梦想的只能是勉为其难

从今年开始，我打算每年写一次年度总结，对昨年自己的学习生活进行梳理总结，希望能够对未来带来一些启示。而年度总结的标题，如果每次都以xxxx年度总结以题显得太没有特色。所以，我决定自拟标题，一些歌、诗词、文章言论都在考虑范围内。23年便以宋冬野的《安河桥》为题吧。

23年，回过头看来是一个小白摸索科研，不断试错入门的一年。22年因为疫情，所以学校12月底放假了。我记得当时穿着一身防护服回家，结果还是阳了>_<。但还好，有母亲在家照顾我，后来逐渐恢复了，母亲说想带我出去走走，我们便驱车来到万源八台山度过了元旦。

寒假这一个多月的时间，主要还是在做毕设，在空余时间基本读完了《别闹了，费曼先生》以及林奕含的《房思琪的初恋乐园》。我是是通过一个关于Feynman的访谈了解到此人的，该书通过讲述Richard Feynman的生平以及一些趣事，让我看到了一位物理学家的纯真以及那种展现出来的对周围生活的热爱与好奇！而林奕含的《房思琪的初恋》这本书，我是在上学校的《中外名著导读》课堂上了解到的，周老师说建议每位女生都应该读一读这本书，然而我也读了，读的过程中感到很悲痛，最后写了书评。

此外，我还在零碎时间听完了单田芳先生的评书《曾国藩》，这是我第一次听评书，所以还写了听后感。其实，最开始是在喜马拉雅上听《曾国藩家书》，但我觉得得先了解一下曾国藩，再去听家书会比较有体会，于是便找来了单老的评书听。通过家书以及曾国藩的生平，我学习到了很多为人为学处事的道理，不得不说曾国藩是自律的典范，是值得每个普通人学习的。

而寒假这段时间的作息，刚开始时还是按照以往在学校的习惯，23点睡6:30起，但由于得了新冠，后面就变成了早睡但7-8点之间起床了😅，再加上过年走亲访友的一些原因，早起读书便断断续续的，在家早读如果没有特殊原因，我一般是按照自己的兴趣来，先读半小时杨帅老师的背三句练习英语口语，再花半小时朗读杜甫的诗歌和老子的《道德经》。我很喜欢杜甫的诗，沉郁顿挫风格，豪迈大气的意境，深沉浓烈的感情，值得反复朗诵品味

在临近开学的那几天，我抽空回了趟绵阳，看了看南山中学，并和初高中同学见了见，四年来第一次相交，我感觉大家的境遇、变化都挺大的，通过这几次聊天，我也对自己未来的规划更加坚定了，在重庆的江北机场候机时，我写下了寒假以及绵阳行的总结——于我而言，研究生这三年，我想沉淀下来，追求学术，看自己是否适合做科研。

开学后，早读的功课换成了背三句和论语，从2月份一直到4月份，一直在忙毕设，抽空读完了《深度学习入门》，主要是想看看如何deep Learning from scratch😋。而对于这个毕设，现在看来感觉好trivial，只是在ITPruner上加了低秩分解，如果重来一遍，可能会按照导师说的用Mindspore重新实现一遍，虽然有风险，但要踏出舒适区，挑战自己可能做不到的事情，对能力的提升才会更大吧！并且就算最后实现不了，毕设也不会卡的，当时自己太求稳了T_T。但整个毕设还是有收获的，从最开始的文献调研找可改进的点，做实验，到最终完成毕业论文，可能这也算是一种科研训练吧？

到5月份初答辩完，毕设的事情便暂时告一段落了。当时正碰上学院的党支部组织去嘉兴调研，于是我也报名去了。大学四年基本一直待在学校，如果再不出去看看感觉很可惜嘉兴，特别是月河古镇，给我一种江南水乡的怡人，当你踏入这里，她就像是一位亭亭玉立的佳人，在柳絮春风的伴随下，向你徐徐走来。

想象一下，在院子里泡上一壶茶，养养花，和老友谈天说地一个下午，是多么惬意。

从答辩完到6月份初这段时间，我每天主要是在忙科研以及改毕设文档，当时导师想让我继续做博文学长强化学习剪枝的实验，于是便找了很多资料去了解这方面的东西。当时还养成了一个习惯，午休结束，我会先花半小时先学学自己感兴趣的东西，然后开始工作，这个习惯一直持续了整个暑假。用这每天半小时的时间，我看完了Crash Course Computer Science，也算是对整个computer science有了一个浅层的全面的了解。

在6月份的第一个周末和好友去看了数字艺术与莫梵展。第二天，我只身一人坐动车去余姚拜访王阳明故居，因为中国传统文化对自己的影响挺大的，而王阳明作为心学的开创者，三不朽的圣人，所以我觉得很有必要去拜访一下。

当时有很多慕名而来的游客来拜访，还有一些阳明心学的学习班来故居参观学习，我感受到了中华优秀传统文化的复兴，绽放新的生机，发挥着她的时代价值，于国于民这是很好的事情。

到6月8号，导师跟说我先不做强化学习了，让我做接着做博文学长iccv被拒的知识蒸馏论文，于是我便开始看知识蒸馏这方面的东西。一直到7月份，期间经历了毕业典礼，还和大学的几个好朋友去西湖附近玩了一天也算是毕业旅行？

在6月底，我报名参加了上海的Amazon云科技中国峰会，主要是想去看看企业究竟是在做些什么，听了几场报告下来。有两个感受一是大模型AIGC真是非常火，会场挤满了人，而像量子计算一些还未大规模实际应用的只有寥寥数人，二是现在的程序员学习工作方式需要转变，会更加注重思维的独创性。

在7月初，我去参加了立心营。立心营结束后，我开始做2030项目，7月中旬回家待了半个月，8月初便来MAC实验室了。来厦大以后，我的主要精力仍然是放在2030上，我们几个研一的，主要是做一些SFT数据集处理，peft微调等工作。

到9月份开学这段时间，我每天早上6点半起床，读1h英语，主要是练习口语和背GRE单词，记得刚来这边对厦大的环境不太熟悉，苦于找不到适合早读的地方，会偷偷溜到生命科学学院里去😂。但还好，后来我发现食堂二楼很适合早读，读完书之后便搭实验室班车去软件园开始工作。

那段时间的午课半小时，我开始在Coursera上学learning-how-to-learn，主要是想弄清楚如何科学有效地学习，毕竟从小到大学了这么习，好像还没认真思考过什么才是学习，如何学习？在零碎时间或者是摸鱼的时候，我会去学The Missing Semester of Your CS Education以及看看intermediate-python，前者因为我发现自己还是缺少很多cs通用的技能，而后者我想写出优雅的高质量的python代码，毕竟大部分时间都在使用python。在每周六周天，没有2030的任务时，我在学standford CS229以及mit18.100A，一方面是想给自己补补基础，另一方面对这些也有很大的passion。

9月份开学，我竞选了班级学委，主要是想举办类似读书会的活动，以讨论班的形式将一群热爱技术、科研的人聚集在一起，共同读一部书或者是论文探讨。因为觉得一个人学习很容易陷入局部最优，而一个团体能够扩大搜索范围，跳出局部最优。

而9月份这一个月的时间里，我除了上课，剩下的大部分时间还是在做2030，根据flageval上的各类指标，收集数据集，做peft微调，尝试提升llama模型的性能。对于厦大的研究生教学质量，真是一言难尽，绝大部分课都像是摆设，老师讲老师的，学生做自己的。而对于我来说，如果老师讲得好，课听的有收获我便会听，但大部分时间我也是在做自己的事情，不知道其他top高校的研究生教学是怎样的，真是很向往有大师的学校！

到了10月份，博文师兄实习回来，我开始继续做丢了2个多月的知识蒸馏。主要是需要重新设计蒸馏算法，提高模型的性能，师兄这篇iccv之所以被拒，是因为审稿人diss实验效果还差点，虽然具有创新性和可解释性很强。

到10月中旬的时候，我去参加了PRCV2023，这也是我第一次参加学术会议，我最受益的是《高质量论文写作与发表论坛》，请了很多有名的教授谈科研与论文写作心得。其中印象最深的是浙江大学李玺教授说“科研是一个全链条优化的过程”，还有复旦大学张军平教授《高质量读研》，我利用零碎时间将这本书读完了，其中对我帮助最大是书中说”基础应该优先定义在对具体研究问题的前沿掌握上，以点带面地学习。“

此外，徐宗本院士题为《变与不变：有关大模型的一些数理基础问题》让我意识到我们正处于大模型时代，而以前的数学理论在大规模数据集上并不完全适用，需要建立一套全新的数学理论来做大模型的基础研究。

从10月份到11月19日CVPR截止这段时间，我绝大部分时间都在做蒸馏实验，尝试了很多想法，但最后并没有达到理想的预期😂，师兄说设计新的蒸馏算法和原论文其实是独立的研究课题了，因为你知道一个东西是什么和知道如何让它变得更好是两码事。我感觉整个实验的过程，有点像抽奖碰运气，尝试的很多想法都没有根据，我认为有很大部分原因在于自己读论文太少了，对蒸馏的理解得还不够深入，在设计时可用的武器并不多。

投完cvpr到12月中旬这一个多月，我主要是在继续做导师之前一篇混合压缩的论文，在上面加各种CNN的KD算法，验证实验效果。最开始做的时候，跑1个epoch需要花2个多小时😓。尝试了各种加速的tricks，从数据加载到数据增强，结果发现提升并不明显，只快了0.5h，结果后来才断定是机器的问题，同一份代码，相同的配置，伟中在另外的机器上跑只需要几分钟/eopch。

此外，我和咏东组队做计算机语言学的课设，而咏东打算用他投IJCAI的论文拿去当课设，于是我帮着用open3d实现了论文中3D bounding box的可视化，本想找个现成的直接用因为感觉这个可视化挺普遍的，结果找遍全网都没有，所以只好自己写，做了很久最后都打算用PPT画了😂，但终于还是用代码实现了，打算后面整理下开源到github上。

23年月底最后一周时间则主要是在补之前欠下的课堂作业和准备期末复习了。有一门矩阵论的考试，我没想到老师会考作业中没有涉及到的知识点，于是100分的题目我只做了60多分，没做出来的都是我复习没看的，虽然平时也学了，但时间一久就忘了。当时考完后，突然对这种考试有些反感了，毕竟凭着对数学兴趣，自己平常在矩阵论上也花了不少时间。而且经历了从大学追求高绩点，到研究生以追求理解知识本质为主的转变。我认为如果你有比较强的考试突击能力，在短时间内把内容记住然后应用，也能够考很好的分数，而且它无法评估你是根据理解写出来的还是背出来的。我更想从数学中获取思想，如何解决问题的思维，而不是仅仅把数学当作一种工具吧。

以上梳理了23年以来的主要事件，自己在科研的道路上摸爬滚打，走的比较慢，但也比较沉稳，总之对我来说，做什么事情无论结果尽力而为即可。最后，再用数据总结下23年。

23年作息大概为，早读1h，9点到实验室工作到12点，去图书馆午休半小时后14点到实验室工作到17:30，晚上19:00工作到22点。日复一日，如果当天会去运动，17:00便会下班。除了1h早读外，我晚上喜欢去思源餐厅吃饭，在回来实验室的路上，听着《走遍美国》的录音，练习口语，我发现这是个很好的方法，因为回来有段路上基本没有人😂。

在生活方面，手机时间使用时间日均1h31min，23年总计502h20min。睡眠日均时间为7小时44min，一般是23点-23点半入睡，早上6点半-7点起。健康方面，干眼症还没有完全好，但按照番茄钟的间隔学习问题不大。运动主要是游泳和跑步健身，一般是隔天进行一次1h运动，毕业后打篮球很少了，主要是找不到球友呀~

23年共完整读完/听完了8本书，分别是《高质量读研》、《别闹了，费曼先生》、《曾国藩家书》、《大学中庸》、《图解心经》、《深度学习入门》、《房思琪的初恋乐园》、《找出最初的你》，然后还有一些基本读完以及专业课用到读了大部分的书就不在此一一赘述啦，详见豆瓣。

在观影方面，23年看了4部电影，在寒假看了《饮食男女》、《花样年华》、《落水狗》，在来厦大的飞机上看完了《老人与枪》。我还是喜欢看以前经典的电影，几乎不去电影院。

在人文艺术方面，我喜欢利用零碎时间，例如坐班车、走路的时间听一些讲座，文史哲这些东西占了我精神世界中的很大部分，如果没有这些感觉自己就像个行尸样的工具人。基本听完了王德峰教授的《大学》、《道德经》、《中西思想必修课》、高华教授的《中华人民共和国史》、香港科技大学文化研究中心系列讲座《重读中华人民共和国史》，一方面是出于对中西方哲学的兴趣，另一方面想全面客观地了解自己所生活国家的历史。展览除了上面提到的数字艺术和莫奈，今年只看了校内的一个摄影展。

在音乐方面，听得最多的还是古典，最喜欢听肖邦以及巴赫，下面揭晓年度歌手和歌曲！

总的来说，今年最大的事情还是读研吧，交到了很多厉害的朋友，我也逐渐适应读研的生活。自己还是比较喜欢目前的状态，做有意义、有价值的事情。

24年希望自己能做到以下：

1. 生活
   1. 保持早睡早起的习惯，坚持健康第一位。
   2. 手机使用时间降低，控制在1h内
   3. 充分利用好零碎时间读书，并在晚上睡前能够争取看一会儿书
2. 科研
   • 转变科研学习的方式，降低看书和看课的比例，将主要的时间用在读论文做实验上，希望能做出自己的东西。

comments powered by Disqus