记忆与深度学习的关系

不知道你有没有像我一样，前几分钟听到看到的东西，很可能就在后几分钟之内，忘了差不多50%。特别是我在互联网行业工作了几年， 切身体验到信息轰炸的威力。每天起床，看到微信里就是各种公众号向我推荐的几十篇文章，频繁地刷抖音，10分钟就能浏览过30段不同的短视频。 成千上万的信息朝我汹涌而来，我想全部接住，但也无能为力。

于是我开始思考什么才是我真正关心的，我想要记住的。然后我需要怎样做才能留下长久记忆。接下来的探索，让我发现， 有很多概念与深度学习有着异曲同工之处。所以我才想把这些想法写下来，留作未来的参考。

信息轰炸

2020年，是一个APP就想给我推送消息，以前的朋友有些做了生意/代购，朋友圈里的小红点一直就没有消停过。 我是一个特别厌恶被杂乱信息打扰的人，所以我屏蔽了95%的推送，取消了红点提示。下面这张图就是我的微信发现页， 我就只保留了一天大概只看一次的朋友圈，保留视频号的原因也只是我想了解张小龙想怎么推进视频号， 可能也就一周看一次，但是我还是很讨厌它上面那个红点提示。

其他的通知源也被我逐一的"优化"，能最终在我的手机上弹出通知的，可能也就是验证码，微信，闹钟了。这只是有效记忆的第一步——过滤繁杂信息。

记忆增强

想多记得点东西，那就睡觉吧。 你还别说，睡觉真的是增强记忆的重要手段。《Why We Sleep: Unlocking the Power of Sleep and Dreams》 这本书中有详细阐述这样的观点。如果想偷懒，这个 TED 科普中 Hacking your memory with sleep 用比较好的动画展示了睡眠与记忆的关系。

这些记忆可能都只是暂存在我的海马体中。就是图中脑部中下方的那个东西。 之前有一个非常特别的病例，1957年一个叫 H.M. 的病者因为癫痫，他的海马体被切除了，接着他就失去了形成新的长期记忆的能力。 这个研究也推动了脑科学中对于记忆的研究。

研究表明海马体主要是收集新的记忆，就好像你把工作电脑中的文件拷到了U盘当中或者说是编码进你的脑神经系统。 等到了晚上睡觉进入到快速眼动期， 我的大脑开始带着我这个U盘进入了我大脑的数据中心——长期记忆存储地——大脑皮层。这时短期记忆被转移至长期记忆。

甚至，当你做梦的时候，也是一种学习，研究发现大脑会不断 "重放 - Replay" 这一段被编码的记忆。 科学家记录了小白鼠白天走迷宫的脑神经活动， 睡觉时，科学家发现这些脑神经被不断地激活， 而且重放的速度大约是清醒时的10倍（这是不是意味着我们做梦的速度比现实发展速度更快，记得盗梦空间里有这一段）。而这种重放机制， 其实就是在你大脑中刻画新的神经链接，形成新的记忆，不断的重放，也意味着它在不断地强化。

我在 想学好就得休息好 中会有更加具体的分析和拆解。

模型迭代与记忆重放

这让我思考是否可以类比 深度学习当中的迭代过程，虽然在基础理论上不太相同，一个是用 Gradient 来不断更新神经网络模型的链接中的参数（我就把这个参数链接叫做认知吧）。 上一段讨论到，人类在睡眠中，也存在不断重放的过程。

• 深度学习模型：不断迭代更新网络参数
• 人脑：不断重放强化新的脑神经链接

至少在我看来这真的很像，只是他们的迭代和重放的 trigger 不太一样，一个是预测值和真实值的误差，一个是短时记忆与长期记忆的迁移过程。

人和模型还有一点很大的不同，人脑形成新的神经连接后，是嵌入到以前的记忆链接中的，这也更新了以前的某些相关联的记忆。所以说如果你生活中遇到什么问题， 说不定睡一觉，醒来就会有答案了。

广泛 or 专业学习

有一个 TED 科普 Why specializing early doesn't always mean career success | David Epstein 中描述了 广泛学习 能让我们更快速地学习到新技能，新知识。

其中举了这样一个例子。有两批人，一批是在某一个乐器上的专业演奏者，一批是多种乐器都接触过，玩得很杂的业余者，让他们再接着学习新的几种乐器。 结果发现，业余者会花很多时间学习第一个新乐器，但是他们能花更少时间学习其它乐器，甚至，当学到第三种乐器时，业余者可以花比专业者更少的时间学习。

这种情况不仅仅发生在学习乐器上，在学校教育里也存在，如果孩子入大学前什么都尝试过，比那些只在某个专项上努力的学生，学习新事物的时间要少很多。

罗森茨威格也做出了一个白鼠实验， 分批让白鼠生活在信息单一匮乏和信息丰富的环境中，结果发现丰富环境成长的老鼠大脑皮层更厚更重，乙酰胆碱的酶更具活性， 神经元两者数量无差别，但是丰富环境老鼠神经元更大。广泛学习也可以认为是这样的丰富信息的环境。

如果回到脑结构上，我们往远了思考， 广泛学习，必定会构建一个更加复杂庞大且有效的神经链接网络，而这个网络中存在更多事物之间的共通性，毕竟他们要节约链接数， 也意味着不同事物可能会共用一些链接，这使得广泛学习者对于新的类似的事物能更快速地构建链接，加入到这个已经存在的网络里。 而专业学习者，他们的技能可能更加独立，链接系统也可能独立起来，更加难找到事物的共通性。

所以，我认为广泛学习，找到事物的本质和共通性才是我们真正应该追求的。 我在 寻找本质 中更加具体地阐述了我是如何利用这个想法，发现生活中的本质的。

通用编码器

有了对广泛学习和专业学习的讨论，我想再回到我擅长的深度学习上。我会发现， 对于事物的理解非常像 AutoEncoder 系统中的 Encoder Decoder 概念。 广泛学习者一直是在训练一个庞大的 Encoder，这个 Encoder 可以理解，编码不同种类的信息，能够进行深度类比和找到事物本质的信息。 训练出一个万能通用 Encoder，可以大大减轻 Decoder 的学习压力，这也是为什么上面提到的广泛学习者，能快速学习多种不同任务的原因了。

换句话讲，广泛学习者利用更多的 Decoding 任务，花了更多时间在学习一个通用 Encoder。如果 Decoding 任务足够多， Encoder 就更通用，新的 Decoding 任务学起来就更简单。

而专业学习者，更像是学着多个不同的 Encoder，所以他们单个 Encoder 特别的强，而不具备通用性。

我在 对编码解码的理解 中会更详细地分析这种观点。

你看，我说了我喜欢挖掘一些深度学习比较本质的东西，这不就是一个吗。以后我对于 Encoder-Decoder 就会有另一种解释了~ 什么迁移学习，多任务学习，多模态学习还不都是这个原理。

记忆的覆盖与重构

我再从全局观察一下，想要记忆的第一步，就是过滤多余信息，让脑袋的负载没那么大。当新信息不断地进入长期记忆中， 我们的神经网络系统将会不断创造新的连接，如果新信息与长期记忆中的旧信息之间是有关系的，那我们原本的网络系统很可能就会被覆盖或者重构。 这样的好处就是将新信息安好家，找到了一个同兴趣的社区，但是坏消息也有，被重构的网络可能改变原有的记忆， 这时记忆应该就出现了混淆或者遗忘。

所以遗忘是有它的合理性的。 大自然最擅长的是充分利用资源，效率最大化地运转事物。每一种动物的大脑都有着不一样的容积，蚂蚁为什么没有像人一样大的大脑？ 答案是没必要，用不了那么多。同样，我们人的大脑为什么不再长大一点？答案是更大的大脑消耗更多的资源，目前我们的大脑最适合人作为人类所消耗的资源量。

在有限的大脑容积内，怎么样可以有效地利用这些脑神经链接，更有利于我们活下去？ 我认为是我们的大脑学会了 "复用" 这些神经链接（上文提到的通用 Encoder）。 如果某些东西可以在多种场景下，实现复用，那这东西的价值肯定高，效率也不差。

所以本质上来说，我们并没有忘记，而只是之前的神经连接方式变了， 记忆也就出现了变化，有的记忆因原本的链接方式变化而改变，也有的记忆甚至因这场改变而消失了。 但这场变化也有好的一方面，多个记忆的共同部分因为重复被激活，他们的链接也可以被加强。我把它称为"事物的共通性被重构加强了"。

对我的影响

对我的影响肯定是巨大的，在今后的生活学习中，我就会依据上面的这些思考，跟随下面这些原则：

1. 坚持广泛学习，不排斥新领域的新知识；
2. 不熬夜，多睡觉（这点我依旧是打脸的...）；
3. 多将新的知识归纳总结到原有的知识体系中

希望看到这篇文章的朋友共同进步吧。