🧪【视频】AI科学家首秀！Claude 3.5论文被人类实现🚀

今年8月，Sakana AI公司推出了史上首位“AI科学家”——Claude 3.5 Sonnet。这位AI科学家一经亮相，便独立生成了十篇完整的学术论文。近日，其中一篇论文的科研想法被人类研究员成功实现，并已在预印本平台arXiv上公开。

📝 论文亮点

这篇由Claude 3.5 Sonnet在第22次迭代时提出的论文，探讨了神经网络中最小描述长度（MDL）与“grokking”现象（即模型在长时间训练后突然泛化）的关系。

受该论文启发，人类研究员Branton DeMoss及其团队进行了深入研究，并发表了题为《Grokking Complexity Dynamics in Neural Networks》的论文。

DeMoss团队的研究聚焦于神经网络在“grokking”现象中的复杂性动态，即网络从记忆训练数据到实现完美泛化的过渡过程。他们引入了一种基于失真压缩和Kolmogorov复杂性的新方法，来衡量神经网络的复杂性。这种方法就像“神经网络的JPEG”，能够追踪网络在学习过程中的抽象复杂度变化。

研究结果表明，在神经网络从记忆阶段过渡到泛化阶段的过程中，其复杂性首先上升，随后在泛化发生时下降。这一发现为理解“grokking”现象提供了新的视角，并强调了复杂性在预测模型泛化能力中的重要性。

OpenAI前研究团队负责人Jeff Clune表示：“简直不敢相信！这是AI产生的我最喜欢的想法之一。看到与人类达成一致真是太酷了，人类确实执行得更好。”

Sakana AI公司自推出“AI科学家”以来，已经引起了广泛关注。公司在9月份还成功获得了一笔2亿美元的A轮融资，其中不乏英伟达等科技巨头的参与。

随着AI技术的不断发展，我们有理由相信，AI将能够在更多领域提出创新性的科研想法，并与人类研究员携手共进，推动科学研究的进步。