被忽视的起点:Paul Werbos 与反向传播的真正根源

在 Geoffrey Hinton 于1980年代推广反向传播算法之前,早在1970年,Paul Werbos 就已在其博士论文中提出了这一关键思想,奠定了深度学习的数学基础。本文回顾 Werbos 的理论源头、学术影响与长期被忽视的原因。透过这段鲜为人知的历史,重新发现:深度学习的根基,源于一位远见者在半个世纪前的预言。

Read More

Ilya Sutskever 如何理解大模型中的“理解”问题?

在人工智能飞速演进的今天,“理解”成了一个被反复提起但难以定义的词。我们的问题很简单:像GPT这样的语言模型,真的“理解”我们吗?
在这个问题上,OpenAI联合创始人、深度学习领域的重要思想家 Ilya Sutskever,提出了一套颇具革命性的观点。他没有像哲学家那样定义“理解的本体论”,但他的技术语言和研究路径中,隐含着对理解问题的一种深刻重构。

Read More