AI教父「Hinton」2024.05最新访谈：我已经无法跟上AI发展了❗️

https://www.bilibili.com/video/BV1BJ41157PJ
官方Python课程：BV1c4411e77t
数据结构与算法：BV12m4y1e7iY
趣味学算法：BV1HT4y1K7DY
Web课程：BV1QW411N762
JavaScript课程：BV1dG411B7nG
C语言课程：BV17s411N78s

采访概述
在最近的一次深度访谈中，AI教父Geoffrey Hinton分享了他在人工智能研究、人才选拔及与合作伙伴共事方面的独到见解。与其他访谈不同，这次讨论不仅涉及大模型的应用，还探讨了大脑和人工智能的本质。
直觉与人才选拔
Hinton强调，直觉在选拔人才时至关重要。他提到学生Ilya Sutskever的直觉和理解力给他留下了深刻印象。此外，他回忆了在卡内基梅隆大学的经历，那里学生们对未来充满信心。
大脑与人工智能
Hinton探讨了他从生理学到哲学，再到人工智能的研究历程，寻找大脑工作原理的答案。通过与重要合作伙伴的合作，他在玻尔兹曼机、神经网络连接权重等研究方面取得了重要进展。
反向传播与合作
Hinton特别提到他与Ilya在研究反向传播算法时的合作，认为Ilya的直觉和解决问题的能力为AI和神经科学研究带来了突破。
规模与算法
Hinton认为，科技进步的关键在于规模和算法。他提到Ilya关于系统规模的观点，认为数据和计算规模是决定性因素，并回顾了与Ilya和James Martins在2011年的一篇重要论文。
模型工作原理
Hinton解释了大型语言模型的工作原理，通过类比GPT-4回答问题的方式，展示了模型通过理解不同事物间的类比进行创新的能力。
多模态学习
Hinton认为，引入图像、视频和声音等多种模式，将极大提升模型的理解和推理能力，尤其在空间理解方面。
语言与认知
Hinton提出了三种观点：符号观点、向量观点和嵌入观点，认为最合理的模型是将符号转换成大向量，并保留符号的表面结构。
GPU训练的早期直觉
Hinton回顾了他在2009年提出使用GPU进行神经网络训练的直觉，强调了这种技术对机器学习研究的重要性。
模拟计算与数字系统
Hinton探讨了模拟计算在低功率下运行大型语言模型的可能性，并指出数字系统通过共享权重来提高效率。
神经科学与快速权重
Hinton指出，大脑使用快速权重进行临时记忆，而我们的模型由于需要处理大量不同情况，无法实现这一点。他认为我们将不得不拥有更多的时间尺度。