Gary Bradski 永不满足的好奇心、冒险精神和独到的商业嗅觉，让他成为计算机视觉与自动驾驶领域的奠基性人物。

Gary 曾加入 Stanley 团队，帮助他们赢得 2005 年美国 DARPA 无人车挑战赛。那辆获奖车辆至今仍陈列在史密森尼国家博物馆。比赛中用到的技术，为后来 Google 的自动驾驶计划打下了重要基础。

计算机视觉领域当年的混乱状况，促使他去打造一个统一而简化的视觉库，这就是 OpenCV 的由来——它如今已是该领域全球使用最广、最知名的开源组织。

除此之外，他还有敏锐的投资眼光，参与过众多科技创业与投资。他投资的 Lambda Labs 是一家定位于 Google、亚马逊这类巨头之间的云服务公司，如今估值数十亿美元并已实现盈利。

面对 AI 的“灾难性遗忘”与高昂训练成本，他提出了“世界模型”以及模仿生物持续学习机制等解题思路。

在 GOSIM CHINA 2024 上，Gary 带来了一场关于“OpenCV 与空间智能”的精彩演讲。会后，GOSIM 的特别访谈栏目 Open AGI Forum 独家邀请 Gary Bradski 与 CSDN 资深技术编辑王启隆（Eric Wang）展开深度对谈，他在创业、计算机视觉、自动驾驶与 AI 等话题上分享了深刻的见解。

对话亮点：

  • 睡眠可能在生物学习中扮演着“过滤外部噪声”的角色，帮助知识的整理与结构化。

  • 在梦里，你身处一个世界之中。醒来时，梦并没有结束，而是接上了外部的数据源。世界模型正是通过处理和匹配外部感知而形成的。

  • 人类还会对世界中的因果关系建模。换句话说，在“是什么（WHAT）“和”在哪里（WHERE）“之外，还存在一个理解物理规律的”为什么（WHY）“系统。我把 AI 模型与 3D 系统结合起来，让摄像头拍到的图像不仅能识别”是什么“，还能确定“在哪里”。

  • 目前最成功的 AI 模型大多依赖对大语言模型的微调。若要转向一种受生物学习启发的 AI 系统，SLAM（同步定位与建图）可能是一条路径——让机器人在探索环境的同时建图，适应变化，并在遇到移动物体时持续学习。

  • 从安全的角度看，我们需要一个统一的数据库，记录自动驾驶车辆遇到的所有异常事件。每次部署软件更新时，车厂都必须在仿真环境中测试所有已知和新记录的场景，只有在跑完一百万英里无事故之后，新软件才能部署到真实环境中。

1. 创造 OpenCV：风险与机遇

Eric Wang: 您此前提到，创造 OpenCV 的动机是减少重复劳动、提升计算机视觉领域的整体效率。刚开始做 OpenCV 时遇到过阻力吗？如果有，是怎么克服的？

Gary Bradski: 是的，我遇到了很大的阻力。当时英特尔的目标是“让人们不再需要买新电脑”——现有的计算资源已经足够处理文字和表格，那还有谁需要新机器呢？但我相信，AI 和视觉处理对算力有着无止境的需求。那时的计算机视觉领域非常混乱，每个人都有自己的一套代码，科研成果无法复现，你甚至没办法验证别人研究的真实性。我觉得这个领域需要一个稳定的地基。在开发过程中我遭遇了大量阻力，好几次差点被英特尔开除。在没有高层批准的情况下，我直接带着别人做相关研究。这是一次巨大的冒险，但也带来了实质性的进展。当然，我不建议别人也这么干——大多数人不愿意、也没有条件承担这样的风险。在 DARPA 的自动驾驶比赛中，他们指责我干扰了其他团队——有人想加入我的项目，导致他们完不成自己的任务。我的老板非常生气，于是我离开了公司，专心做自动驾驶项目。有些人因为害怕被开除而退出，但留下来的人，参与了一件改变世界的事。

Eric Wang: 您提到想办一种新型的机器人比赛，聚焦种庄稼、修路这类真实世界的任务。这样的比赛应该包含哪些要素？您希望通过它达成什么具体目标？

Gary Bradski: 办比赛很大程度上取决于资金。请评委、组织相关活动都要花钱，所以我们希望能找到赞助方来支持这些比赛。至于比赛本身，我想办一些更贴近现实、更有意义的赛事。如果比赛只是让机器人跑来跑去捡茶杯，那有什么意义？或者分析网络图片——这类比赛已经很多了，再办一个又能带来什么真正的影响？

到目前为止，我的设想还没有完全实现。我设想的比赛是：机器人自动种植作物，或者记录农业数据，用来测试不同植物品种如何适应气候条件。眼下这些工作大多由相关专业的学生手工完成，成本非常高。我们能不能设立一个监测作物的挑战赛？这有助于植物更好地适应气候变化，甚至可能拯救数十亿人的生命。那才是真正有影响力、有意义的比赛。

另一方面，我们需要提供一个像 OpenCV 这样的平台，让大家在上面搭建。它不仅能帮助分析结果，有了共同的平台，竞赛也能被推到更高的层次，而不是让所有人毫无意义地重复基础工作。

Eric Wang: 您说过 OpenCV 需要稳定的资金，尤其是来自政府的支持。目前 OpenCV 的主要资金来源是什么？有没有计划引入新的筹资模式，比如企业赞助或社区捐赠？

Gary Bradski: 筹资一直很有挑战。我认为中国在这方面做得更好，对开源项目的支持更多。在美国更讲究“自由竞争”——没人关心你能不能活下去。失败了算你倒霉，成功了很好。为了社会更大的福祉，我希望能有更多支持。我们目前主要的赞助方是 Google 这样的公司。相比之下，Facebook 会发布开源项目，但不为它们拨款。我们也在争取政府资金，比如写申请拿资助，但眼下还得靠筹款。我们还计划推出一个空间智能平台并对其收费——不是完全免费开源，但价格低廉、人人可用。如果我们每月只收 1 美元，这不会妨碍开发，对吧？它带不来巨额收入，但足以养活一支稳定的开发团队。

我们每年都要筹钱来发开发者的薪水。目前我们有几位核心开发者和许多贡献者。但如果关键位置上没有拿薪水的开发者来把关哪些东西该加、哪些该删，这个库就无法有意义地演进。总之，我希望能得到更好的支持。

Eric Wang: OpenCV 在向大量用户普及计算机视觉方面发挥了重要作用。您怎么看它对计算机视觉和机器人领域的影响？您希望看到哪些改进或新功能，来进一步增强它的教育价值？

Gary Bradski: OpenCV 的一大收入来源是“OpenCV 大学”，它提供的课程不止于 OpenCV，还涵盖 PyTorch、AI、生成式网络以及计算机视觉的方方面面。这些课程每年至少带来 10 万美元的收入。当然，课程开发本身也需要大量投入。

在教育方面，我想为 OpenCV 设计一个语言模型，让用户可以直接与它交互，获取关于整个 OpenCV 代码库的信息。用户可以问“这个问题怎么解决？“或者”能推荐一个合适的算子吗？“我希望能把这件事变成现实。

我们即将发布 OpenCV 5.0，会把所有代码升级到 C++ 标准，具体来说是 C++17。这将进一步优化代码、提升一致性。简单说，我们现在更关注嵌入式设备。学生们可以用基础元件搭建项目，不必依赖庞大的云服务，我觉得这非常令人兴奋。

Eric Wang: OpenCV 与计算机视觉领域的其他工具和库之间，是互补还是竞争？

Gary Bradski: 在传统计算机视觉领域，我觉得已经没剩下多少竞争者了，许多竞争者没能坚持下来。不过 PyTorch、TensorFlow 等库正在向语言、视觉等市场扩张。我们专注于 DNN（深度神经网络）模块，致力于简化和优化推理流程。在演讲中我会演示一些例子：只用几行 Python 代码就能完成人脸检测或其他 AI 功能。我们也在尝试打造其他成功的 AI 工具，比如空间 AI 工具箱。我希望它能成为一个极其简单的、面向 3D 环境 AI 的框架。

Eric Wang: 在开发 OpenCV 和研究计算机视觉的过程中，人类或动物的视觉学习有哪些地方让您感到惊讶？

Gary Bradski: 一旦你深入研究视觉系统，就会发现果蝇这样的小生物在视觉处理上有多惊人。另一个让人意外的发现是，动物之间的视觉系统差异极大。比如我们给猫看一段视频，它的视觉系统处理信息要快得多，所以那段视频在它眼里可能是一连串静止的画面，而不是流畅的动作。

Eric Wang: 就像狗是色盲一样。

Gary Bradski: 是的，动物视觉的差异非常大。人类有丰富的色觉，鸟类的色彩感知更加丰富，而大多数动物的色觉都很差。有些虾类，比如螳螂虾，色觉远超人类和鸟类。不同动物的视觉系统都适应了各自的环境。比如猫的视觉适合弱光条件，所以它们对鲜艳的颜色不太敏感，却对快速移动的物体高度敏感。这也是为什么给猫看视频，它可能只看到一帧帧静止的画面，而不是运动的图像。

Eric Wang: 把空间智能的研究转化为可行的产品，关键步骤有哪些？您如何弥合学术研究与实际应用之间的鸿沟？

Gary Bradski: 这涉及把学术洞察转化为商业应用。我在商业上取得过一些成功，我的一般做法是：加快产品落地、提升用户参与度、把产品保持得足够简单。OpenCV 出现时已经有其他图像库了，但它们用的是复杂的 C++ 结构。我想要的是完成特定任务的简单函数，这让工具好用得多。

Python 之所以在 AI 领域占据主导，不是因为它最好，而是因为它容易学。在商业上，判断力至关重要。我最成功的一笔投资是 Lambda Labs，一家与 Google 和亚马逊竞争的云服务公司。他们做的是中端市场，已经盈利，估值数十亿美元。他们的创始人专注于执行，而不是理论或模型，核心是把硬件成本压低。在我看来，务实是关键。下一步就是快速推出一个基础版本，观察市场反馈。

2. 破解 AI“灾难性遗忘”的钥匙：世界模型

Eric Wang: 盲人可以通过非视觉的方式识别形状，把触觉转化为对长度和形态的直觉理解。这个过程看起来快速而自动——有点像丹尼尔·卡尼曼所说的“系统 1”——但实际上它包含一整套复杂的自动化流程，是长期训练的结果。相比之下，机器人通过各种传感器感知周围环境，再用算法整合数据构建三维模型——从逻辑和计算的角度看，这个过程更像“系统 2”。

卡尼曼后来指出，AI 行业误解了他的一些心理学概念：“系统 1”不只关乎速度，也包含复杂的因果推理。

您认为机器人有可能发展出类似人类“系统 1”那样自动化且信息丰富的空间感知能力吗？

Gary Bradski: 我们都存在于一个物理世界中，而这个世界是基于感知运作的。在我看来，人与机器人——甚至与动物——最主要的区别，在于人类拥有丰富的世界模型。比如你做梦时，你身处一个世界之中；醒来时，梦并不是简单地结束了，而是接上了外部的数据源。世界模型正是通过输入并匹配外部感知而形成的。

低等动物的世界模型很简单，只是对刺激做出反应——比如一条鱼因刺激而来回游动。随着大脑复杂度提升，我们发展出了具备预测能力的因果世界模型，让我们把世界感知为稳定的。目前机器人领域还没有建立起这样的世界模型，甚至还没找到有效的构建方法。我认为这就是关键差异。

Eric Wang: 您提到人类通过结构化的课程学习，而 AI 依赖随机采样，这导致了“灾难性遗忘”的问题。您认为睡眠和生物学习机制可能是解决之道。能否详细谈谈，为什么理解生物学习机制、特别是睡眠的作用，对 AI 发展至关重要？睡眠具体可能如何缓解灾难性遗忘？

Gary Bradski: 神经网络存在“灾难性遗忘”，也就是说训练时所有信息被同等对待。这与人类的学习方式不同。当我教你“1+1=2”时，我不会紧接着就讲量子物理或者水螅眼睛的生物学，对吧？人类的学习会构建一个有结构化地基的知识体系。在这个结构之内，人可以终身持续学习。此外，所有生物都会“睡眠”。睡眠是一种极其危险的状态——睡着时，生物失去意识，无法反应、无法自卫、无法逃跑。这说明睡眠一定在学习和知识结构化中承担着某种根本性的功能，甚至可能是一种数学上的必然。

一种可能的解释是，生物发育是分阶段的，某些知识只能在特定阶段获得，之后就被固定下来。比如，如果你在关键期内没有见过任何竖直的线条，日后可能就永远无法识别它们。为什么？因为学习需要形成一个能够真正表征知识的基础结构。生物的知识建构是分层的——先把基础知识固定下来，再在其上搭建新的层次。我怀疑睡眠起到了“清除”外部噪声的作用，帮助整理和结构化知识。虽然目前没有确凿的证据，但所有生物都需要睡眠这一事实，暗示它在学习中有着重要的功能。

Eric Wang: 您认为当前技术发展的最大瓶颈是什么？

Gary Bradski: 在 AI 与世界模型的发展上，我们还没找到合适的路径——所有人都还在摸索。像李飞飞的 World Labs 这样的公司在做探索，但还没有出现最优解。

深度神经网络受困于灾难性遗忘，而人类的学习是连续的。人类会构建一个结构化的学习体系，从简单概念逐步走向复杂。相比之下，机器学习就像把所有知识丢进一个桶里，再随机往外抽。

训练模型时，加入新知识可能会破坏之前学到的内容。要纳入新信息，就必须把此前所有知识重新加载并重新训练，代价极高。而世界在不断演变，新事物不断涌现，一切都在变化——持续学习对构建世界模型至关重要。没有持续学习，真正的世界模型就无法建立。简而言之，灾难性遗忘和持续学习，仍是两个尚未解决的难题。

Eric Wang: 能否更详细地介绍一下 WHAT-WHERE-WHY 这个体系？它似乎与李飞飞的模型有所不同。

Gary Bradski: 李飞飞的目标是构建一个“世界模型”。在人类和大多数哺乳动物身上，处理“是什么”和“在哪里”的神经通路是相对独立的——既能识别“人”“椅子”这样的物体，也能理解它们的位置。这两条通路只在较晚的阶段才汇合，而不是同时习得的。

我的思路相对简单：把 AI 模型与 3D 系统结合起来，让摄像头拍到的图像不仅能识别“是什么”，还能确定“在哪里”。比如识别出“这里有两个人，一个在这边，一个在那边”。更进一步，人类还会对世界中的因果关系建模——理解“世界的物理规律”。所以在“是什么”和“在哪里”之外，还有一个“为什么”的系统。比如我们知道物体不会悬在半空，而是受重力影响。这些都属于“世界模型”的一部分，但我不确定这个模型在生物层面究竟是如何形成的。

Eric Wang: 如果我们想设计一个更接近生物学习机制的 AI 系统，应该从哪里入手？

Gary Bradski: 那非常困难。目前最成功的模型都依赖对大语言模型的微调。彻底重新设计一套新系统，失败风险很高，需要研究者愿意冒险迈出大步。我认为我们可以尝试构建一个“世界模型”，其中最简单的模型就是 SLAM（同步定位与建图）。

如果一个模型能实现 SLAM，让机器人在探索中适应环境变化，同时对移动物体做出反应，那它就可能支撑起持续学习。生物是在遇到“意料之外”的情况时开始学习的。比如你走路时遇到地上有个坑，没躲开就会踩进去崴脚。如果什么都不变，就没有产生新学习的机会。

相比之下，当前的深度神经网络一直在学习——但仅有这一点还不够，还需要一个类似睡眠的、能“清理并整理”信息的过程。

3. 热情 + 开阔的视野 = 洞见 AI 的机会

Eric Wang: 您不仅是计算机视觉专家，也是行业里的资深人物。在您看来，在融合受生物启发的学习机制这个方向上，有哪些新兴的研究值得投入？

Gary Bradski: 我不确定是否有人把“灾难性遗忘”当作一个根本问题在研究。Yann LeCun 非常重视“世界模型”，其中一个关键挑战是如何把不同的感知模态整合成一个统一的整体。他提出了基于能量的模型，设想在高层次上把这些输入转换为标量值，从而让视觉与听觉感知之间产生交互——我认为这个方向很有潜力。

也有一些不那么主流的路径，比如对不同学习机制的研究。我的朋友 Rodriguez 正在探索如何实现赫布学习（Hebbian learning）。目前我们主要用梯度学习，而赫布学习基于联想学习，可能更贴近生物学原理。这类探索未必总能成功，但一旦成功，往往会带来革命性的突破。很多研究者都是自驱的爱好者，虽然大多数会失败，但偶尔有人成功，就能推动整个领域向前。

Eric Wang: 以您在 AI 技术开发上的丰富经验，您如何看待在公共空间部署 AI 驱动机器人的伦理问题？我们如何确保这些系统被负责任地使用，并维持公众的信任？

Gary Bradski: 以自动驾驶汽车为例——我们如何确保它们不构成安全风险？如果车厂不会受到任何惩罚，他们就可能忽视安全投入，这是不道德的。隐私问题同样是一大挑战。在美国，有些系统需要监管批准，另一种管理方式则是通过法律诉讼——许多公司因为畏惧法律风险而变得更加谨慎。

我建议建立一个统一的数据库，记录自动驾驶车辆在运行中遇到的所有异常。之后每当软件更新，厂商都必须在仿真环境中针对所有已知和新记录的场景进行测试，确保在一百万英里内不发生事故，才能把新软件部署到真实环境中。尽管每家公司都想独占数据以保持竞争优势，但从安全的角度出发，所有数据都应集中管理，以确保所有车辆都达到这一安全标准。

Eric Wang: 您最引以为豪的成就是什么？为什么它们对您有特殊意义？

Gary Bradski: 有些成就来得出人意料。比如 Sebastian Thrun 有一次找到我，问我要不要加入他的团队参加 DARPA 挑战赛。我答应了，然后我们赢了。比赛第一年以失败告终，但 2005 年，Stanley 团队在第二次尝试中夺冠。那是一次难以置信的经历——Sebastian 是一位出色的领导者。我之所以选择加入他的团队，是因为相比 CMU 那位领导风格更偏“命令与控制”的 Red Whittaker，Sebastian 的方式更放松，也更能激发自驱。

举个例子，他会说“我要通宵写代码，你们也应该这么干”，这激发的是自发的投入，而不是直接下命令。这让我看到，一种不那么强硬的领导方式同样可以带来胜利。最终我们赢了，我们的车如今陈列在史密森尼国家博物馆。我去参观时，还给游客讲解过那台机器人，围了一大群人。

当然，OpenCV 对我也是一项重要成就。很少有事情能像 OpenCV 这样，把最初的设想完整地实现出来。我的目标是通过提供一个共同平台来加速整个计算机视觉行业，而它做到了。在创业方面，我在医疗领域发起过项目，投资了 Lambda Labs，现在还在做太空与农业机器人方面的事业——这些都是我深怀热情的领域。

Eric Wang: 对于刚进入 AI 与机器人领域的年轻人，您有什么建议？

Gary Bradski: 很多人强调“人脉”，甚至专门教人怎么建立职业关系。但对我来说，人脉是自然而然形成的，因为我对很多事情都是真心感兴趣——我会问别人“这是怎么运作的？”“你是怎么做到的？“好奇心帮了我很大的忙。遇到难题时，我常常能想起某个可能帮得上忙的人。所以我确实建议保持一个广泛的人脉网络，但我也承认，有些人更愿意在单一领域深耕。就我个人而言，我享受这种交流，哪怕是在完全不相干的领域——比如去一个考古现场，出于兴趣问上一堆问题。

另外，不要只是追逐潮流。退后一步，保持更开阔的视野。比如现在所有人都在谈学习 LLM，但我觉得值得去思考一些更根本的问题，或者去做高风险、可能带来革命性突破的项目。我倾向于选择高风险的路，因为我不怕失败。我始终相信自己总能找到出路——我有技术能力，就算被开除，也总能找到新的事情做。此路不通，自有另一条路。

甚至在旅行时也是如此。比如我们没仔细看火车票、不知道要去哪儿，我太太会问：“我们要怎么办？“我会说：“我不知道——也许会有人告诉我们，或者我们就困在车站，再从那儿想办法。”

Eric Wang: 问题就到这里。感谢您分享这些宝贵的见解，也感谢今天的对谈。谢谢所有观看的开发者，我们下期再见！

作者 | Annie Xu
采访 | 王启隆 Eric Wang
编辑 | 王启隆 Eric Wang
出品 | GOSIM 开源创新汇