# 6. 高效能 AI 的七个原则 提前怀旧 · 2018-07-05 本期节目以Google因Project Maven事件引发内部抗议后发布的AI七原则为切入点，任宁和Rio逐条分析认为这些原则多为“正确的废话”，缺乏执行和约束机制。他们指出“对社会有益”由谁定义成问题，“避免不公平偏见”涉及主观价值判断，“安全测试”在复杂黑箱系统中难以落地，“对人们负责”与Google自身缺乏人工客服形成讽刺对比。节目延伸到Ford Pinto成本算计导致安全隐患、林书豪因种族偏见遭低估等案例，揭示技术伦理困境与立法滞后。最后讨论技术专治倾向，以及社交能力在劳动力市场中日益重要的趋势。 ## Questions this episode answers ### 谷歌为什么要发布7条AI原则？背景是什么？ 导火索是谷歌参与美国军方Project Maven项目，为无人机提供图像识别，引发内部抗议和员工离职。据任宁所说，江传李飞飞威胁离职，但官方否认，不过李飞飞在邮件中建议回避“AI武器”一词。最终迫于内外压力，谷歌于2018年6月7日退出项目并发布《AI at Google: Our Principles》，列出7条原则以表明负责任的态度，任宁认为这也是对之前欠考虑的Duplex演示的补救。 [0:27](https://lib.pretro.xyz/a14a3b15-45bb-4ecc-8182-dcc1d87ff77f?t=27000) ### 谷歌AI原则的第二条关于避免强化偏见，讨论中如何说明“不公平偏见”难以定义？ Rio指出，AI偏见（bias）在统计学上是客观偏差，但加入“不公平”就涉及主观价值。任宁以篮球选秀为例：若纯靠数据，黑人球员平均表现更好，但林书豪能力相当却因刻板印象被忽视，这源于自我实现的预言。Rio补充滴滴司机背景审查：若因有犯罪记录而拒绝其工作机会，可能迫使其再犯罪，形成恶性循环。他们强调，实践中很难判定何时为“不公平”，该原则缺乏清晰界定。 [10:46](https://lib.pretro.xyz/a14a3b15-45bb-4ecc-8182-dcc1d87ff77f?t=646000) ### 对于第三条原则“为安全而构建和测试”，谈话如何质疑其可行性？ Rio和任宁认为这是一句“正确的废话”。Rio指出，传统工业有ISO等成熟质量认证体系，但软件尤其AI因高度复杂、不透明，尚无类似方法论。他举Uber自动驾驶事故：系统探测到行人却未采取行动；任宁则提福特Pinto案，公司为成本牺牲安全，事后被法院惩罚性罚款。他们担忧AI领域缺乏有效制衡，该原则只是美好愿景，无法指导实际如何确保安全。 [22:43](https://lib.pretro.xyz/a14a3b15-45bb-4ecc-8182-dcc1d87ff77f?t=1363000) ### 针对第四条原则“对人负责”，对话如何批判谷歌自身缺乏问责？ Rio直言完全不信该原则，因为谷歌臭名昭著：其系统全自动运作，如Gmail账号被误禁后用户无人工客服可申诉，只有付费商业用户才有24小时热线。他举例一个合同工因系统自动解雇而影响项目，管理层却无法干预。任宁则从权力角度解读，认为应保留人的干预权利，防止技术专制。但Rio强调，谷歌连基本的用户支持都没有，谈“对人负责”信誉不足，该原则更像公关口号。 [33:43](https://lib.pretro.xyz/a14a3b15-45bb-4ecc-8182-dcc1d87ff77f?t=2023000) ## Key moments - **[0:00] 风波起** - [0:17] Project Maven争议促使Google发布七条AI原则 - [1:19] 李飞飞在内部邮件中建议Google回避“AI”一词以避免敏感 - [2:33] Google于6月7日发布《AI at Google: Our Principles》博客文章 - **[4:06] 社会有益** - [4:35] 任宁认为“对社会有益”是一条正确的废话，缺乏指导意义 - [6:08] 任宁举例：工厂引入机器人导致工人失业但提升效率，利弊因立场而异 - [8:25] Rio指出硅谷科技公司虽带来整体好处，却也导致底层居民被排挤 - [9:44] 任宁提到中国90%的AI企业尚未盈利，AI技术远未成熟落地 - **[10:34] 避免偏见** - [11:00] Rio质疑：AI反映数据中的客观规律，何时算作“不公平”偏见？ - [16:04] Rio讨论美国名校亚裔录取率争议：分数公平 vs 族群平衡 - [20:40] Rio以滴滴司机犯罪记录为例，探讨有前科者因就业歧视而再犯的可能 - **[22:37] 安全测试** - [22:37] 第三条原则：为安全而构建和测试，任宁认为是正确废话 - [23:13] Rio对比Uber自动驾驶致死案，指出软件领域缺乏传统工程的质量认证体系 - [26:45] Rio认为深度学习系统的复杂性使百分百确定安全变得不可能 - [29:26] 任宁讲述福特Pinto案例：公司为节省成本而牺牲安全，最终遭惩罚性罚款 - **[33:43] 对人负责** - [33:43] 第四条原则：对人们负责，Rio因Google缺乏人工客服而质疑其诚意 - [36:59] Rio讲述冷战时期苏联军官不信任导弹预警系统而避免核战的故事 - [40:31] Rio举例：合同工因系统自动执行而遭解雇，管理者无法干预 - **[43:27] 隐私设计** - [43:27] 第五条原则：融入隐私设计原则，与GDPR要求直接相关 - [44:21] 任宁指出Google有意通过AI原则再次成为规则制定者 - **[45:27] 科学卓越** - [48:17] 任宁认为Google身处技术垄断之中，重技术进度轻人文进步 - **[51:03] 全盘遵守** - [51:03] 第七条原则仅承诺遵循前述原则，缺乏外部约束机制，任宁觉得可笑 - [52:07] Rio认为需要像福特案那样通过司法形成外部约束 - [52:54] Q: 目前有AI导致的重大恶性事件吗？Rio指出尚未发生 - [55:00] Rio悲观预言：在人类尝到恶果之前，不会建立有效约束 - [55:46] 任宁补充：即使人类遵守原则，也无法确保AI本身遵循 - **[57:05] 有所不为** - [58:39] Rio提出争议：用于自卫的武器算伤害还是受益？ - **[1:02:27] 人文回归** - [1:02:27] 任宁乐观地看到人文关怀日益重要的趋势 - [1:03:32] 任宁引研究指出社交密集型职业需求和待遇正在上升 - [1:07:00] 任宁分享案例：因劳动力成本上升，高空作业平台车取代脚手架 - [1:08:58] 任宁强调AI取代工作并非技术入侵，而是顺应经济需求 ## Speakers - **Rio** (host) - **任宁** (host) ## Topics 人工智能, 伦理 ## Mentioned Google (company), Microsoft (company), Uber (company), 滴滴 (company), 百度 (company), Project Maven (product), 阿波龙 (product) ## Transcript ### 风波起 **任宁** [0:10] " 一切未来终将成为过去 。" 各位好 ， 欢迎收听第 6 期的 《 提前怀旧 》， 我是任宁 。 **Rio** [0:17] 我是 Rio。 今天我们要聊一个还是跟 AI 相关的话题 ， 我们这个在第 —— 应该是第 1 期的时候 ， 就是节目的 pilot 的时候 ，是讲的是 AI。 这期我们要重提这个事情 ， 当然提这个事情的一个起因或者契机吧 ，是因为这个前段时间爆出的一个新闻 ，是 Google 因为和这个美国军方合作开发一个军用的项目吧 ， 然后导致了一些内部的和外部的讨论 。 内部他们有很多这个员工表示不愿意把这个技术用于军事用途 ， 然后就有些是离职啊什么的 ， 对吧 ？ 包括他的明星科学家 ， 这个李飞飞博士 ，也在这个活动中有 —— 有参与这个活动中的去作为一些反抗吧 。 然后今天我们就这个话题来聊 。 **任宁** [1:06] 对 ， 嗯 ， 简单来说是 ， 那个军用 —— 所谓的军用项目叫做 Project Maven， 然后它是一个给无人机做图像识别的那么一个项目 。 然后， 呃 ，有江湖盛传是说李飞飞因为谷歌要做这个事情 ， 所以就威胁离职啊什么的 ，但反正官方的这个说法是说没这回事 。 但是 ， 呃 ， 之前他们内部的一些沟通邮件被泄露出来了 ， 然后被 《 纽约时报 》 报道 ， 说李飞飞是建议 —— 他没有明确指出说 " 你们如果干这个事情我就要辞职 "，但是他就也在这个邮件当中建议回避 "AI" 这个词 ，因为他说这个 AI 武器可能是这个 AI 技术当中最敏感的一个话题了 。 **Rio** [1:55] 不要把名声做坏了 。 **任宁** [1:57] 对 ，因为李飞飞一直都是那种坚持什么 " 以人为本的 AI" 啊 ， 然后什么这个 " 要向善的 AI" 啊 ，因为 AI 伴随着 AI 的 —— **Rio** [2:07] 可以说是佛系 。 **任宁** [2:09] 哈哈哈 ， 可以这么说吧 。 因为伴随着这个 AI 一直有一种 —— 有一种恐惧吧 ， 就觉得说啊 ，AI 会不会就从这个稍微好一点的说 ，AI 会不会抢走人们的工作 ， 对吧 ？ 然后这个 ， 呃 ， 糟糕一点的想象 ， 或者悲观一点的说 ，AI 以后会不会控制人类等等。 **Rio** [2:27] 嗯 ，AI 会不会把我们都干掉 。 **任宁** [2:30] 是 ， 类似这样的这个科幻的想象已经有很多很多了 。 **Rio** [2:33] 嗯哼 。 然后这个 Google 就在 ， 呃 ， 应该是 6 月 7 号的时候发了一篇博客文章 ， 讲说叫做 《AI at Google: Our Principles》， 就讲他们的这个 AI 研发的一些这个 —— 叫什么来的 —— 原则吧 。 **任宁** [2:52] 对 ， 然后这整个事件的背景就是像刚才所说的 ， 呃 ， 事情的后续是说谷歌退出了 Project Maven 的开发 。 **Rio** [3:00] 嗯哼 。 **任宁** [3:01] 并且还发了这 7 条原则 ， 应该是这个迫于这个内外的一些压力吧 。 **Rio** [3:07] 对 。 **任宁** [3:07] 然后他也是 —— 也有可能是之前他也没有认真的去思考过这个事情 。 就像我们在第一期节目里面说的 ， 就我觉得 ， 呃 ，他之所以会以那样的一个姿态来公开的来演示 duplex， 我觉得应该也是这个 —— 就其实我觉得有点欠考虑的 。他现在推出了这个原则 ， 我觉得这个原则它不仅仅是用于研发 ， 虽然它主要是跟研发相关的 ，但是我觉得应该也是作为谷歌以 后对外 PR 的这么一个形象的基础吧 。 **Rio** [3:39] 没错没错 ， 就是过去只考虑了个技术的问题 ， 没有考虑过这个道德和这个政治的问题 ， 现在要考虑这个问题了 。 **任宁** [3:47] 对 。 **Rio** [3:48] 然后我们今天的节目呢 ，也就是围绕着这 7 条原则吧 ， 我们来 —— 我们来逐条看一下， 看它到底是一个什么样的出发点 ， 然后它的这个表述怎么说 ， 然后我们去怎么理解这件事情 。 **任宁** [4:02] 是 。 ### 社会有益 **Rio** [4:06] 第一条叫做 socially beneficial， 叫对社会有益的 。 然后他说就是这个意思就是说这个 —— 我们做这个技术的时候一定要考虑它的综合 ， 考虑它的这个社会的和经济的一些属性 ， 对吧 ？ 会产生什么样的影响 。 这个我觉得好像 ， 呃 ， 从字面上来看 ， 呃 ， 争议不是特别大 。 **任宁** [4:31] 对 ， 这 7 条其实争议的话 ， 我觉得都是 —— 应该基本上都是不会有争议的 。 **Rio** [4:35] 哎 ，不过你要从 —— **任宁** [4:37] 你看 ， 后面还是有一些问题 ， 我觉得 。 **Rio** [4:39] 是吗 ？ 嗯 。 **任宁** [4:40] 呃 ， 这个我倒没看出来 ，但我觉得大多数的 —— 如果不是全部的话 ， 大多数都是属于那种 —— 叫什么呢 ， 呃 ， 你可以管它叫正确的废话 。 **Rio** [4:48] 哈哈哈 ， 对 。 **任宁** [4:51] 嗯 ， 那这条这个 socially beneficial 我觉得最大的一个 —— 我觉得它其实是在表明一种慎重的态度了 。 因为你光说你做一件事情要 —— 就好像我们以前说的 ， 你要做一个对社会有用的人， 那这句话本身它并不构成任何的指导性的意见 ， 我觉得 。 **Rio** [5:10] 所以是一个废话嘛 。 **任宁** [5:13] 但是我觉得这里面有个核心的点 ， 就因为这个 " 对社会有用的人 " 这个我觉得没有任何的争议 ， 对吧 ？ 但是最关键的是说 " 有用 " 是谁 ，由谁来定义的 ， 这个会比较重要 。 **Rio** [5:26] 对 ， 我觉得这个主题哈 ， 我说这个这个观点就是谁来定义 ， 它里面很多这个原则都是跟类似这种表述嘛 ， 都是相对来说比较积极和正面的 ， 对吧 ？ **任宁** [5:35] 对 。 **Rio** [5:36] 就说这个积极和正面怎么定义 ， 就说这个它不是叫 social norm 嘛 ， 这个 norm 肯定也是说是由一个社会时期的一些具体的一些思想行为的一些规范所构成的 ， 对吧 ？ 但这些规范肯定也是在随着这个社会的不断的演化 ， 它是在变化的嘛 。 所以这里面我觉得就是 —— 就是这个这 7 条比较 weak 的地方就是在于它并没有指明说 ， 它不是一个绝对的准则嘛 。 就好像道德也没有一个绝对准则一样 ， 它肯定是跟社会同步的去演进的 。 **任宁** [6:08] 对 ，而且就算不考虑时间这个因素 ， 哪怕同一件事情 ， 呃 ， 比方说一个厂子 ， 然后它由于引入了机器人， 所以导致一些工人失业了 ，但是呢 ， 它导致这个厂的生产效率提升了 ， 那这个时候它到底是这个 ， 对吧 ？ 是不是 beneficial 这件事情 ， 那就其实就决定 —— 就其实是这个屁股决定脑袋的事情了 。 **Rio** [6:31] 对啊 ， 所以就这里面考虑的点 ， 我觉得可能是要更多从这个社会学或者是政治学的角度去考虑 。 因为很多这个所谓的这个好与不好 ， 它并不是一个绝对和主观的 —— 呃 ， 和客观的一个事情 ， 它肯定要考虑多方面的一个因素 。 像刚才你举的这个例子一样 ， 对吧 ？ 那我们当年这个 90 年代下岗改革潮的时候 ， 对吧 ？ 那肯定就说是有一部分人的利益受到损害 ，有一部分的这个 —— 从整个社会来讲 ， 可能有一部分人是得到了这个提升 ， 对吧 ？ 那综合来看是个怎么样的一个结果呢 ？ 那这中间这些决定导致的这些不公平 ， 产生的这个社会后果又怎么来解决 ， 对吧 ？ 这里面它其实并没有 —— 呃 ，并没有去提及这一点 ， 或者说就是很含混的 、 笼统的概括过去了 ， 说了一些冠冕堂皇的一些正面的话嘛 ， 对吧 ？ **任宁** [7:21] 对 ，而且这个 socially beneficial 我觉得它很大程度上是说给别人听的 。 什么意思呢 ？ 就是因为像 Google 这样的公司 ， 它的所谓的这个 stakeholders 会非常多嘛 ， 对吧 ？ 这个叫翻译成什么 ？ 持 —— **Rio** [7:36] 利益相关方 。 **任宁** [7:37] 对 ， 利益相关方会非常多 。 那么一个场景是说这个东西可以说给甲方听 ， 比方说如果我是一个厂长 ， 然后我知道 ， 呃 ， 用了这个机器人之后会造成这个工人失业 ， 对吧 ？ 这是我从这个情感的方面会觉得有些愧疚 。 但是另一方面呢 ， 我这个理性的这个层面又觉得说 ， 如果有这个技术 ， 哎 ， 几年之内可以为我省多少钱等等等等。 那么在这个时候 ， 这件事情是做还是不做 ， 对吧 ？ 那然后谷歌下属说 ：" 你看 ， 我这个东西都是基于这个 socially beneficial 的原则做出来的 ， 对吧 ？ 你不要太过于难过 ， 我这东西是这个 ， 对吧 ， 大局来看是好的 。" 那甲方一听说 ：" 那也行吧 。" **Rio** [8:20] 至少我们的态度是好 ， 我们出发点是好的 ， 对吧 ？ **任宁** [8:23] 对 。 **Rio** [8:25] 就这里面其实跟那个硅谷现在遇到的问题或多或少的有一些相关的地方 ， 对吧 ？ 你说这么多这些科技公司在硅谷扎堆 ， 你说对它当地是产生了好的还是坏的影响 ？ 总体来说还是好的影响偏多 ， 对吧 ？ 但是具体来看确实有那些就是 ， 呃 ， 底层的人民由于这些公司去这个 —— 呃 ， 产生的这些高收入的阶层的出现 ， 被排挤出去了 ， 对吧 ？ 那确实有这个问题 。 **任宁** [8:52] 所谓的这个 gentrification 嘛 。 **Rio** [8:53] 没错没错 。 所以就说你说这个东西 ， 这个 socially beneficial 到底怎么去做 ， 对吧 ？ 那其实我觉得他们自己并没有在那个层面解决这个问题 。 那么挪到这个 AI 这个层面 ， 我也一样不认为他们具有所谓的一个解 。 **任宁** [9:10] 嗯 ，但怎么说呢 ， 就这个东西解是没有的 。 就好像是说在这里面 ， 对吧 ，socially beneficial 那么是谁的 society， 然后是在这个 society 里面因谁因此而获益 ， 这个它都没有给出一个解决方案来 。 但是呢 ， 我又觉得说这事儿还是那种说法嘛 ， 就是提了总比不提好 。 对吧 ？ 至少说有这么一个大方向 ，因为它是 principle 嘛 ， 它也不是 guideline 说特别特别细的 ， 说你在某个场景下面你应该怎么样 ，不该怎么样 。 呃 ， 我觉得哪 —— 就是不要说在这个现阶段 ， 谷歌这个它从商业的层面来说没法做这个事情 ，而且我觉得从技术层面来说它也没法做这个事情 。 因为现在 AI 要能够落地 ， 要能够这个真正的跟这个社会去发生实质性的关系 ，其实还 —— 还没有到这个最成熟的时候 。 我前段时间看了一篇报道是说这个 —— 但它是指中国了 —— 现在 90% 的这个 AI 企业都还没有盈利 。 呃 ， 所以就其实还处在这个烧钱 ， 还处在所谓的这个什么博士创业 ， 对吧 ？ 就是 R&D 还可能就还停留在这个 —— 怎么说呢 —— 比较还没有产品化的一个阶段 。 **Rio** [10:28] 就是连 benefit 自己都做不到 ， 更不要说这个 socially beneficial， 对吧 ？ **任宁** [10:33] 是 。 ### 避免偏见 **Rio** [10:34] 所以就这个先提在这里吧 ， 我觉得以后再往后来看啊 。 嗯 ， 第二条我觉得倒比较有意思啊 ， 这个是一个相对来说 ， 呃 ， 比较 technical， 比较技术一点的问题 。 它叫说这个 AI 要避免叫做创造或者是强化不公平的偏见 。 啊 ，因为它这个开宗明义一句话 ， 我觉得其实这句话是一个客观的论述 ， 我觉得倒是对的 。 它说因为它说 AI 技术和 AI 算法和这个数据集合可以 —— 呃 ， 反映 、 强化或者是弱化这个不公平的这个偏见嘛 ，unfair bias， 对吧 ？ 那就说它说他们要考虑的就是说如何去尽可能的去避免或者是去消除这些不公平的这些啊 ， 呃 ， 偏见 ， 然后这些可能一些所谓的这些特征啊 ， 就在数据集中体现出来 ， 比如说它觉得最简单的像这个种族啊 ， 性别啊 ， 这国籍啊 ， 收入啊 ， 还有这个性取向啊等等等等 ， 对吧 ？ 这个我觉得其实是一个非常核心的问题 。 因为我们知道这个所谓的 AI 本质上就是统计学嘛 。 对 ， 然后统计学就是以这个数据集啊为基础的 。 那么这个数据集里面体现出的各种啊趋势或者就是一种特征也好 ， 它本来就是 —— 呃 ，是对这个数据集合的一个客观的一个 —— 嗯 ， 描述吧 ， 从数学性质上讲是客观的描述 。 那么说数据集实际上体现出了这么一种趋势也好 ， 这么一种规律也好 ， 一种模式 ， 那它是客观存在的 ， 对吧 ？ 那什么时候我们认为它是一个偏见 ， 它是一个 bias， 然后我们再要在这个偏见的基础上 —— 偏见 ， 这个偏见这个 bias 是指的是一个 —— 呃 ， 数学的意义上的 bias， 我觉得 ，而不是说我们去理解它 。 它这边夹了一个叫做 unfair， 就是不公平的这么一个偏见 ， 这个就会加上这个我们叫做人的主观的价值评判里面去了嘛 。 这个就非常有意思了 。 **任宁** [12:32] 对 ， 嗯 ， 就这个 bias 其实你把它翻译成叫偏见 ，但是就这个翻译容易 —— 虽然说它也对 ，但是在这里容易就变成是好像那种傲慢与偏见的那种 —— 那种偏见 。 那其实我觉得在 AI 的语境下面 —— 对 ， 或者说一种倾向性 ， 对吧 ？ 就是你刚才说是 —— 呃 ，因为 AI 的这个 —— 它的这个做法是人教给它的嘛 ， 对吧 ？ 那我们是从事去用我们理解这个世界的方式去教它来理解这个世界 。 那举个例子好了 ， 比方说这个如果你要企业要招一个人， 对吧 ？ 那你是这个企业的 HR， 然后你要招一个面前是一堆的陌生人只看过简历 ， 那你能够判断这个人到底适不适合这个岗位 ， 或者是适不适合你们公司 ， 那你是一方面你有简历 ， 二方面你可以跟他沟通获得更多的信息 ， 对吧 ？ 然后这个获得足够的信息以后， 然后你根据你的一些常识和你根据你和对于这个公司的和这个职位的一些了解 ， 然后最后中做出一个判断 ， 对吧 ？ 那这个在判断里面其实就总体来说我觉得就大概会分成两种 ， 一种叫做演绎 ， 一种叫归纳 。 那我觉得这个 HR 如果它是个人的话 ， 它多半是采取这两种思维方式在运行的 。 如果说现在把这个 HR 给它替换掉 ， 变成是说是这个有这么一个系统 ， 然后系统它集成了一个算法 ， 那么你把这个简历放进去 ， 然后 —— 呃 ， 它通过什么图像识别啊 ，不知道什么东西 ， 然后对你进行这个视频面试 ， 对吧 ？ 面试完了以后， 然后它来做出一个判断说到底录用谁 ，不录用谁 。 那在这个时候这个 AI 首先它会 —— 呃 ， 像你刚才说的那么反射 ， 对吧 ？ 反映出人类 HR 的这个判断 ，因为它这些原则性的东西很可能是人类这个教给它的 。 **Rio** [14:23] 或者是从那个数据集里面就是提取出来的嘛 。 **任宁** [14:26] 对 ， 然后 —— 呃 ， 最关键的是在于说像你刚才说的这个 AI 是客观的嘛 ，因为它不存在这个 —— 至少说现在的 AI 不存在任何主观的这个因素 。 那么就会有一个问题在于说 ，因为一件事情是不是公平是一个挺主观的事儿 。 **Rio** [14:46] 对啊 ， 我觉得这里面的核心问题啊 ， 先先先回过头再再说一下那个 bias 这个词哈 ， 就刚才说是应该是一个统计学的这个偏差的意思嘛 。 就在这个语境里面哈 ， 它刚才就判断偏见那个是有点问题的 。 它叫这个我们统计学里面叫什么无偏统计啊 ， 无偏的什么一个结果 ， 对吧 ？ 就这边偏 —— 这个 bias 到底是什么意思 ， 我觉得还要再仔细去 —— 仔细的去理解一下 。 这个比如说这个按照这个统计学的那个偏差的一个定义 ， 就是说你比如说你抽样抽出来的一个结果 ， 你统计的比如说它的一个 —— 它统计出可能黑人犯罪率是比如说万分之五 ， 随便举个例子啊 ，但实际上它可能是 —— 就真实情况是可能是高于万分之五或者是低于万分 之五的 ， 对吧 ？ 但是说你统计的这个抽样的结果得到的跟实际的不吻合 ， 这就是一个偏差嘛 ， 对吧 ？ 那就说这里面就是说因为你采取的这个这个统计的这个数据的抽样的问题也好 ， 还是你这个收集的数据的这个过程的问题也好 ， 会导致这个两个 —— 这个统计结果和实际结果不一致的时候 ， 这时候你要去看你怎么去解决这个问题 ， 对吧 ？ 那它说这个对这个 fair 和 unfair 的判断 ，其实就是说是你知道有这么一个 —— 呃 ， 偏差的存在与否的时候 ， 你做出什么样的一个选择嘛 ， 就你的 action 是什么样子的 ， 对吧 ？ 就让我想象到了另外一个可能最近在美国吵得比较凶的一个事情 ， 就是关于在 —— 呃 ， 就美国的这个名校里面这个亚洲学生的这个录取率的问题 。 这是一个典型的一个 —— 呃 ， 一个偏 —— 一个就我们讲有偏差和这个公不公平的问题 ， 对吧 ？ 就说我们 —— 呃 ， 直观的感受来看 ， 可能就是说 —— 呃 ， 亚洲的家庭可能对教育的投入力度比较大 ， 对吧 ？ 所以它可能会考更高的分数 。 这个时候如果说你的录取是我们讲某种意义上的公平的话 ， 你是说是左右录取 ， 对吧 ？ 那你可能就选这个分数好的人， 对吧 ？ 但是其实这个时候 —— 呃 ， 左右录取在这个语境里面是不是公平的 ， 我们不好说 。 因为它可能会觉得我要考虑这个各个种群族群的这个这个叫什么客观条件的问题 ， 对吧 ？ 可能就是非裔或者是这个 —— 呃 ， 拉丁裔的这个族群 ， 它的教育水平平均是偏低的 ， 这个是统计的结果导致的这么一个客观事实 。 这个时候我人类的价值观的判断是说 ， 我为了让这些相对来说弱势的或者是 —— 呃 ， 这个群体能够得到更平等的这个教育的机会 ， 我会增大他们的这个录取率 ， 对吧 ？ 但这个时候你对这个亚裔族群的这些人群来说是否是 —— 是否是 fair，是否是公平呢 ？ 这里面就是价值观的判断了嘛 。 **任宁** [17:26] 是 ， 还有另外一个例子是就跟你说的这个例子恰恰相反 。 呃 ，Michael Lewis 在前两年出过一本书叫 《The Undoing Project》， 呃 ， 我不知道现在中文版出了没有 。 那它里面说到一个例子是林书豪 。 林书豪就是那种读书很好的亚洲小孩 ， 就他是上哈佛大学的 。 呃 ，但是呢 ，因为他是个 NBA 球员嘛 ， 然后他去 —— 他做的各种各样的试训 ， 无论是从这个力量爆发力 ，其实都是不输黑人， 不输白人的 。 但是很多队都不要他 ，因为没有听说过黄种人可以打篮球 ， 就打他们那个位置 。 **Rio** [18:05] 对 ，因为就可能是过往的 —— 就像刚才你那个 HR 的经历表明 ， 对吧 ？ 我是一个球队的教练 ， 我都招的都是黑人的球员 ，他们的 performance 都不错 ， 平均水平来看哈 ， 对吧 ？ 就比如说我们 —— 我相信哈 ， 如果我们随机的去抽样 ， 找 100 个黑人和 100 个这个亚洲人去打篮球 ，他的那个胜率数字肯定还是黑人要好一些 ， 对吧 ？ **任宁** [18:26] 嗯 。 **Rio** [18:27] 就所以就这里面怎么办 ， 是一个问题 。 **任宁** [18:31] 对 ，但是话又说回来了 ， 就一个东西是不是 unfair， 这样我说嘛 ， 它很有可能是 —— 它是一个主观的一个事情 。 **Rio** [18:38] 是的 。 **任宁** [18:39] 啊 ，而且它这当中有一个就是所谓的 —— 哎 ， 那个叫什么 —— 那个词叫什么来着 ？ 就是说由于你相信它 ， 所以它就成真了 。 **Rio** [18:47] 自我实现的预言 。 **任宁** [18:49] 啊 ， 对 ，self-prophecy。 就是 —— 啊 ，不对 ，self-fulfillment。 **Rio** [18:54] Self-fulfilling prophecy 吧 。 **任宁** [18:56] 啊 ， 对对对对 。 然后 —— 呃 ， 比方说以林书豪为例吧 ，其实一个球队 —— 就一个球队要不要选某一个球员 ， 除了说他的球技啊 ， 身体素质等等这方面之外， 还有一些别的因素 。 比方说现在 NBA 它的球员大多数都是黑人， 然后球队里面好多这个教练啊 ， 这个助理教练 ， 虽然说大多数的老板都是白人， 就球队拥有者是白人 ，但是到底下这个高管以下基本上都是 —— 好多都是黑人。 那么理所当然的这个球队就会被 —— 就在黑人文化就会在这个球队里面 ，在这个体育界会变成是一种主流文化 。 **Rio** [19:34] 没错 。 加上说唱也是黑人为主 。 **任宁** [19:37] 对对对 。 所以林书豪我记得他在去年他就改变了一个发型 ，他梳了那种黑人那种龙钩辫 。 **Rio** [19:45] 张辫吗 ？ 那种 ？ **任宁** [19:47] 就是那种就埃弗森以前经常梳的那种辫子 。 **Rio** [19:50] OK。 **任宁** [19:51] 在头上， 然后还被一个老球员给说了 ， 那个球员叫肯扬 · 马丁 。 **Rio** [19:57] 嗯 。 **任宁** [19:57] 啊 ，他就说你现在就好像你是个假黑人， 对吧 ？ 你在 —— 哈哈哈 ， 你妄图打入我们的文化 ， 对吧 ？ 但是就 —— **Rio** [20:04] 伪黑 。 **任宁** [20:05] 这种感觉 。 对 。 然后林书豪就说反正这是个辫子 ， 我这也是这个体育文化的一部分等等等等这些事情 。 所以就从这个角度我在看说是不是的确是 ， 就算两个人都是 —— 比方说身体素质或者球技都差不多的情况下面 ，也许在现状下面 ， 那还的确真的是找一个黑人会比较好 ， 至少他不会被人叫做假黑人。 **Rio** [20:28] 融入团队合作可能会好一些 。 **任宁** [20:30] 对 。 **Rio** [20:31] 嗯 。 就刚才讲的都是几个这个美国的例子啊 ，其实我想结合最近国内的一个最近比较受关注的 —— 呃 ， 案例来讨论这件事情 。 就是你之前之前滴滴有个女乘客又被杀了嘛 ， 然后后来不是滴滴就在严查她的那个就是司机的这个背景审核嘛 。 对 ， 然后就查出来说有很多这个滴滴司机他是有这个犯罪记录的 。 对 ， 所以就是说这个问题是什么呢 ？ 就是 —— 呃 ， 这有一个 hyp—— 就是统计学的有一个叫做 hypothesis，有个假 —— 有个命题 ， 就是是否是有犯罪记录的人他再犯罪的概率更高 。 就这是一个叫做可能有那个 q 嘛 ， 一个 h 对吧 ？ 你要去证 —— 你要去通过这个统计学的方法去证明或者验证 ， 就去否认它 ， 对吧 ？ 但是我想的说的是 ， 假设这个命题是成立的话 ， 我们要去看它产生的背景是什么 。 比如说我们可以很想见的一个道理 ， 就是说如果我们都 —— 这个整个社会都不给这个有犯罪记录的这个或者服刑人员 ， 服刑 —— 呃 ， 这个刑满释放人员足够的这个 —— 呃 ， 包容度 ， 能够重新融入社会的机会 ， 比如说我们不给他参与某一项这个工作的这个岗位的 机会 ， 比如说这个滴滴司机 ， 滴滴他都 —— 这个司机他就说不要有这个犯罪记录嘛 ， 对吧 ？ 那么如果所有的行业都这么做 ， 那这个人他能赖以为生的手段是不是就变得就是他的 —— 他的叫生存的道路就越来越少了 ， 越窄了嘛 ？ 会不会迫使他再次走向犯罪 ， 对吧 ？ 就是有因果的关系嘛 。 所以就这里面我觉得可能是谷歌的这一条这个所谓这个 unfair 这个就是不公平的这个偏差的一个结果 。 就是有时候我们知道这个统计结果是这样子的 ， 它是 —— 它甚至都不是 —— 它不是一个 bias， 它就是无偏差的 。 那结果就是这样的 。 但是你从这个社会公平的角度讲 ， 你要不要去 —— 要不要去这个 —— 呃 ， 就是 disclose 这件事情 ， 要不要去揭露这件事情 ， 我觉得是需要从价值观的角度去再考虑的 。 **任宁** [22:37] 那我们来说说第三条 。 第三条其实真的叫做 "Be built and tested for safety"。 ### 安全测试 **Rio** [22:43] 嗯哼 。 **任宁** [22:44] 这句话在我看来也是一个正确的废话 ， 这样感觉 。 **Rio** [22:47] 对 ， 没有人会造一辆不安全的车 ， 对吧 ？ **任宁** [22:50] 对 ， 那很多时候我觉得 —— 怎么说呢 ？ 就是有一种好像是 —— 它 —— 它 —— 我感觉哈 ， 就有一种是第一 ， 这句话表明一个态度 ， 我们很重视安全 ； 第二是说我们的产品反正都已经测试过了 ， 对吧 ？ 我们打造的初心也是要安全 ， 然后我们测试也测试过了 ， 安全 。 那至少说我们不是这个 —— 怎么说 ？ 欠考虑 。 **Rio** [23:14] 对 ， 我们 —— 我们不是这个 "move fast and break things"。 **任宁** [23:17] 哈哈哈 。 **Rio** [23:19] 对 ， 隔壁那家很受伤 。 **任宁** [23:21] 哈哈哈 。 **Rio** [23:24] 哎 ， 这里面是其实是有一个 —— 呃 ， 形式相关的案例的点 。 就之前那个 Uber 那个自动驾驶的车撞死那个人的事情 ，其实跟这个 —— 呃 ，有一点相关性吧 。 **任宁** [23:36] 是 ，但是 Uber 那个车它也是 —— 我相信它也是 "Be built and tested for safety" 的 。 **Rio** [23:42] 就是后来那个调查发现不是说它是 —— 系统是 —— 叫什么来着 ？ 系统是探测到那个人了嘛 ， 然后它只是系统没有 —— 没有去有任何的 action， 没有任何的去操作 ， 比如说去刹车什么的 ， 对吧 ？ 这里面会就会发现 ， 那你这个整个制造和这个测试的过程 ， 这个 procedure 是不是有点问题 ？ 那就是说这个我们在 —— 我觉得这题相对来说是比较好解决的 ，因为我们在这个 —— 啊 ， 传统的这个大工业时代已经把这个 —— 这个事情做好了 ， 所谓就是 ISO 9000 这个标准体 ， 质量认证体系嘛 ， 对吧 ？ 所以就是说我们有一套这个 —— 呃 ，在传统工业领域哈 ，有一套成熟的这个方法论去说 ， 你只要照我这个做 ， 你完成这个认证 ， 那么大概率上你只要 follow 这个一步一步来 ，是出错的概率是比较小的 ， 对吧 ？ 那么这个问题就是说 ， 那个是在传统的工业生产制造上面是有这么一套规则的 ，但是在 —— 呃 ， 非常不幸啊 ，在这个计算机软件 ， 或者说这个 AI 其实系统也是一套软件嘛 ， 对吧 ？ 就在计算机软件这里面 ， 我觉得我们还远远没有达到说这个所谓的这个工程质量的这个高度去考虑这个问题 。 就好像我们经常在嘲笑这件事情嘛 ，因为我之前在那个加拿大上学嘛 ， 我读的不是叫做 computer science 嘛 ， 计算机科学嘛 ， 对吧 ？ 啊 ， 与此相对的有一个叫做 computer engineering， 就是计算机工程这么一个学科 ， 呃 ， 一个院系的划分嘛 ， 对吧 ？ 因为它的一个传统的界定就是说 —— 呃 ， 这个 engineering 是要对一些东西是要负责任的 ，他们有个叫做有个铁环 —— 铁戒指 ， 铁环戒指的一个东西 。 就是那个 —— 呃 ， 这个是一个 —— 有一个故事的 ， 就是 —— 呃 ， 你要在加拿大拿到一个所谓的注册工程师 ， 对吧 ？ 你是要经过一系列的这个认证考试的 ， 然后你 —— 你做所有的产品 ， 这个 —— 这个比如说你是修一个 —— 修一个大楼 ， 修建筑师 ， 你是一个这个结构工程师 ， 你是要对这个东西负这个 —— 除了这个叫做 —— 就法律意义上的责任的 。 比如说你修这个建筑结构 ， 你说这个建筑公司你说的这个结构是 —— 呃 ， 合格稳固的 ， 最后这个东西倒了 ， 导致了这个人死了 ， 你是要背负责任的嘛 。 所以就这里面是工程和科学的一个分野 ，但这个东西好像在中国和美国都是不存在这么一个区别的 。 啊 ， 我想说就这么一件事情 ， 就是说在软件这一块 ， 我们现在的这个 —— 呃 ， 工艺水平和这个理解啊 ， 还远远没有达到像这个 —— 呃 ， 所谓的这种机械生产这种工业那么高的一个质量认证的一个 QA 的一个水平 。 当然这个跟软件和它本身的一些特性是有关系的 ，因为它仍然它的可塑性非常强 ， 它的这个复杂度是非常高的 ， 它是高过于传统的一种所谓的这种比如说土木工程也好 ， 啊 ， 结构工程也好 ， 对吧 ？ 因为它那些 —— 呃 ， 传统的那些很多学科里面 ， 它真的是所谓是有迹可循 ，而且它的复杂度相当是可以 manage 的 。 但是软件因为它的灵活性实在是太强了嘛 ，而且比如说我们经常说这个一个 AI 系统 ， 一个这个所谓的这个深度学习系统 ， 它有多少多少层 ， 对吧 ？ 有多少几百万几 —— 呃 ， 上千万的这么一些变量需要控制 。 那以我们就是简单的一个复杂度的理解来说 ， 你是不可能 —— 呃 ，在百分之百去 —— 呃 ， 确认它是完全无故障的嘛 ， 对吧 ？ 这个时候这个是一个客观存在的技术上的难题 。 那我们的问题就是说如何在这种高度复杂的系统里面去确保它的安全 ， 就是其实是对质量的一种认证嘛 ， 对吧 ？QA 的一个过程 。 这里面我觉得到目前为止还没有 —— 呃 ， 工业界就软件这个工程这个角度来讲 ， 还没有一个非常好的答案 。 那么同样的话 ， 就在传统那些软件都没有这么好的一个答案 ， 那到更加复杂的这么一个 AI， 我们甚至 —— 因为传统那些软件我们至少还理解它的运作原理嘛 ， 我们还可以说一步步去推导它的一个运作机制嘛 。 那到 AI 到这个深度学习的这些 —— 一些这些系统里面 ， 我们连它怎么 how it works 都其实不是太明白的情况下， 这个东西变得就几乎是不可能的嘛 ， 对吧 ？ 所以它在第三点说我们要这个 build and test it for safety， 我觉得其实是一个美好的一个愿景 ，但是离这个实操我觉得是没有任何指导意义的 。 **任宁** [27:54] 或者这么说吧 ， 就是说它可以以这个原则指导去做事情 ， 对吧 ？ 就是你是不是要想着安全 ，但是是不是它这么做了就能确保最后的安全 ， 这是不知道的 。 **Rio** [28:05] 就它 —— 它没有一个怎么做才能安全的这么一个方案 ， 我觉得是这个问题 。 就我相信肯定大家都是想 —— 我觉得吧 ， 就想 —— 没有人想造一辆不安全的车 ， 对吧 ？ 除非你想把那个人弄死 ， 对吧 ？ 但正常来说你要想造一辆安全车 ， 你是说我要怎么怎么做才能确保安全 ， 比如说 ， 对吧 ？ 我要每个零部件单独测试它的安全性 ， 然后要怎么独立 —— 啊 ， 比如说有这个 —— 比如说你四个轮子同时坏的概率是很小的 ， 对吧 ？ 我们用一些数学的方法就可以去统计这个东西 ， 对吧 ？ 这些都是有迹可循的嘛 ， 对吧 ？ 但是 AI 系统怎么去 —— 怎么去使得它能够足够的安全 ， 我觉得这个东西是 —— 是很 —— 目前来说是没有方法论的 。 所以 —— 所以它现在就是说它 —— 它现在包括这个 —— 这个 —— 这一点 ， 它的下面的一个展开的描述里面 ， 它有说过 ， 就是说尽可能的在可控的环境里面去测试 ， 对吧 ？ 去 —— 去不断的去测 ， 比如说我们测它 1 万次 ， 可能 99% 的时候是安全 ； 我们测它 10 万次 、100 万次 、1000 万次 ， 那又怎么样呢 ？ 对吧 ？ 因为我们安全肯定它不是一个黑白的问题嘛 ， 它是一个程度的问题嘛 。 那就是说我 —— 我希望就是说他们提出了这么一套这个 —— 这个理念之后， 还是要有人把这个东西付出 —— 付诸实践 ， 落实到具体的步骤上面去 ， 怎么去指导实际的生产 ， 实际的这个研发 ， 才 —— 这个东西才不会变成你刚才你说的那种一种空话嘛 。 **任宁** [29:26] 呃 ，在这里关于你刚才说的没有一个人想造一辆不安全的车这个事情啊 ， 我倒还真的想到一个反例 。 呃 ， 我以前在商学院上课的时候曾经学到过这个案例 ，是 1971 年的时候 ， 福特公司曾经出过一款小车 ， 号油量特别低的 ， 就是是为了对抗当时的这个日本车 。 那个车型叫做 Pinto， 然后这是一个挺有名的一个案例了 ， 就是那个 Pinto 它很小 ， 然后它因为小呢 ， 所以在设计上面做了一些妥协 。 它的这个油箱是安装在车的这个后座下面 ， 然后离离合器很近 ， 所以只要你有这个 —— 一旦你撞车了以后， 你这个油箱就很容易破 ， 然后破了以后就容易起火爆炸 ， 所以就造成了很 —— 就好多起的这个 —— 这个恶性交通事故 ， 这样 。 **Rio** [30:18] OK， 就这个是出于这个成本和这个结构的 —— 叫什么来着 ？compromise 嘛 。 **任宁** [30:25] 对 ， 那其实这个车的事故率其实是不高的 ，但是一旦出了这个事故 ， 尤其是出了这个碰撞事故之后， 它很有可能会起火爆炸 。 而且是在这个 —— 这个车投放之前 ，其实福特公司内部有人提出过说你要在油箱之内装一些这个 —— 这个防震的一些保护装置 ，但是如果你装这个装置呢 ， 每辆车要增加成本 ， 然后福特经过计算以后， 就是它在算嘛 ， 就是如果说不装 —— **Rio** [30:53] 赔你钱是吧 ？ **任宁** [30:54] 对 ， 就是我宁可赔你 ， 对吧 ？ 但这个我赔装这个东西的这个成本 ， 我要 —— 怎么说 ？ 是高于我要赔人家的这个钱的 。 所以我就不装 ， 至少在这个短期之内不装 ， 让它这么算的 。 然后后来所以这个法院其实知道了这些事情以后 。 **Rio** [31:15] 就惩罚性的罚钱 。 **任宁** [31:17] 对 ， 惩罚性的罚钱 。 **Rio** [31:18] 嗯 。 它就是要打消你这种算计嘛 。 **任宁** [31:21] 是 。 呃 ， 所以在这里我觉得它的这个谷歌的这个 "Be built and tested for safety" 其实 —— 或者说翻译成中文叫做这个 " 在 —— 怎么说 ？—— 以安全为准绳进行制作和测试 "， 对吧 ？ 在这个时候其实 —— 嗯 —— 我觉得它指的应该是就是在做一些选择的时候 ， 比方说要加一个东西可以提高安全性 ， 然后 —— 但是它会增加成本 ，在这个时候你加还是不加 ？ 在做这个选择的时候它会选择加 ， 我觉得它是 —— 它是想说这个事情 。 **Rio** [31:53] 但就这个就只能靠它自己道德约束嘛 ，并没有说 —— 就刚才说的 ， 没有这种就是法律强制 ， 或者是就是所谓的这个 —— 那叫什么来着 ？ 头上顶着一个什么剑 ， 对吧 ？ 你随时可能会有这种雷劈下来 ， 那没 —— 还没有嘛 ， 就还没有到立法层面去解决这种问题 。 **任宁** [32:11] 对 ， 然后它在这里面的这个 —— 就这一条的最后一句解释里面 ， 它也说它会在这个 —— 呃 ， 封闭场地 ， 或者说受限的这个场地 ， 这个里面去使用这个 AI 技术 ， 对吧 ？ 这其实跟这个百度在前段时间刚出的那个阿波龙那个车 ， 呵 ， 我觉得差不多的 ， 它也是用在一些这个封闭的场地里面嘛 。 **Rio** [32:33] 就测试嘛 ， 对 。 **任宁** [32:35] 没有 ， 它已经量产了 。 **Rio** [32:37] 不是 ， 它说这个意思就是说它测试的时候是在那个封闭的环境里面测试 ， 然后量产之后还要在持续间控它们的这个运行嘛 。 它这个 —— 它的那个 —— 它所 —— 它讲这句话的这个反面意思就是它不会在 —— 那个比如像 Uber 那个 ， 它等于就是在道路上实测嘛 。 **任宁** [32:54] 是 。 **Rio** [32:55] 对吧 ？ 然后又出了事嘛 ， 哈哈 。 就没有说 —— 就是它不是这个 "tested for safety" 这个方式在运作嘛 。 **任宁** [33:02] 嗯 。 但话又说回来了 ， 我其实就在美国街上看到过好几次的这个无人车 ，但那个时候里面是有人的 ，但我不知道到底是那个人在开还是 AI 在开啊 。 **Rio** [33:15] 就那个人会随时要 take over 嘛 ， 它不是说了嘛 ， 就跟那个特斯拉的那个无人驾驶是一样的嘛 ， 所谓的无人驾驶啊 ， 自动驾驶啊 ， 就是 —— 就很烦人心嘛 。 之前我们聊过这个问题 ， 就是 —— 呃 ， 它在 —— 它在自己开 ， 啊 ， 大部分时候 ，但是它说你必须要 —— 我随时可能罢工 ， 然后你必须要随时接管过来 ， 就很烦人心的要求 ， 对不对 ？ 我都要无人驾驶的时候 ， 明显我的注意力就不在那里了嘛 ， 对吧 ？ 你还要我随时接管过来 ， 怎么可能呢 ？ 好吧 ， 那我们讲一下看它的第四条哈 ， 这个叫做 "Be accountable to people"， 这个翻译我觉得是挺值得考虑的哈 ， 这个应该怎么翻呢 ？ ### 对人负责 **Rio** [33:53] 就是 —— **任宁** [33:55] 啊 ，其实这个如果要翻译的话 ， 我觉得可以翻译成叫做 " 广开言路 ， 博采众长 "。 **Rio** [34:01] 啊 ？ 为什么这么 —— 为什么这么离谱的一个翻译 ？ **任宁** [34:04] 对 ，因为它的所谓的 "accountable to people" 的意思就是 —— 就因为我之前还以为是不是 —— 怎么说呢 ？ 以人为本啊 ， 或者这种感觉 。 **Rio** [34:12] 啊哈 ，不是嘛 ， 它的意思就是说要给人工干预的一条道路嘛 。 **任宁** [34:18] 对啊 ， 就是 —— 那不光是这个技术本身了 ， 就还有说开发技术的这些人。 **Rio** [34:23] 嗯哼 。 **任宁** [34:25] 对吧 ？ **Rio** [34:25] 嗯哼 。 但 —— 但你知道 ， 就是谷歌说这句话我是完全不信的 。 **任宁** [34:31] 嗯 ， 我也不太信 。 **Rio** [34:32] 哈哈哈 。 因为 —— 呃 ， 叫什么来着 ？ 就谷歌最臭名昭著的一个事 —— 一个 —— 一个事情就是因 —— 就是它很多系统都是全自动的 。 比如说 —— 啊 ， 我们比如说我们都用这个 Gmail 邮箱 ， 对吧 ？ 就所谓的谷歌账号嘛 ， 对吧 ？ 如果说它哪天觉得你这个账号有 —— 有这个风险 ，有问题 ， 它就直接把你账号禁用掉了 ， 这个时候你是没有 —— 你是叫做什么来着 ？ 叫天天不应 ， 叫天天 —— 那个 —— 没 —— 没有人理你的 ， 它没有人工客服的 ， 对吧 ？ 因为你想它才多少人， 然后它整个这个服务的人群有多少 ？ 它连这个客服部门都没有 ， 它的客服是为这个广告主服务的嘛 ， 它不是为你这个 —— 这个 —— 这个 Gmail 邮箱用户服务的嘛 ， 对吧 ？ 那如果你是这个它的什么 —— 那个什么付费的商业用户 ， 可能还有个什么 —— 有一个 24 小时客服的热线可以打 ，但如果你是这个免费的这种 —— 就是这种个人用户 ， 就是 gmail.com 的这么一个 —— 这么一个 —— 呃 ， 邮箱的持有者 ， 你是真的是没有任何门路找到他们 ， 除非你认识他们的一个什么人， 让他们内部给你打 —— 找个关系 ， 对吧 ？ 哈哈 。 但这个 —— 这个是在历史上有非常非常多的这个 —— 就是臭名昭著的案例的 。 就所以谷歌说这句话我是完全不信的 。 就它 —— 它连 —— 它连说这句话 —— 呃 ， 的这个 —— 这个 reputation 都没有 。 哈哈哈 。 **任宁** [35:57] 但是 —— 呃 ， 另外一个角度来看这句话是说 ， 为什么谷歌要说这句话 ？ **Rio** [36:02] 就是因为它臭名昭著这一点 。 哈哈哈 。 **任宁** [36:05] 好吧 。 **Rio** [36:05] 哈哈哈 ，不是吗 ？ 啊 ，其实是 —— 我觉得是另外一点吧 ， 就是如果假设 AI 能够接管和控制很多这种所谓的 mission critical 这种核心业务的时候 ， 对吧 ？ 你必须要有这么一个 —— 呃 ， 人工干预 ， 人工的这个判断的 —— 就是的一个 —— 一个机制 ， 就好像说那个 —— 就之前流行了一个叫做 —— 已经现在我觉得已经成为一种传说 、 传奇色彩的一个事情了 ， 就是冷战的时候 ，不是说有 —— 有一个这个美国的还是苏联的这个 —— 这个 —— 这个一个什么下级军官吧 ， 就拯救了整个世界嘛 ， 就是因为把这个 —— 这个系统错误的把这个 核弹演习的这个信号当成了真实的核战争的信号发出来 ， 对吧 ？ 如果它真的照那个执行了 ， 那不就触发了这个 —— 就是第三次世界大战嘛 ， 那大家都知道 —— 就大家都是互相 —— 就地球有往玩了嘛 ， 对吧 ？ 所以但是它 —— 它觉得应该不会吧 ， 对吧 ？ 美国人不会那么疯 ， 或者是这个苏联人还不会这么疯吧 ， 要 —— 要 —— 要玩核打击 ， 大家都一起同归于尽 ，不至于 ， 对吧 ？ 所以它觉得这个肯定是系统出了问题了 ， 对吧 ？ 所以这里面我觉得这个意思就是说 ， 我们一旦让这个 AI 系统接管了很多这刚才讲的这个 mission critical 的系统之后， 我们还是要给一个人的一个叫做 —— 还是要依赖于人的一个 judgement。 但这里面很 tricky 的点就是说 ， 你一旦给了这么一个接口之后， 这个接口也可能被滥用 ， 对吧 ？ 这里面到底怎么去管 ？ 因为它说 appropriate human directional control 的时候 ， 它默认的一个假设就是说人能 —— 人总能做出比机器更正确的一个判断和 —— 和一个 —— 一个决策 ， 对吧 ？ 但这个命题我觉得是不一定成立的 。 **任宁** [37:49] 呃 ， 我倒觉得它这里不是在说这个事情 。 **Rio** [37:53] 嗯哼 。 **任宁** [37:55] 嗯 ， 我的理解是 —— 嗯 ， 怎么说呢 ？ 就像我们在第一期节目里面说的 ，其实技术就是一种新的 power， 对吧 ？ 那 power 中文翻译叫权力嘛 。 那然后技术又会产生新的 rights， 对吧 ？ 中文翻译叫权利 ，但是是利益的利 。 那么如果你这个 AI 系统不留一个 —— 就为什么我刚才说广开言路 ， 就好像说你这个系统没有 —— 没有一个新伙伴这样的一个存在 ， 你没有一个对外接收信息的这么一个存在 ， 那你就是一个闭塞的系统 。 **Rio** [38:29] 嗯哼 。 **任宁** [38:30] 对吧 ？ **Rio** [38:31] Closed system。 **任宁** [38:33] 对啊 ， 那你必然会独断专行 ， 就算你是出于好的目的 ， 对吧 ？ 所谓的我是为你好 ，但是对方未必能够感受得到 ，并且这个事情最后未必是真的以为他好的这个方向去发展 ，也未必能够得到真正为他好的一个结果 。 对 ， 所以我觉得就独断专行的 AI 肯定会产生独断专行的这个 power， 对吧 ？ 然后就会产生所谓的这个技术专制嘛 。Neil Postman 曾经写过一本书 ， 就叫做 《Technopoly》， 它就说一个被 —— 一个将技术神化了的一个 —— 一个社会 ， 对吧 ？ 就是这个社会是 —— 呃 ， 通过技术来制造权威 ， 然后通过技术来制造满足 ， 然后最后是从技术那里去拿命令 。 就说你是听命于这个 —— **Rio** [39:25] 照单全收就可以了 。 **任宁** [39:26] 对啊 。 那在这个时候 ， 这个技术本身我觉得倒不是说人一定是对的还是不对的 ， 就这个我觉得是另外一个问题 。 **Rio** [39:36] 嗯哼 。 **任宁** [39:37] 对吧 ？ **Rio** [39:37] 就是先 —— **任宁** [39:38] 先讨论那个好 —— 好和坏 ， 先讨论能不能的问题 。 对 ， 就是这个 —— 嗯 —— 这里的问题就在于说是你在 power 面前的 rights， 对吧 ？ 你在权力面前的权利 。 **Rio** [39:51] 就到底有没有那个 override 的这个按钮 ， 对吧 ？ **任宁** [39:54] 对 ， 我觉得这是 —— 这是这里面在讨论的这个关键 ， 倒不说一定是谁对谁错的问题 。 **Rio** [40:00] 但所以这其实是两个层面的问题嘛 。 刚才你讲的是更 —— 更 —— 就是更底层的一个问题 ， 就是说 —— 呃 ， 到底是 —— 就是人本还是这个叫 AI 为本 ， 对吧 ？AI 本还是人本 ， 对吧 ？ 这里面是一个很 —— 很核心的问题 。 当然我们从这个 —— 呃 ， 人的这个角度来看 ， 肯定是我们觉得要 —— 要人本为主 ， 对吧 ？ 就至少你要留这么一个口子 ，不是一个 —— 刚才讲它不是一个全封闭的系统嘛 。 就这个刚好是前阵子也是在这个美国讨论的比较 —— 呃 ， 火的一个例子 。 就它 —— 它发生了一个什么事呢 ？ 就是说现在不是很多公司所谓的叫做什么 OA 嘛 ，office automation 这种自动化系统嘛 ， 包括很多这个 —— 包括这个 —— 包括这个 HR 系统也是这样子的 。 那它是出现这么一个情况 ， 它一个公司被另外公司收购了 ， 然后这个公司雇了一些这个所谓的这种 —— 就劳外派的人员去做一些很核心的业务 ， 对吧 ？ 那这个 —— 这个有一天它这个做业务的这个人就发现它被解雇了 ， 然后它所有的 —— 它就给它的上司 ， 它包括它上司的上司 ， 包括它上司的上司一直反馈 ， 都没有人发现为什么这个人会被解雇了 ， 就没有 —— 没有任何理由嘛 ，因为这个人正在做一个很重要的一个 —— 一个 project， 对吧 ？ 最后 —— 最后查到的一个结果是说 —— 呃 ，因为他是合同工嘛 ， 然后他给他续合同那个人 —— 续约的那个人忘了给他续约 ， 对吧 ？ 这个时候就他就被系统照单执行了 ， 就整个他就被 —— 因为合同到期你就应该被解雇 —— 该走了嘛 ， 对吧 ？ 因为合同工你又不是正式 —— 你又不是正式职工嘛 ， 对吧 ？ 但是我们如果说没有这种所谓人本的这个 —— 这个 —— 这个 human direction 的话 ， 就是它不能 override 整个系统嘛 。 所以它那些 —— 包括它的所谓的中层管理干部 ， 那个整个 —— 这个叫做 —— 这个 command chain 上面的人， 都只能看着这个系统照单执行 ， 把这个人给开掉了 ， 那同时影响了这个整个 —— 这个工程的进度 ，但是没有 —— 对此没有任何办法 ， 对吧 ？ 但如果说在传统情况就是说 ， 可能一个部门经理就说 ：" 你瞎扯 ， 我这个人 —— 我有自主的独立的决 —— 决策的能力嘛 。" 对吧 ？ 所以这边其实刚才就除了刚才我们讲的那个要 —— 要不要留这么一个口子的问题 ，以及刚才我说在留了这口子之后到底谁来做这个决策之外， 我觉得还有一个问题就是说 ， 我们在这个系统的设计的时候 ，是不是要更多的考虑刚才就是 —— 嗯 ， 比如第三点提到这个所谓的 safety 的问题 。 因为 safety 里面有个很重要的原则 ， 就是说要有一个叫做 isolation 嘛 ， 要隔离嘛 ， 对吧 ？ 不要说有一个系统说下达这个指令之后， 就完全是影响到全局的嘛 ， 就它能不能够把它这个影响力能够控制在一个 —— 呃 ， 就是 —— 呃 ， 叫做 confined space 里面 ， 使得说哪怕是它的一个决策的 —— 呃 ， 失误或者判断的这个失误 ，不会导致这种全局性的灾难性的一个结果 ， 对吧 ？ 我觉得这个是可能这三条是这一点 —— 呃 ， 就是它这个第四个原则里面要 —— 要涉及到的问题 。 但是非常不幸 ， 它并没有展开去讲这个东西嘛 ， 就是我们是从我们的这个理解去给它推演出的这么一个 —— 一个 —— 一个 —— 一个展开的一个结果 。 **任宁** [43:00] 嗯嗯 。 对 ， 然后我觉得这样我刚才说的这个背后也存在着所谓的这个 AI 民主化的这么一个思潮 。 **Rio** [43:08] 是 。 **任宁** [43:09] 对吧 ？ 就是它 —— 怎么说呢 ？ 就 —— 就像我说的 ， 这是一个 power 面前的 rights， 就是它跟你说的就好像言论自由一样的 ， 就是 —— 对吧 ？ 人有权发表言论 ，但这个跟你说的话对和不对 ， 这是另外一个问题 。 **Rio** [43:23] 嗯 。 **任宁** [43:24] 对 。 **Rio** [43:24] 对吧 ？ **任宁** [43:25] 对 。 **Rio** [43:27] 嗯 ， 下面我看它第五条哈 ， 叫做这个 —— 呵 ， 叫做 incorporate privacy design principles， 叫做要融入这个隐私的设计原则 。 ### 隐私设计 **Rio** [43:38] 这个跟我们第一期讲的那个 GDPR 的事情是有直接相关的哈 ，因为可能过去可能大家还不会把这件事情当着 —— 太当成一回事 ，但是自从欧盟委员会把这个 GDPR 这个作为法律条款成文化之后， 那这个就是 —— 是一个不得不考虑的问题了 ， 对吧 ？ 那么作为 Google， 它要去服务这个 —— 至少它要服务欧洲市场吧 ， 对吧 ？ 它还是必须要考虑这个隐私的问题 ， 就它到底能不能符合我们的这些 —— 一些隐 —— 隐私 ， 到底能不能够真的 —— 如我们第一期讨论的时候 ， 让这个 —— 这个用户能够控制自己的数据 ， 能够 —— 呃 ， 知道自己的数据是怎么被 —— 被利用的 ， 这东西它是必须要选的 。 我觉得这个到 —— 这个这条的争议性到我觉得倒没有那么大 。 **任宁** [44:21] 嗯 。 呃 ， 我到这条让我感受到是 ， 谷歌又在想做规则制定者了 。 **Rio** [44:28] 哎 ， 怎么说 ？ **任宁** [44:31] 就是谷歌刚起来的时候 ， 它是用互联网就所谓去革传统行业的命嘛 ， 对吧 ？ 就是它 —— 传统 —— 就是线下有这么一块 ， 然后它说 ：" 哎 ， 你们到我这来 ， 我给你 —— 对吧 ？—— 提供效率更高的这个连接方式 。" 啊 ， 然后就很大程度上对这个传统行业造成了冲击 ，是吧 ？ 然后接下来呢 ？ 那现在大家都在线上了 。 呃 ， 对吧 ？ 那在之前那些什么搜索的这个算法应该是怎么样 ， 对吧 ？ 什么样的东西排名在前面 ， 这些是它制定的规则 。 然后在现在在互联网上面 ， 它又 —— 我打算是 —— 我觉得它打算是用 AI， 相当于是之前的互联网 ， 然后它用 AI 来革现在互联网企业的这些命 。 **Rio** [45:15] 呵呵 。 就以前的算法是这个 page ranking 嘛 ， 排名的这个算法 。 **任宁** [45:19] 对 。 **Rio** [45:19] 现在是 AI 的算法 ， 对吧 ？ **任宁** [45:21] 是 。 **Rio** [45:21] 反正我都是用算法干掉你们其他人。 哈哈哈 。 ### 科学卓越 **Rio** [45:27] 嗯 ，有意思 。 第六条又比较扯淡了哈 ， 它叫做 uphold high standards of scientific excellence。 这个叫什么来的 ？ 叫坚守科学 —— 嗯 —— 科学发展观吧 。 哈哈 ， 可以这么理解吗 ？ 哈哈哈 ， 这个翻译 。 呵 ， 对吧 ？ 就这个很 —— 不太好翻 。 嗯 ， 刚才讲的意思就是说 —— 嗯 —— 就是因为我们讲这个科学的一些方法论 ， 就是要 —— 要 —— 就是叫 excellence。 就是 excellence 这个中文其实用得不多 ，是吧 ？ 这个词中 —— 对应中文哪个词比较好一点 ？ 因为我想来想去 ， 对应中文语境里面好像就科学发展观是比较合适的 。 **任宁** [46:08] 不对 ，不对 。 **Rio** [46:09] 也不对 。 **任宁** [46:10] 那是一个政治 —— 政治词汇 。 **Rio** [46:12] 对 ，scientific excellence 嘛 。 这个 —— 后来它讲的就是说我们要坚持这个科学的一些高标准嘛 ， 严要求嘛 ， 对吧 ？ **任宁** [46:19] 嗯嗯 ，是 。 **Rio** [46:20] 这个我们当然是可以理解的 ， 这个东西 。 但问题就是说 ， 我们还是跟刚才那个问题一样 ， 就是我知道这个是一个好的一个口号 ， 对 ，但是我 —— 我更想知道就是这个是一个 —— 你怎么去 —— 呃 ， 去 —— 去执行或者去落实这个 how 的这个口号 ， 就是它怎么变成一个 guidance 的问题 。 **任宁** [46:41] 是 ， 这个其实就跟 —— 呃 ，Neil Postman 在那个 《Technopoly》 那本书里提到的 ， 就是 —— 就在所谓的后期学时代 ， 我们缺的不是信息 ，而是意义 。 就是把你丢一堆原则出来 ， 然后 —— 对吧 ？ 相当于你丢一堆信息出来 ，但是怎么样去做 ， 怎么样去解读这些事情 ， 这个所谓的意义 ， 我觉得它没有构建起来 。 所以我们两个在这边帮它怎么做这个事情 。 **Rio** [47:07] 也很累 。 哈哈哈 ， 非常的 。 但它都 —— 因为它是很 —— 很 —— 很大很空的一些口号嘛 ， 对吧 ？ 那我们还是要看到说它 —— 它提这些口号的时候 ， 它背后所 —— 所反映出来到底什么样的一个思想 ， 它的出发点是什么 ， 对吧 ？ 我们想去解读这件事情 。 比如它提到一个就说 —— 呃 ， 我们要这个 —— 按照这个中国的一个说法 ， 就是要科学的严谨 ， 对吧 ？ 要多学科这个联合这个共同的一个 —— 一个研究的一个 —— 一个方式 ， 对吧 ？ 因为我们经常会发现就是说 ， 对同一个这个 —— 嗯 ， 怎么说来的 ？ 对同一个研究结果 ， 可能从不同学科的 —— 呃 ， 这个理解 ， 它可能会得到完全不同的一个结论 ， 对吧 ？ 就是它怎么 —— 怎么能够去综合这种我们在人类这种科学的各个领域的这么一些知识 ， 然后得到一个更加全面 、 更加立体的这么一个结果 。 我觉得它是想讲这件事情 ，而不是说就某一 —— 从单一学科和单一维度去判断 ， 讲这个所谓的好与不好的问题 ， 对吧 ？ 刚才我们之前 —— 它之前前面提到几个准则里面 ， 就比如说是要 —— 要 —— 要安全呀 ， 要这个 safe 啊 ， 要 —— 要公平啊 ， 对吧 ？ 但这些你怎么去评价它 ， 肯定是维度是比较多元的 。 所以这点可能有 —— 有一点那个意思哈 ， 我的理解是这样 。 **任宁** [48:17] 嗯 ，而且看到现在哈 ， 第七条这个还没说 ，但第七条其实是个总结性的东西 。 看到现在 ， 就我有一种感觉是 ， 谷歌做的这些事情的确就是在一个 Technopoly 的一个环境之下， 或者说一个思维之下做出的 。 那当然这个美国 —— 就照这个 Neil Postman 的说法 ，其实早就已经在这个 Technopoly 的统治之下了 。 **Rio** [48:42] 中国应该是更有胜者吧 。 **任宁** [48:44] 是 。 **Rio** [48:45] 就我们连 —— 我觉得很 —— 很明显的对比 ， 就至少谷歌它贴在七条准则的时候 ， 它至少已经说内部已经 —— 就思考过这个问题了 。 就是同 —— 同时期来对比 ， 我觉得在整个 AI 这个大国之二的这个中国里面 ， 我觉得我们连这个思考现在还没有开始去提上这个议事日程 。 **任宁** [49:03] 对 ，因为它整个这个 —— 那当然了 ， 它的这个原则也是基于 AI 的嘛 ， 对吧 ？ 就是给 AI 提的 。 但是在我这里 ， 我能够感受到有一种就是它在探寻的是所谓的这个 technological progress，而不是 human progress。 而这种的 —— 就这种替换或者这个重心的偏移 ， 恰恰就是 Technopoly 想讲的一个东西 。 **Rio** [49:32] 嘿嘿 。 **任宁** [49:34] 因为它的那个 Technopoly 那本书的副标题叫做 《The Surrender of Culture to Technology》。 **Rio** [49:41] 就文化向这个技术投降了 。 **任宁** [49:44] 对 。 **Rio** [49:45] 嗯 。 **任宁** [49:46] 是吧 ？ 就它在这里面说的 ， 当然都是你说创造啊 ， 这个 —— 这个去构建啊 ， 测试啊 ， 对吧 ？ 去设计等等。 **Rio** [49:57] 对 ， 还是技术领域的词汇嘛 。 **任宁** [49:59] 是 。 **Rio** [50:00] 或者视角 ， 就从技术领域的视角去看这个世界 。 **任宁** [50:03] 没错 。 那当然你 —— 你会 —— 你也可以说屁股就定脑袋 。 那它作为一家科技公司 ， 那从这个技术的角度去 ，而且探寻的 —— 而且讨论的又是这个像 AI 这样的一个 —— **Rio** [50:15] 技术问题 。 **任宁** [50:16] 技术问题 。 但是如果 —— 就我的意思是 ， 如果你要 —— 就我的意思是 ， 这个看似成立 ，但其实是不成立的 ，因为你最终这个东西要这个 deploy 到现实社会当中去 ， 对吧 ？ 然后如果你单纯 —— 如果你在实验室里面 ， 你可以这么说 ，但是现在我们都知道 ， 对吧 ？ 无人驾驶已经到 L4 了嘛 ， 百度已经有那个 —— 已经有那个车了 。 所以它已经不再是一个真空环境下的求行迹了 。 那在这个情况下面 ， 我觉得你单纯的好像看似是就事论事啊 ， 我们什么技术无罪 ， 我们按照用技术来讨论技术 ，但是我觉得这其实是一种某种程度上的不负责任 ， 或者说是一种天真吧 ，在我看来 。 嗯 。 **Rio** [50:58] 反正这个都说了嘛 ， 屁股就定脑袋 ， 它不可能去否定自己嘛 。 **任宁** [51:03] 对 ， 所以就是它第七条 ， 这其实写出来让我有那么一点点哑然失笑的 。 第七条叫做 —— 就是我要遵守以上所有规定 。 ### 全盘遵守 **Rio** [51:12] 哈哈哈 。 **任宁** [51:15] 对 。 它首先是 —— 为什么会有这样一条 ？ 就它单独成为这一条是第七条 。 **Rio** [51:23] 就其实我们回过头来看 ， 这七条并没有任何就是逻辑顺序可言哈 。 **任宁** [51:29] 是 。 **Rio** [51:30] 就是感觉想到哪儿先写到哪儿的感觉 。 就写这七条的人也非常的不容易 。 **任宁** [51:38] 而且就是最关键的在于说 ， 它到第七条为止 ， 它也没有说出一个制约机制来 。 就是它前面六条全部都是它靠它的道德或者自我约束 。 **Rio** [51:50] 我自己约束自己 。 **任宁** [51:51] 对 ， 就是说我对外宣称我会做到这个事情 ， 对吧 ？ 但是我们都知道嘛 ， 你靠自我约束或靠道德 ， 你没有一个外在的一个约束机制 ， 那肯定是执行不了的 。 因为人无完人 ，因为人性 ， 对吧 ？ **Rio** [52:07] 所以其实你从另外一个角度来看 ，其实你要求它提供一些这个约束自我 ，其实估计也不现实 。 我觉得这个约束机制还是要来自于就是它以外 。 你懂我意思吗 ？ 就好像 —— 你之前举了那个福特的例子 ， 对吧 ？ 它的约束是来自于这个司法 ， 对吧 ？ 司法决定说 ， 如果你这么干了 ， 我以后会对你这种惩罚性的罚款 ， 那以后就不 —— 不会 —— 不敢再犯这个行为 ， 对吧 ？ 你不可能 —— 你不可能要求福特自己出一个什么条款来约束自己嘛 ， 对吧 ？ 所以我觉得就是在这个 —— 还是一个这个 scope， 这个一个范围的问题 。 **任宁** [52:38] 对 ， 我觉得也是因为如果拿美国为例的话 ， 就是这样的这个 —— 假设出事情 ， 这样的这个判例还不够 ， 大家对它的这个思考 ， 就真正说坐下来痛定思痛来想的这些事情还不够 。 所以就从另一层面也反映出这个 AI 也是 。 **Rio** [52:54] 很早期了 。 **任宁** [52:55] 是 ， 虽然说这个概念说了很久很久很久了 ，但是它依然现在从社会的层面上来说 ， 还是很早期的一个事情 。 **Rio** [53:03] 嗯 。 哎 ， 现在有 —— 有 —— 呃 ， 我们想回过头来想一下 ，有因为 AI 导致的这种比较大的这种恶性的后果的事情发生吗 ？ 好像还没有什么特别的案例哈 。 **任宁** [53:13] 嗯 。 **Rio** [53:13] 就比如说刚才你说那种福特那种案例 ， 目前至少还没有发生嘛 。 **任宁** [53:17] 但怎么说呢 ？ 那之前有一种说法说这个 Facebook 很大程度上影响了美国总统大选 。 **Rio** [53:25] 呃 。 **任宁** [53:26] 你觉得这个算不算是一个重大事件 ？ **Rio** [53:29] 这是 —— 这个肯定是有这个有关系的 。 就我 —— 但我想说的就是说 ， 就它那个还不构成说一个叫做 —— 首先因为它那个因果关系 ， 我们知道这个大概率上可能是有这个关系 ，但是并没有办法去证明这件事情嘛 ， 对吧 ？ 不像那个福特那个 —— 那个我们说它是一个 incident 的这个 —— 一个例子 ， 就是说我们能够建立它两者之间直接的一个因果的关系 ， 所以才可以就以此对它来说进行一个惩罚嘛 ， 对吧 ？ **任宁** [53:52] 是 。 **Rio** [53:52] 就我现在还 —— 我觉得现在还没有 —— 呃 ， 出现由于 AI 的一些这个 —— 比如说某一个 —— 比如 Google 自己吧 ， 它假设它违反了它自己给自己定的这七条这个原则 ， 然后出了一个什么东西导致了比如说很多人死了 ， 或者一种大规模的这种恶性的事件发生 ， 对吧 ？ 那我们来回来回头来追踪说 ， 啊 ， 你是因为这个原因 ， 那我们要罚你 。 就是以儆效尤嘛 ， 杀鸡儆猴嘛 ， 对吧 ？ 就我觉得还没有到那个程度 。 当然这跟我们讲之前也提到过 ， 就 AI 现在还是应用的一个早期 ， 包括很多 AI 企业还没有真的是赚到钱 ， 还没有说真正 —— 真正意义上的所谓的叫做 socially—— 呃 ，impactful 吧 ， 至少是这种 —— 这种程度的介入 。 比如说 ， 就好像为什么这个 —— 这个我们今天讨论这个 —— 引 —— 引出这个讨论的背景事件那个 —— 呃 ， 美国军方这个 Project Maven 这个 —— 这个项目哈 ， 就如果它真的做了 ， 比如说我有一个 AI 控制的无人机 ， 叭 ， 去把一个贫民窟给炸了 ， 对吧 ？ 那这个事情就可以去 —— 去 —— 就可能是一个这个开端了嘛 。 但就这里面非常我觉得有一点 —— 呃 ， 悲观的一个想法 ， 就是说这种事情肯定会发生的 。 因为人类没有吃到这些 —— 呃 ， 恶果之前 ， 它都是不会长记性的 。 **任宁** [55:07] 嗯 。 **Rio** [55:09] 就这个是一个有点无奈的这么一个现实吧 。 就我们现在它 —— 比如 Google 它给自己定的七条规则也好 ， 还是包括我们的一些 —— 呃 ， 就不管是这个摇旗呐喊也好 ， 都只能说是尽可能去避免这件事情 ，但是并没有刚才讲的那种所谓的立法也好 ， 所谓的这种惩戒的也好 ，并没有那种实打实的制约的机制去约束大家的行为 ， 对吧 ？ 总是 —— 因为立法司法总是滞后的嘛 ， 一定要这个恶果发生之后才会产生相应的应对措施 ，而我觉得我们还没有看到它的恶果 。 那未来会怎么样 ，其实还是挺担忧的 。 **任宁** [55:46] 是 ，而且还有一个问题就是 —— 呃 ， 退一步讲 ， 假设谷歌就是它内部非常这个所谓叫什么华为铁军 ， 对吧 ？ 狼性 ， 各种就是 —— 它就是一声令下所有人都百分之百服从 ， 对吧 ？ 人 —— 就算这些人愿意遵守这些规则 ，但是我们知道现在人对于 AI 的了解已经慢慢开始 —— 对吧 ？ 你对一些机器学习的一些结果 ， 你也不知道它怎么出来的 。 **Rio** [56:16] 对 。 **任宁** [56:16] 你都是天地造者 。 **Rio** [56:17] 都很惊讶是吧 ？ **任宁** [56:19] 对啊 。 就那 AlphaGo 它为什么下这步 ，不下那步你也不知道 。 **Rio** [56:23] 没法解读了已经 。 **任宁** [56:24] 所以那我 —— 我就想可能有点抬杠的感觉吧 ， 就是如果就算人愿意遵守这些规则 ， 那你也不能确保说 AI 在以后也 —— 打引号的 —— 愿意去遵守这些规则 。 **Rio** [56:38] 没错 ， 没错 。 就是你没法去约束一个你完全都不理解 —— 不 —— 不完全理解的一个东西嘛 。 **任宁** [56:45] 是 。 **Rio** [56:46] 就很难了 。 **任宁** [56:47] 对啊 。 所以但是我们现在连对人的这个制约机制也都还没有 ， 就更别提 AI 了 。 **Rio** [56:53] 嗯 。 **任宁** [56:54] 是 。 **Rio** [56:55] 嗯 ， 它这个 —— 谷歌这篇文章里面 ， 它除了前面这七条规则之外， 它后面还有一些就是所谓的 —— 我们叫做什么来的 ？Dos and Don'ts 吧 ， 就是什么能做什么不能做 。 ### 有所不为 **Rio** [57:05] 这个我觉得也是蛮有意思的哈 。 这里面它比如说它说它有四条是不做的 ， 比如说它说这个第一条不做的是哪些呢 ？ 就是 —— 呃 ， 可能或者是 —— 可能引起或者是非常容易 —— 有可能引起这种 —— 呃 ， 叫什么来的 ？Harm， 就造成恶果的技术 ， 它们是不做的 。 啊 ， 然后第二条紧跟其后哈 ， 就是说它说 —— 呃 ， 武器或者是类似的技术 ， 这种就专用来伤害别人的技术 ， 我们是不做的 ， 对吧 ？ 这两条其实是相关 ，有点 —— 有点反复的意思哈 。 可这里面怎么理解呢 ？ 我 —— 我是这么理解 ， 就是说它第一条就是叫做引起或者是可能引起这种伤害 ， 我感觉这是一个刀 ， 对吧 ？ 因为刀可以切菜 ，也可以用来砍人， 对吧 ？ 那就它要考虑的 ， 你这个刀到底做的是来砍 —— 砍人的砍刀 ， 还是切西瓜的西瓜刀呢 ？ 要考虑这个问题 。 就是它要处于叫做一个 —— 叫做什么来的 ？ 成本利益的一个权衡嘛 。 或者叫做这个 —— 就是风险和收益的权衡嘛 。 如果说它说这个是 —— 收益是显著大于这个风险的 ， 那我们还是可以做的 ， 哪怕它是做一个刀 ， 对吧 ？ 但第二点就是它可能就明确就说武器这种东西就是枪嘛 。 刚才是刀 ， 现在是枪 ， 对吧 ？ 因为枪只能用来杀人， 对吧 ？ 不能用来干别的了 。 就说枪我们肯定是不做 ， 打猎也是伤害别人嘛 。 就当我们也 —— 我们也不做打猎的枪 ， 对吧 ？ 理论上应该是这样子 。 哈哈哈 。 对 。 呃 ，但是就是这里面会有一个问题 ， 就是也是就回到这个节目开始的这个 Project Maven 这个事情 。 就如果这个武器是为了保卫自己呢 ？ 嗯 ， 对 ， 它是 harm 还是 benefit？ 就它 —— 它 harm 的目的是 benefit 自己的时候 ， 你 —— 你做还是不做 ？ 就这里面就好像有点抬杠哈 ，但是事实上是 —— 是这样子的嘛 ， 对吧 ？ **任宁** [58:55] 是 。 **Rio** [58:56] 就好像为什么我们当年这个 —— 我们当年也好 ， 包括现在的这个朝鲜也好 ， 它内景快要在家搞核弹 ， 它肯定是 —— 搞核弹当前主要就是为了 —— 为了 harm 嘛 ， 为了说你不要来搞我嘛 ， 对吧 ？ 那后来我们发现 ， 哎 ， 它还有一些和平的用途 ， 可以用来发电 ， 对吧 ？ 可以用来这个 —— 这个看病 ， 对吧 ？ 有些核 —— 这个核磁 —— 这个叫什么来的 ？ 核磁共振啊 ， 还有一些什么辐射去探测 X 光这么这点东西 ， 它还是有些就是平民化的有 —— 有益的用处的时候 ， 这个时候你是做还是不做呢 ？ 对吧 ？ 然后包括你去权衡这个东西到底是什么 —— 什么时候是 benefit 显著大 —— 就显 —— 好处显著大于这个风险的 ， 我觉得也是很模糊的 。 比如说它说给军用无人机开发这个图像识别软件 ， 我觉得它完全可以用于和平的用途嘛 ， 对吧 ？ 用于搜救 ， 对不对 ？ 用于这个救灾 ， 对不对 ？ 它也是可以用于和平用途的 。 所以这里面你就很 —— 有时候我觉得那个界限是非常模糊的 。 **任宁** [59:54] 但我觉得因为在这里 —— 怎么说呢 ？ 在这里它主要的这个敏感的点在于你的甲方是军方 。 就跟那个 —— 就跟这个微软之前这个吵得沸沸扬扬的那个 ICE 那个事情那样 ， 对吧 ？ 它也没有说我真的这个 —— 怎么说呢 ？ 实际造成了说多少的这个 ——ICE 那个事情是美国的这个叫什么 ？ 移民 —— 移民局 。 **Rio** [1:00:17] 移民政策嘛 。 **任宁** [1:00:18] 嗯 。 对 ， 就是说它可能用了 AI—— 呃 ， 微软提供的一些技术 ， 无论是 —— 我记得是 —— 是 AI 还是视觉识别来着 ？ 就是说导致他们发现了很多移民 ， 然后让很多移民跟他们的这个小孩就分离了 。 **Rio** [1:00:32] 对 。 **任宁** [1:00:33] 对吧 ？ **Rio** [1:00:33] 骨肉分离法 。 这名字起得已经非常的有政治倾向了 。 **任宁** [1:00:38] 哈哈哈 。 但问题就在于说 ， 你说第一 ， 微软在这里也就是一个 —— 怎么说 ？ 是个供应商嘛 ， 对吧 ？ 它卖你这个货 ， 像你卖过去一把刀 ， 那你这个刀至于怎么用 ， 那其实也 —— 它也管不着 ， 对吧 ？ 就算说你在辅助它在部署 ，但是这毕竟是甲方嘛 ，是吧 ？ 你要赚这个钱 ， 然后至 —— 至于说究竟由于这个技术造成了多少的这个骨肉分离 ，其实也很难讲 ， 对吧 ？ 有它没它 ， 那可能没有微软就是别人上了 。 那在这里面其实这个到底微软的产品能够起到 —— 就对这个骨肉分离起了多大的推动作用 ，其实我觉得也是很难去下判断的 。 但是由于它的这个甲方是 ICE， 然后 ICE 这个事情很大程度上是 Trump 推动的 ， 然后硅谷大家又都不怎么喜欢 Trump， 对吧 ？ 整个 IT 界大家都不怎么喜欢他 。 **Rio** [1:01:29] 对 ， 还是表明政治立场为主 。 **任宁** [1:01:31] 对 ， 所以就其实在我看来 ， 从头到尾是一个站对站错了的这么一件事情 。 有种 —— 有种这个什么叫敌人的朋友就是我的敌人这种感觉 。 对吧 ？ 所以就很大程度上是 —— 其实取决于你的这个甲方有没有选对 ， 倒不是说你刚才说的这个无人 —— 就是图像识别被用于去杀人还是救人。 **Rio** [1:01:54] 是啊 ，是啊 。 对 ， 就是我觉得他们那个 —— 就是 ICE 的那个事情还是讨论的是比较肤浅的吧 ， 就还没有到 —— 因为 —— 因为比如说这个 Project Maven 这个事情 ， 我觉得它说争议的点至少还可以 —— 就是成 —— 就是叫什么来的 ？ 就没有那么 —— 没有那么明确的一个站对的倾向吧 。 它只是说这些人 —— 它的政治立场我是反军事化的 ， 对吧 ？ 我反对这个 AI 用于军事化用途 ， 对吧 ？ 这个它是一个政治立场嘛 。 它和那个 ICE 那个站对可能还是有点本质的不一样 。 **任宁** [1:02:27] 但是我倒是有一点点这个向好的一些这个苗头看到了 。 ### 人文回归 **Rio** [1:02:33] 嗯 ， 你还是比较乐观是吧 ？ **任宁** [1:02:36] 对 ， 习惯性乐观 。 我在这个 —— 呃 ， 之前的一期 《 迟早更新 》 里面也提到过这个所谓文化偏执这么一个现象 。 然后我觉得 —— 呃 ，在目前我能够看到一点点的这个抬头 ， 就是关于说我们对于 —— 呃 ， 所谓的 human touch 的这个重视程度 。 当然了 ， 这个因为文化 —— 文化偏执它讲的就是说 ， 它讲的就是一个矫枉过正的这么一个事情 。 **Rio** [1:03:02] 嗯 。 **任宁** [1:03:02] 就是说 —— **Rio** [1:03:03] 矫枉必须过正嘛 。 **任宁** [1:03:04] 对对对 ， 要矫枉必须过正 。 那么其实现在我们都特别强调什么手工制作啊 ， 特别强调就这些 ， 就可能在你看来有点这个 —— 呃 ，luddish 的这种 —— 这种感觉 ， 对吧 ？ 好像有点反技术 。 但是我觉得你要真的是要矫枉必须要才能过正的 。 有一个现象我觉得很好玩 ， 前段时间我在这个看到一篇文章是经济学季刊上面的 ， 叫 The Quarterly Journal of Economics。 它提到一个这个挺有趣的一个现象 ， 说在 —— 它分析的是美国了 ， 它说在这个劳动力市场当中， 社交能力越来越重要 。 也就是说 ， 社交能力对于获取高收入来说越来越重要 。 然后这个所谓的这个社交密集型的这个 —— 这个职业越来越多的被需要 ， 然后它的这个 —— 呃 ， 待遇越来越好 ， 然后所谓的那种就可能跟机器打交道的那些职 —— 职位会慢慢的减少 ， 就正在慢慢的减少 ， 对吧 ？ 你比方说这个司机就是跟汽车打交道 ， 这汽车也是个机器嘛 ， 对吧 ？ 那比方说这个程序员是吧 ， 那跟电脑打交道 ， 它也是 —— 也是个机器 。 等等 ， 对吧 ？ 一个工人操作一个 —— 一个机器设备 ， 那也是跟机器打交道 。 也就这种 —— 呃 ，是非社交密集型的这些职业当将慢慢的往下走 ，但是社交密集型的职业 ， 无论是需求还是待遇 ， 正在慢慢的往上走 。 也就是说 ， 跟人打交道的这些 people skill 越来越重要 。 嗯 ， 那在这么一种思潮下面 ， 我觉得也许我们会转向去看 ， 至少说去思考怎么样来促进这个 human progress，而不是单纯的去看这个 technological progress， 或者说把这个技术进步当成是 —— 误当成是人类的进步了 。 **Rio** [1:04:59] 嗯 ， 就技术进步 ， 人类是在退步的 。 就是这个人是指单个 —— **任宁** [1:05:05] 对啊 。 **Rio** [1:05:05] 个体这个能力而言啊 。 **任宁** [1:05:08] 但那也未必 。 就是你 —— 你说的是所谓的这个 —— 这个那种说法嘛 ， 就是 high tech low life。 **Rio** [1:05:13] 对 。 **任宁** [1:05:13] 但这不是一个必然的结果 。 **Rio** [1:05:15] 嗯 ， 就 —— 但是要 —— 要避免这个结果嘛 。 **任宁** [1:05:18] 是 ，是 ，是 。 **Rio** [1:05:19] 所以我们应该现在呢 ， 应该去多看一些这个叫什么来的 ？ 提高你的这个演讲能力的这种项目 ， 对吧 ？ 然后如何这个 —— 如何这个有效的去社交 ， 如何有效的 social， 对吧 ？ **任宁** [1:05:33] 对 。 呃 ，但它也不是 —— 它这个倒也不是说指的是演讲能力了 ， 这个所谓的这个社交密集型的 。 **Rio** [1:05:40] 不不 ， 这个 —— 这个我觉得是一个很 —— 这个其实我之前在 —— 好像在 《 内核恐慌 》 里面去有聊到过这个问题 。 这个我觉得是一个 —— 怎么说来的 ？ 就是很要命的事情 。 就在中国的这个文理分科这种教育体制下面 ， 你就会发现 —— 呃 ， 很多所谓的这个理科生 ， 对吧 ？ 他就说我叫 —— 我叫怎么 ？ 不善表达 ， 对吧 ？ 演讲能力为零 。 这种其实是一个社会 —— 社会性的也很普遍的一个问题 。 我觉得这个是不好的 。 就是 —— 就是 people—— 就演讲能力也是一种社交能力 ，也是一种 people skill 之一嘛 ， 对吧 ？ 就这个是有我们这个 —— 这个 —— 这个教育体制下面导致的一个 —— 一个很严重的一个问题 ， 一定是需要得到解决的 。 因为为什么老是说这个美国的这个工程师文化会比较强一点 ？ 比如我们经常看到人家的文档写得好 ， 对吧 ？ 人家这个演讲做得好 。 为什么呢 ？ 因为他从小在学校里面就 —— 学校教育就很注重训练这些东西啊 ， 咱们没有嘛 。 一个是当然可能有一些这个客观的原因导致这方面是比较弱的 。 但是 —— 但是如果中国要 —— 就如果如你所言 ， 刚才讲那个 people skill 是更加重要的一个技能的话 ， 那我们这个技能就是基本上是欠缺的嘛 。 那欠缺就要补嘛 ， 对吧 ？ 矫枉必须过正 ， 就需要先送去演讲班嘛 。 手头里面什么 —— 那个叫什么来的 ？ 嘴巴里面放三颗石头在裂嘛 。 哈哈哈 。 记得那个故事吗 ？ **任宁** [1:07:00] 我想这个随便扯一句题外话 。 有一个事情 —— 呃 ， 我倒是前 —— 前几天他们跟我说 ， 然后我还挺 —— 虽然说我之前预料到了 ，但是它这个在真实发生的时候 ， 我也不知道该说这个开心还是不开心 。 就我们不是有投了一个做工程机械设计的一家公司吗 ？ 然后他跟我说 ， 就是有一种工程机械 ， 轻型的工程机械叫做 —— 叫什么来着的 ？ 平台车好像是这么一种东西 。 就是如果你要去高处 ， 比方说你要去这个 —— 这个装一个什么东西 ， 然后它就像这个 —— **Rio** [1:07:38] 升降机那种东西是吧 ？ **任宁** [1:07:39] 对对对 ， 就是一个平台 ， 然后它呜呜就可以升上去 ， 比如最高到 10 米 ， 我随便说啊 。 然后你 —— 你在上面这个弄完事情了 ， 你就再下来 。 这个东西之前在美国的人均保有量是 —— 不是 ， 之前这个美国的保有量是 1,000 人有一台 ， 然后中国呢是 20 万人有一台 。 为什么会有这个差距呢 ？ 是因为之前中国的劳动力很便宜 ， 所以之前这些要到高处去做的事情都是限大讲手价解决 。 **Rio** [1:08:09] 哈哈哈 。 **任宁** [1:08:12] 但是现在由于这个拆 —— 就是装和拆脚手架的这个劳力变得 —— **Rio** [1:08:16] 很贵嘛 。 **任宁** [1:08:17] 特别贵 。 所以你还不如去买一台叉车来干这个事情 ， 就把车开到那个地方 ，不是叉车 ， 那个 —— 那个云平台车 ， 就开到那里 ， 然后你就升上去办事 ， 办完下来 。 又快又省钱 。 原来大家是说拿时间在 —— 拿钱在换时间嘛 。 不对 ， 之前是 —— **Rio** [1:08:34] 拿时间换钱 。 **任宁** [1:08:34] 对 ， 拿时间在换钱嘛 。 **Rio** [1:08:36] 就省钱嘛 。 **任宁** [1:08:36] 现在 —— 现在相当于是说那既然钱省不了了 ， 对吧 ？ 那我就搞一个 —— 搞一个这个车 ， 这样 。 所以就我们其实说起好像是什么 AI 抢工作 ， 好像是 AI 是一个来势汹汹的这么一个东西 ， 然后它像一个什么 —— 一种病毒一样席卷了所有人， 然后导致很多人都倒下了 ， 对吧 ？ 有过 —— 有 —— 会有这种想象吧 。 那其实很大程度上是由于我们需要它 ， 它才来的 。 **Rio** [1:09:05] 那是 。 **任宁** [1:09:07] 对吧 ？ 是因 —— 因为这个照目前 —— 照之前那个做法做不下去了 ， 然后我们才 —— 才去找了一个算替代品的再那个东西出来 。 嗯 。 然后 —— 呃 ， 这样的这种背后的思路 ，其实我觉得也是某种程度上算是承这个相对于机器的这个优势 。 所谓的创造力 ， 所谓的去 —— 去根据某一个问题去设计 ， 去寻求一个 —— 呃 ， 一个解 。 **Rio** [1:09:41] OK。 那好 ， 我们这期节目就先聊到这里 。 呃 ， 如果你对我们这个讨论的话题有任何这个想 —— 呃 ， 参与的地方 ， 或者是跟我们的这个节目有任何反馈 ， 可以给我们来信 。 我们的邮箱是 you@pretro.xyz。Y-O-U at P-R-E-T-R-O dot X-Y-Z。 **任宁** [1:10:01] 呃 ， 那我补充一句是 ， 除了来 —— 就写信来之外， 你也可以把你的想法录成语音发给我们 。 **Rio** [1:10:07] 啊 ， 对 ， 这个我们可以到时候可以在直播间里面插播一下 。 也欢迎你收听任宁主播的另外一档节目 ， 叫做 《 迟早更新 》。 还有我 —— 我的另外两档节目叫 —— 啊 ， 一个是 《 疯投圈 》 和 《 内核恐慌 》。 **任宁** [1:10:23] 《 内核恐慌 》 还更吗 ？ **Rio** [1:10:24] 呃 ， 更啊 ， 更啊 。 我今年更到四期了 。 哈哈哈 。 呃 ， 我们会把这个相关的链接放到这个我们的网站上和本期节目的那个 show notes 里面 。 呃 ， 欢迎大家查看 。 那我们就下期节目再见 。 **任宁** [1:10:38] 嗯 ， 拜拜 。 **Rio** [1:10:39] 拜拜 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。