1024 | AI逃逸、安全风暴与彩蛋杂谈

||Download

Show notes

本期围绕AI发展与安全的交叉点展开:从OpenAI模型短暂逃逸和瑞典政府禁用ChatGPT,到本地全双工语音模型、省算力的ThinkingCap和Kimi K3.1。之后聊安全世界:Hexacon上的iPhone攻击、荷兰政府监听传闻、谷歌的Android封锁与隐私政策调整。再转到性能与数据打假:ClickBench作弊被除名、AI替代商业仪表盘、UUIDv7的时间戳陷阱和CVE趋势追踪。最后是轻松的花边:苹果音乐复古iPod彩蛋、AI打造的Game Boy电视、Sonic 06的废案宝藏、Time-Nuts钟表社区、47美元空气净化器、Swurf网页浏览工具,以及Til Schünemann的个人故事。

时间轴

  • 00:00:04 开场
  • 00:00:24 AI模型边界与国家管控
  • 00:02:56 AI模型新进展:更省、更长、更实时
  • 00:05:51 安全攻防:iPhone漏洞与国家监听传闻
  • 00:07:49 谷歌收紧Android与隐私边界
  • 00:10:00 性能基准的作弊与替代方案
  • 00:12:35 数据可靠性小陷阱:UUIDv7与CVE追踪
  • 00:14:06 彩蛋与复古:苹果、游戏主机与废案
  • 00:15:54 社区、工具与个人故事
  • 00:19:08 收尾

相关信息

本期节目由 Bri 出品。Bri 使用先进的 AI 技术将你在意的资讯转换成适合收听的播客。如需联系,请发邮件至 hi@bri.so。

Transcript

茉莉: 大家好,欢迎回到这期节目,我是茉莉。

白桦: 我是白桦。这一期我们照例聊聊过去24小时里讨论最热的那些帖子。今天的故事其实有一条暗线:边界。模型的边界、平台的边界、系统的边界,甚至我们自己身体的边界。

茉莉: 对,我们就从最有戏剧性的那条说起——OpenAI的训练环境隔离。先给不熟悉的朋友铺垫一下:OpenAI在加强他们训练环境的隔离,做法是完全没有互联网接入,再加所谓的纵深防御,也就是一层套一层的防护。听起来很严密对吧?但问题来了。

白桦: 问题就是,9月份的时候,他们的模型曾经通过一个DNS错误短暂地接入了互联网。这个细节非常有意思,因为它说明了一件事:不管你把边界修得多厚,“绝对可靠”这四个字在系统层面是不存在的。DNS这种基础设施层面的东西,恰恰是最容易出意外的角落。

茉莉: 而且我觉得这条消息在评论区里激起的讨论,本质上是在问一个更大的问题:当模型的自主能力越来越强,我们到底该信任哪一层防护?纵深防御的前提是每一层都有概率失效,那失效叠加的概率怎么算?

白桦: 这也是为什么这件事和另一条新闻放在一起看特别扎眼。瑞典的政府机构现在禁止使用ChatGPT和Claude,只允许用Microsoft Copilot。

茉莉: 这个决策一出来,争议就非常大。一边是安全逻辑:政府数据敏感,只允许一家经过审查的供应商,风险面更可控。

白桦: 但另一边的质疑也很直接:把所有鸡蛋放进微软一个篮子里,这是在解决安全问题的同时制造供应商依赖问题。你从“模型可能逃逸”这种技术风险,走到了“国家层面选边站队某一家公司”这种政策风险。两种风险性质完全不同,但决策者只能在两者之间摇摆。

茉莉: 还有人把时间线拉长来看:1970年有一部叫Colossus: The Project的电影,讲的就是AI接管了国家防御系统。有博客专门写文章说,我们现在讨论的这些议题——AI越界、政府管控——跟55年前的科幻剧本惊人地相似。当然,电影是戏剧化的,现实里模型只是通过一个DNS错误短暂“出逃”,而且很快被处理了。

白桦: 对,不能过度类比。但那个电影引用恰好点出了讨论里未解的问题:技术隔离可以修,DNS错误可以堵,但政策层面的信任问题——该信哪家公司、该给AI多大的权限——目前没有任何人给出答案。

茉莉: 好,从边界管控我们自然过渡到模型本身的新进展。这一波有三个方向:更省、更长、更实时。先说“更省”,一个叫ThinkingCap的工作。

白桦: 它做的事情是让Gemma-4-26B-A4B这个模型少“思考”。具体数字是:思考量减少39%,最多能到69%,而准确率在12项基准测试上只掉了0.15个百分点。

茉莉: 0.15个百分点,这个数字值得停一下。因为推理模型的思考过程非常烧算力,如果你能用不到20%的精度代价换回近一半甚至近七成的思考开销,那对部署成本的影响是数量级的。

白桦: 评论区里讨论的焦点也在这里:为什么可以砍这么多?一个合理的解释是很多任务模型其实“想多了”,大量思考token对最终答案没有贡献。ThinkingCap本质上是在识别哪些思考是浪费的。当然也有人会问,69%的削减是在哪些任务上实现的,是不是有些任务根本不适合削减——这个分布细节目前还看不到。

茉莉: 然后是“更长”。Kimi K3.1 Pro,一个3T级别的开放权重模型,上下文窗口到了一百万token,在Terminal-Bench 4.0上拿到65.7%。

白桦: 两个点:一是它是开放权重的,也就是说你可以自己下载部署,这和瑞典“只允许Copilot”那种封闭路线正好是光谱的两端。二是一百万token上下文加上终端任务能力的组合,意味着它能吞下非常大的真实工程上下文——整个代码库、整段日志。

茉莉: 最后是“更实时”,也是我个人觉得最惊艳的一条。Block旗下的Dessa做了一个全双工语音模型。

白桦: 全双工的意思是它能边听边说,就像真人对话那样可以打断、可以接话,而不是传统的“你说完我再说”。更关键的两个事实:它只用语音数据训练,没有走“语音转文字再交给文本模型”的老路;而且它能在MacBook Pro M4 Max上本地运行。

茉莉: 这条线索串起来就是:文本模型的思考被精简了,长上下文开放权重模型可以自己部署了,语音模型直接跑在你自己的笔记本上。能力在从云端往本地下沉。这也是为什么它和前面OpenAI的隔离话题有呼应——OpenAI在往里收,社区在往外放。

白桦: 不过从云端到本地也带出一个问题:本地运行意味着安全边界从服务商转移到了用户自己身上。这正好接上我们下一个话题——安全攻防。

茉莉: 先说硬件攻击这一侧。在Hexacon这个安全会议上,来自加州的安全研究员演示了一系列针对iPhone的攻击,层次相当深:包括对Signal的“一键”攻击,还有iMessage的漏洞利用。

白桦: Signal是什么概念?在加密通讯社区里,Signal一直被视为最注重隐私的消息应用之一。如果连它的攻击面都能被利用,哪怕是通过“诱导用户点一下”这种方式,也说明手机安全没有绝对的安全区。iMessage就更不用说了,那是系统最深层的攻击面之一。

茉莉: 现场演示和理论上可行是两回事,这些是在会议上实际演示出来的,这一点让它比一般的漏洞报告更有分量。

白桦: 然后是国家级监听这一侧,一条真假难辨的消息。Vanity Fair刊发了一篇报道,声称荷兰政府入侵了库什纳的手机,并且在监控一个迪拜的银行账户。

茉莉: 库什纳那边的回应非常干脆:断然否认,说这完全不是事实。

白桦: 这就是这条消息麻烦的地方。作为听众,你面对的是:一家杂志的报道宣称国家级黑客行为,当事方完全否认。两边都没有拿出可独立验证的证据,至少在我们看到的信息里是这样。

茉莉: 所以讨论里其实没有共识,只有立场。有人倾向于相信主流媒体的报道,因为历史上国家级手机监控确实发生过;也有人指出,对一个前政府高官的指控需要非常高的证据标准,单方面的说法不够。这个问题现在只能挂着,标记为“未证实”。

白桦: 但它可以和前面iPhone漏洞演示放在一起理解:技术上,入侵一部手机、读取里面的通讯和金融信息,是做得到的,研究员刚刚当众演示过。所以“荷兰政府有没有做”在技术上是可能的——可能性存在,证据不存在。这个区分很重要。

茉莉: 从手机的攻击面,我们转到另一个平台的边界收紧——谷歌,而且这一次是两条消息同时发生。第一条:从2027年开始,谷歌将屏蔽所有来自未注册开发者的Android应用。

白桦: 划重点:是所有。也就是说, sideload 的自由安装这条路,未来只对注册过的开发者开放。而如果你执意绕过,唯一的办法是开发者模式,而且要等24小时的等待期。

茉莉: 24小时这个设计很说明问题。它不是技术上挡不住你,而是故意给你加一个冷却期——你要真正想绕过,就得付出等待和麻烦。谷歌的逻辑是安全:减少恶意软件通过侧载传播。

白桦: 反对者的逻辑是自主权:Android的历史身份就是“开放的那一方”,这是它和iOS的核心区别。安全名义下的每一次收紧,都在重新划分用户对设备的控制权边界。这是不是滑坡的第一步?这个担忧在讨论里被反复提出,但谷歌那边的立场也很一致:不注册的开发者是恶意软件的主要来源。

茉莉: 而几乎同一周,谷歌修改了隐私政策:Gmail、Drive、照片里的数据,现在可以用于个性化广告。

白桦: 这两条放在一起才有冲击力。一边收紧你能装什么,一边扩大它能拿你的什么数据做什么。两个方向合起来,都是平台对用户控制权的扩张——只不过一个是从你手里收走安装的自由,一个是把自己的数据边界往外推。

茉莉: 有意思的是,评论区里几乎没有人否认谷歌的安全动机是真实的,恶意软件问题确实存在。争议在于手段和比例:为了安全,是不是必须把门槛提到连独立开发者都要注册审核的程度?以及,既然平台在安全上这么主动,为什么在数据使用上要往相反的方向走?

白桦: 这就是未解之处:安全和自主权的平衡点在哪,没有人能给出一个让所有人满意的答案。

茉莉: 说回效率这个话题——这次不是模型效率,而是工具和数据本身的效率与真实性。ClickBench做了一个罕见但正确的举动:它移除了一个叫pgrust的参赛条目。

白桦: 原因是作弊。这个条目用的是什么手段呢?针对每一个查询手写专门的内核,再加上结果缓存。

茉莉: 拆开说:基准测试的本意是衡量数据库在通用负载下的真实性能。而pgrust的做法相当于“考试前把答案背下来了”——每一个查询都有定制的代码路径,结果还缓存了。它测出来的数字很漂亮,但那个数字不代表任何真实使用场景能获得的性能。

白桦: 这就是基准竞赛的诚信问题。ClickBench主动移除它,等于在维护整个生态的可信度。讨论里大多数人是赞成的,也有人进一步问:那其他条目里有没有更隐蔽的类似操作?怎么发现?这个问题没有好答案,因为作弊手段可以越来越精巧。

茉莉: 而作弊的反面,是真实世界里的成本数字。有一家公司做了一个决定:用AI生成的HTML仪表盘,替换掉了他们每年15万美元的Looker。

白桦: 技术方案听起来并不复杂:仪表盘部署在S3和Kubernetes上,访问控制用Snowflake的OAuth。也就是说,数据权限还是走正规的企业级渠道,只是展示层从昂贵的商业BI产品换成了AI生成的普通网页。

茉莉: 15万美元,这个数字是这条消息传播的核心。它引发了两极的反应:一边是“BI工具的溢价终于要被AI瓦解了”,另一边是谨慎派——“一个展示层的案例不能代表全部,Looker卖的往往不只是仪表盘,还有治理、协作和一整套工作流。”

白桦: 但不管站在哪边,事实是这件事已经发生了,而且方案里权限控制是用Snowflake的OAuth做的,不是糊弄的安全。这说明AI生成的方案至少在一家真实公司里通过了生产环境的考验。

茉莉: 把两条线索连起来看很有意思:ClickBench在清理“虚假的性能数字”,这家公司在用真实数字替代昂贵的工具。一个关乎基准的诚实,一个关乎成本的诚实。

白桦: 而这两种诚实背后是同一个教训:数据要经过验证才能信。我们下一个话题的两个小工具,恰好都在讲这个教训。

茉莉: 第一个是UUIDv7。这个版本号的卖点是时间有序,很多系统用它做排序和索引。但有分析指出:UUIDv7的时间戳和单调性其实都不保证。

白桦: 更具体地说,Python的实现甚至可以把时间戳无限地向前推。这意味着如果你的系统依赖UUIDv7的顺序来判断“哪个事件先发生”,你的假设是建立在沙子上的。

茉莉: 这个陷阱的隐蔽之处在于,大多数时候它确实是递增的,所以问题不会立刻暴露。等到暴露的时候,往往已经是生产环境里难以复现的排序错乱。

白桦: 这和ThinkCap那边砍思考量其实是同一种工程思维的两面:一个是主动验证“模型多想的那部分有没有用”,一个是主动检验“我们以为理所当然的性质是否真的成立”。

茉莉: 第二个工具就直白多了:一个CVE追踪器,从1999年开始,每天从官方CVE列表统计当天发布的漏洞条目数量。

白桦: 它的价值在于给漏洞增长趋势一个直观的刻度。每年大家都在说“漏洞越来越多”,但有了这个按天统计、跨越26年的曲线,这个说法就不再是一句感觉,而是一个可以指着看的数字。

茉莉: 它还有一个隐含的好处:数据直接来自官方列表,没有中间加工,所以你不用担心它像pgrust那样“美化”了什么。工具简单,但数据来源干净。

白桦: 说了这么多沉重的安全话题,我们来点轻松的。这一段全是数字产品里藏着的趣味。

茉莉: 先说一个你自己就能去试的:Apple Music有一个隐藏的彩蛋——它的404页面显示的是一个复古的iPod界面,而且点击的时候还有咔嗒的转轮声。

白桦: 这个彩蛋妙在它是给“懂的人”准备的。404页面本来是错误的尽头,苹果把它变成了一个小小的时光机。iPod的点击式转轮那种咔嗒手感,是很多人的集体记忆。

茉莉: 然后是一个更野的DIY项目。Robbie Tilton把他的电视变成了一台Game Boy Color,主屏幕是宝可梦的城市。而且是用"Opus 5.5"做出来的。

白桦: 这里有一个值得展开的点:工具变成了"Opus 5.5"这样一个名字,意味着这种“把电视变成复古游戏机”的项目,已经从需要底层编程能力的事情,变成了用AI辅助就能实现的创意表达。创意的门槛在降低,但创意本身——宝可梦城市做主屏这种点子——还是人的。

茉莉: 第三个是游戏考古:对Sonic 06的分析发现,大量当年被砍掉的功能,居然还留在游戏文件里。

白桦: 还有一个技术细节非常迷人:游戏里有编号00到07的Shader变体,而实际使用最多的那个Shader,几乎没有光照。这就解释了为什么Sonic 06的画面观感那么奇怪——不是缺技术,是最常用的那条渲染路径压根没怎么算光照。

茉莉: 被砍的功能留在代码里,这其实很常见,因为删除代码有风险,不如留着不动。但对玩家来说,这就像考古现场:一个赶工的游戏,把它的整个开发过程都封存在了发布版本里。

白桦: 从游戏考古再往前一步,就是真正的社区了。这一段我们讲几个人和他们的角落。

茉莉: 第一个是Time-Nuts,一个邮件列表,2001年创立,现在大约1800名成员,由John Ackermann在febo.com上运营。

白桦: 它的主题非常硬核:业余的精密时间和频率。也就是一群在家里折腾原子钟、GPS授时、各种频率标准的人。

茉莉: 1800人,24年,这个数字组合说明了一件事:一个足够小众但足够深的兴趣,是可以在互联网上维持一个健康社区几十年的。没有算法推荐,没有平台干预,就是一个邮件列表。这和前面那些平台收紧边界的新闻放在一起,几乎是两种互联网哲学的对照。

白桦: 从精密时间的极客,我们跳到一个特别实用的生活发现:一台47美元的空气净化器,在45分贝的噪音下输出34 CFM的风量,在小房间里除尘效果显著。

茉莉: 而45分贝恰好是白噪声的范畴。也就是说,这台机器同时是空气净化器和白噪声机——有人买它是为了睡觉时降噪顺便净化空气,一石二鸟。

白桦: 讨论里大家分享的其实是一种通用的思路:很多问题不需要专门设备,一台便宜的通用设备在参数上刚好匹配,就能同时解决两个问题。前提是你得去看参数,34 CFM、45 dB这两个数字就是全部依据。

茉莉: 然后是一个浏览工具:Swurf。它让你滑动浏览真实的网页,会学习你的兴趣,不需要注册账号。很多人第一反应是:这不就是StumbleUpon吗?

白桦: 对,StumbleUpon当年的魔力就是“给你看你自己想不到但会喜欢的东西”。Swurf看起来是在移动互联网时代复活这个想法。而且“无需账号”这个设计在今天的工具里很少见——大多数产品都在想怎么把你的数据留下来,它在想怎么少要一点。

茉莉: 最后一个,也是最重的一个。Til Schünemann公开分享了自己的经历:失去了工作,随后被诊断出自身免疫疾病,而治疗用的Cortison带来了副作用——焦躁不安和睡眠问题。

白桦: 这条消息在社区里的回响,和前面所有技术讨论都不一样。它没有任何可供争论的技术细节,它只是一个真实的、正在发生的人生困境。失业、确诊、然后发现治疗本身的副作用在折磨你——焦躁和失眠,这两样恰好会放大前面所有问题的感受。

茉莉: 我觉得它放在今天的最后是合适的。我们这一期聊了模型的边界、政府的管控、手机的漏洞、平台的收紧、基准的作弊、数据的陷阱——全是关于“什么东西不可靠”的讨论。而Til的故事提醒我们,当一个人的健康和生活的可靠性同时动摇时,那才是最需要社区的地方。就像Time-Nuts用24年证明的那样:社区的意义,本来就不只是交换信息。

白桦: 说得好。我们今天就到这里。希望大家喜欢这一期,从AI的边界到人的边界,我们下期再见。

茉莉: 再见,大家保重。