跳到正文
Hacker News· xyzeva·· 5 小时前精选AI 评分46

xyzeva 称现在似乎人人都用 LLM 思考

So I guess everyone uses LLMs to think now

AI 导读

作者 xyzeva 表示自己从不用 LLM 完成已发布的研究,并批评 AI 公司借网络安全漏洞做营销,认为这类工具仍需专业人员指导。他更看重亲手编码、调试和学习带来的乐趣,也不愿把 LLM 产出据为个人成果。文中以 php2shell 和 Tailscale 0day 事件批评不当披露与恐慌,并称 eMudhra 事件中的重大漏洞实际由人类借助 paranoid_crypto 扫描发现。

推荐理由

文章把不使用 LLM 的个人理由,与 php2shell、Tailscale 等安全事件对照,呈现效率主张之外的归属、乐趣与披露责任。

正文 · AI 翻译

近段时间,我经常被问到“你觉得哪个 AI 模型适合用来做这个?”,几乎每篇博客文章都会有人问这个问题。答案一直都是我的脑子;我发布过的任何研究从来都没有使用过 AI。

接下来最常问的问题就是为什么,然后还会补一句:“有 Claude Mythos,你会变得势不可挡。”这篇文章应该能解释我为什么不喜欢在研究中使用 AI,以及我对开发领域和网络安全领域中 LLM 的总体看法。

为什么我不用 AI

很简单,我做这些就是为了乐趣;把探索某样东西的乐趣全都交给 AI,而不是亲自动手,我觉得并不好玩。换句话说,我喜欢用自己的脑子。

我喜欢编程,喜欢连续几个小时盯着 DevTools、Binary Ninja 或其他任何工具;我喜欢探索古怪的库源代码,只靠 GitHub Code Search 和一腔梦想追踪其中的轨迹。这对我来说很有趣。我做这个博客上的任何事都不是为了赚钱,而是为了乐趣;赚钱只是一个令人愉快的附带结果。

但你为什么不把繁琐的部分交给 AI?

很多繁琐的部分其实仍然很有趣,当然也有一些不是;但我无法把 LLM 替我完成的事情算作自己的功劳,而且我非常不舒服于在自己的个人博客上把 LLM 替我完成的东西写成文章发布。

这个博客是我的,上面所有工作要么由我完成,要么是与其他人共同开展且已明确标注署名的研究。我不能把 LLM 替我做的事情算作自己的功劳,也无法恰当地给 LLM 记功,因为它们不是人。

使用 LLM 会让我抓狂

我真的以前试过使用 LLM,只是想体验一下。我没打算把任何东西作为研究发表,但我真的做不到;这让我从那以后再也不想使用 LLM。

我不知道为什么更多人都没有这种体验,但盯着 LLM 的输出,看着它在这个过程中一路自信地犯错,最终才到达答案,或者查看它正在运行的命令,看到它做一些非常愚蠢的事情,这些都会把我逼疯,以至于我会在它给出答案前直接将其停止。我无法忍受一个东西如此自信地犯错(尽管它最后大概仍然会得出正确答案)。

我并不否认这些模型很强大

LLM 是相当强大的机器。近来我们已经见识到了这一点,这毫无疑问;它们在营销中仍被大肆宣传得比实际更强大,但我无法说它们其实并不强大,因为它们确实强大。

LLM 仍然需要指导

如果你把一个 LLM 扔到 Linux 内核上,让它在没有任何其他指导的情况下寻找 RCE,它大概做不到。以目前的状态来看,你仍然需要技能和经验来指导 LLM。

我们一直为之恐慌的所有这些漏洞,都是由技术精湛的研究人员借助 LLM 发现的;这些研究人员很可能供职于一家大公司,让他们想用多少 token 就能用多少。因为 LLM 仍然需要指导,并非任何人都能直接做到这些事,不管 OpenAI 或 Anthropic 试图怎么告诉你。

营销与 php2shell

AI 公司已经把网络安全当作营销策略,这一点很明显。一个很好的例子就是 php2shell。共有三家公司:

  • calif(研究机构)
  • openai(你知道 openai 是谁)
  • wiz(研究机构)

三家公司都参与了这项工作,并各自发布了博客文章,而这些文章似乎采用了不同的叙事方式。

calif 采用的叙述是:AI 在一个人的指导下帮助它发现了这些 PHP 漏洞;openai 则说智能体发现了严重漏洞;wiz 则选择一个折中的说法,但仍然很像 openai。

“修补世界”

OpenAI 反复谈到他们如何帮助维护者修补这些问题,并更快、更广泛地缓解这些问题。我相信他们确实在某种程度上做了,但我认为他们并未尽到所能

如果他们愿意,完全可以在 AI 的帮助下将这些安全修复回移植到旧版 PHP。这并不是他们没有算力;他们有,而且拥有大量算力。他们是 OpenAI

在补丁发布前放出 PoC 视频

近几天,在基于 AI 的网络安全领域,这一直是个常见趋势:研究人员和各类公司会出于某种原因,在 Twitter 上发布尚未修补的 0day 的 PoC 视频

这显然就是营销,而且在安全方面只会让一切变得更糟。这些 PoC 视频包含相当多的有用信息,无论你如何隐藏(实际上很多视频并没有隐藏多少),它们除了制造恐慌什么也没做

哈希值也是其中一部分。一直以来,哈希值都是在漏洞或一般性成果公开之前,用来主张自己已掌握相关证明的方式,而不是制造恐慌的手段。你不应该把产品名称放在哈希值旁边;哈希值根本不是为这种情况存在的。

但现在很多公司以及一般人随手就发布这些哈希值,结果毫无理由地引发恐慌。至少有了 PoC 视频,你知道漏洞是什么;只有一个哈希值和产品名称,你甚至不知道漏洞是什么,只知道存在某个漏洞

Tailworm

这件事不算大新闻,但仍然相当轰动。在 Bluesky 上,一名“安全研究员”声称在 Tailscale 中发现了一个 0day。他的做法是发布一个哈希值,并配上“Tailscale 权限提升”的说明文字

"Erica Windisch" skeeting "tailscale privilege escalation" followed by a hash

显然,这让大家非常、非常担心。“Tailscale 权限提升”可能意味着什么?有人能绕过所有 ACL 规则吗?可能会发生什么?

别担心!因为我们通过一条 Bluesky 帖子串慢慢获得了有关该漏洞的信息

"Erica Windisch" skeeting mentioning first that it doesn't impact all tailnet devices, that an attacker must be on the tailnet, and systems affected must be in a "non-default but widely deployed and supported configuration." and that "Impact includes systems using headscale." followed by another skeet with the CLI command to turn off Tailscale SSH

那么,这么做的意义是什么?你几乎没提供任何信息,一小时后又发布了一些更隐晦的信息,再一小时后就直接泄露了漏洞所在的位置?

我原以为这里存在某种负责任的披露,所以哈希值才会被发到 Twitter 上,等等。

你能相信这甚至都没有经过负责任的披露吗?

第二天,这个人所拥有的(单人)公司把这个网站发布到了 Bluesky 上:

the tailworm website, just a vibecoded website with a catchy domain (tailworm.com) with a bunch of ai generated text on it

一个完整的网站,显然是用氛围编程写出来的,里面有他们的所有发现,其中很多完全无关紧要,或者根本不属于关键问题。虽然“权限提升”确实是真的,但它要求你必须已经拥有访问某台机器的 ACL 规则,并且为该机器启用了 Tailscale SSH

该漏洞仅仅是:你可以在这台特定机器上将权限提升到 root。仅此而已。这就是被如此大做文章、制造恐慌的内容,随后他们第二天就公开发布了它,甚至没有联系 Tailscale 让他们修补漏洞

它还被冠以了一个华丽的名字,甚至还有一句宣传口号。但没有人想到要负责任地披露它,反而直接把它发布在社交媒体平台上

发生这件事的原因相当明确:目的是宣传公司,而不是帮助让世界变得更好。目的是让所有人关注这个曝光了 Tailscale 严重问题的公司,也许还会找他们做审计

并不是所有这些漏洞都是 AI 发现的

在我看来,其中影响最大的就是 eMudhra。你知道,就是那家公司把自己的 CA 私钥变成了数字 4。这不是由 AI 发现的,而只是一个人出于好玩和好奇,使用 Google 开发的名为 paranoid_crypto 的老旧库扫描密钥时发现的

在我看来,这正是它最妙的地方:所有这些 AI 都漏掉了其中影响最大的这一点,反而只是一个随手瞎折腾的人发现的

结论

我认为,在这一波 AI 浪潮中,人们实在迷失得太深了,以至于大大忽视了自己亲手做事。亲自写代码、亲自调试、花上几个小时盯着压缩过的 JS bundle、逐个尝试那些看起来很有趣的子域名,依然极其有趣!我觉得人们已经有点忘了这一点

虽然 AI“可以直接把事情做完”,但自己动手做仍然很有趣。我完全理解把 AI 用于工作,因为我们生活在一个软件工程师被要求比以往任何时候都更快行动的世界里。在我看来,这不是一个好先例,但这就是我们不得不接受的现实

个人项目才是你可以享受乐趣、做自己喜欢之事的地方。我觉得把这些项目交给 AI,哪怕只是如此,也会毁掉你创造东西的乐趣

至少对我来说,抵达目标的过程比最终产物更有趣。因为我喜欢在过程中学习,也喜欢在一个毫无进展的简单问题上死磕

我会动手折腾很多东西,也会找到很多东西。但其中几乎没有什么会写进这个博客,只是因为我感觉每发一篇博客文章,都得超越自己;我不断挑战自己,要找到既更有趣、同时又更关键的东西。这让我学到的内容,比我原本已经知道的多得多

写代码本身很有趣,而如果让 AI 替你写,即便你已经给了它一份关于怎么写的计划,你也会错过如此多的学习机会,因为根本不存在完美的基础设施计划;事情会在你推进的过程中不断变化,而你正沉浸于编写代码的状态之中

去逆向工程那台老旧 IoT 设备吧,去中间人劫持那台看起来很古怪、需要联网且使用数字 4 的中国自动喂食器吧,为你常用且前端糟糕得不了的网站做个新前端。摆弄这些能让你学到很多

附:下一篇博文很快就会到来™

来源:Hacker News · eva.ac