极客BIM设计工坊公众号文章

Grok Bot 在自己的云电脑里运行 Omarchy,AI 代理开始直接操作桌面

Grok Bot 把桌面操作带进插件视觉检查

极客BIM设计工坊

公众号 · 467 篇文章

一台云端电脑里,Grok Bot 打开了 Omarchy。窗口被重新排列,桌面主题发生变化,右上角的 Markets 面板也被调出来。

对软件开发者来说,代理开始拥有一个可以反复进入、操作和检查的桌面现场。

图片

图注:Omarchy 官方横向视觉,展示其“面向代理时代的 Linux”定位;它作为文章封面,不承担视频操作证据。

01

代理拿到了一台真正的电脑。

DHH 转发的短帖只有一句话:Grok Bot 正在自己的电脑里运行 Omarchy。视频画面中,Bot 进入一套 Linux 桌面。它改变窗口布局,切换桌面视觉,再打开一个应用面板。

这和在聊天框里生成一段代码的工作位置不同。代码仍然可以由模型写出。插件能否打开、界面是否错位、主题切换后是否遮挡内容,都要回到实际桌面里检查。

视频把“写东西”和“看它在电脑上怎么运行”放进了同一条链路。

图片

图注:引用帖视频片段显示 Omarchy 桌面中的窗口布局与界面变化;视频为无音轨的纯视觉演示。

02

视觉检查落到一组桌面动作。

Tom Ballard 在引用帖中列出了用途:让 Bot 打开面板、尝试不同主题、检查布局,并把屏幕上实际发生的结果展示出来。

他把这件事称为给插件增加“另一双眼睛”,并提到云端环境还需要继续调整。

截图里的窗口状态说明了这类检查为什么需要桌面。画面左侧是一个大窗口,右侧被分成多个终端区域。

Omarchy 的平铺布局把工作空间切成了不同尺寸的面板。检查对象包括窗口是否被正确分配、终端是否仍然可见,以及主题变化有没有破坏原有层级。

图片

图注:视频关键帧中的 Omarchy 桌面被切成多个终端窗口,左侧大窗口与右侧小窗口同时可见。

随后出现的 Omarchy Markets 面板也提供了一个更细的检查对象。面板列出 Markets、Magnificent 7、Crypto、Meme Coins、AI & Semiconductors 和 UK Markets 等视图。

每项视图旁边都有 Choose 按钮。Bot 需要处理的事情因此变成了可观察的界面动作:找到入口、打开面板、确认列表出现,再把结果交还给人。

图片

图注:视频关键帧显示 Omarchy Markets 面板,右侧列出多个市场视图及 Choose 按钮。

Grok Bot 官方资料把每个 Bot 放在一台持久化云电脑上,电脑带有浏览器、文件系统和终端。不同 Bot 共享同一用户电脑里的文件、浏览器会话和登录状态。

权限与审批因此成为实际工作流的一部分。

03

桌面成为插件交付链里的检查层。

Omarchy 在这里提供一套有固定布局、主题和可安装插件的桌面环境。Grok Bot 进入这套环境,执行一连串视觉动作,把屏幕状态带回来。

两者接在一起后,插件开发者可以把“界面有没有按预期工作”交给一台持续存在的电脑反复处理。

这条链路仍然有清楚的边界。云端机器需要配置,账号和文件共享需要权限控制。

视觉检查发现问题后,仍要有人判断它是不是产品缺陷。视频展示的是桌面操作进入代理工作流的现场片段,完整的插件测试、错误复现和修复闭环还需要更多工程安排。

来源:DHH 社区帖子及其引用帖;Grok Bot 官方产品页与文档;Omarchy 官方网站。视频画面来自引用帖,关键帧按原始视频时间点截取。

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →