即刻App年轻人的同好社区
下载
App内打开
Alchian花生
5天前
说一下我的Huashu-mac-use在设计过程中的核心关注点和想解决的问题:
1、操控电脑中的软件完成任务,并不是为了「操控电脑」,核心在「完成任务」,所有有些软件agent可以直接通过代码更稳健操控的,我会让agent用代码操控;
2、我的假设是,用户同时需要被agent操控的这台电脑,所以在可能的情况下,尽量让agent在操控软件的时候可以在后台进行,而不占用用户屏幕;
3、如果一定要占用屏幕,可以快速获取焦点,然后再把自己移动到后台,所以你用huashu-mac-use的时候会发现很少有前台被占据的情况;
4、app的操控是需要学习的,在试错过程中可以不停进化,所以我给skill留了学习进化的机制,踩过坑之后,它会更知道某个app的技术架构如何,某类任务怎么做能更快完成操作,这些经验都会沉淀回skill,下次你的操控速度会快很多。

其实朴实无华,但我就是带着这些直觉式的我认为这个能力该具备的目标,一步步把它干出来了,欢迎体验~
github.com

Alchian花生: 我最近在X上刷到了一大堆夸赞GPT-6 Astra在computer use方面有多强,然后操控blender做出了各种3D模型的案例,说实话有点看麻了。。。 但是,我非常认可现在这个阶段,要解决白领办公问题的话,除了coding能力之外,最最重要的就是搞定电脑和浏览器操控的能力了,因为绝大多数白领任务都是在电脑上完成的,而现在很多网站、软件的开放性还不够强。 所以让agent可以操控电脑去获取更广泛的上下文信息,去帮助任务处理最后的操作环节是相当关键的,有点像是走完agent办公的最后一公里闭环。我最近半个月一直在尝试迭代让agent操控电脑的能力,现在终于到了很适合发布的契机了。

12