说一下我的Huashu-mac-use在设计过程中的核心关注点和想解决的问题:
1、操控电脑中的软件完成任务,并不是为了「操控电脑」,核心在「完成任务」,所有有些软件agent可以直接通过代码更稳健操控的,我会让agent用代码操控;
2、我的假设是,用户同时需要被agent操控的这台电脑,所以在可能的情况下,尽量让agent在操控软件的时候可以在后台进行,而不占用用户屏幕;
3、如果一定要占用屏幕,可以快速获取焦点,然后再把自己移动到后台,所以你用huashu-mac-use的时候会发现很少有前台被占据的情况;
4、app的操控是需要学习的,在试错过程中可以不停进化,所以我给skill留了学习进化的机制,踩过坑之后,它会更知道某个app的技术架构如何,某类任务怎么做能更快完成操作,这些经验都会沉淀回skill,下次你的操控速度会快很多。
其实朴实无华,但我就是带着这些直觉式的我认为这个能力该具备的目标,一步步把它干出来了,欢迎体验~
github.com