当谈及人类的注意力时,如果将其与AI的注意力机制进行对比,我们通常只关注人类注意力的能力和效果,却忽略了其使用成本。
实际上,一个人在一天之内的注意力总资源似乎是有限的。我们可以在一段时间内集中注意力,但时间过长,注意力就会开始分散,无法集中。
这似乎意味着人类的注意力依赖于某种资源,这种资源会随着使用而逐渐消耗,只有通过休息和睡眠才能逐渐恢复。但是,这种资源与普通的体力或能量还不太一样。有时候,即使人还具有相当多的力气,也不饿,大脑血糖浓度可能也还充足,但依然存在注意力资源被耗尽的情况。
如果不仅仅是能量问题,对应于机器学习来说,不仅仅是算力问题。那么,人类注意力消耗背后所对应的那个资源,对于机器去模拟来说,大概率是某种空间的存储。这似乎意味着在机器的注意力机制中,采用某种以牺牲空间来提升推理效率或推理效果精度的方法,与人类也是类似的。