看了一篇a16z访谈protege(这家公司也值得关注,又一个搞数据!)的播客内容,是讨论医疗benchmark的。内容有点意思。
大概是看完我才理解,在医疗场景里,可能根本不存在一个清晰、唯一的 Ground Truth。病历只记录医生当时做了什么,不代表那就是唯一正确答案。病人最后到底有没有变得更健康,又要很久以后才能知道,而且也很难归因。
不过,我其实更想蛐蛐的是这个标题本身,救命,我第一反应,oracle也去搞医疗AI了。。。本英语盲此刻才知道, oracle本来就是个单词:神谕的意思。到了计算机和软件测试领域,指那个负责告诉你“正确答案是什么”的机制。所谓 Oracle Problem,就是当你连正确答案都无法确定时,也就没有办法判断一个系统到底做对了没有。
所以这篇文章的标题,翻成人话是:医疗 AI 的正确答案,到底从哪里来。orz