即刻App年轻人的同好社区
下载
App内打开
低调10M
671关注1k被关注11夸夸
🅙 产品工程师|社交|AI
🅹 CityU EE
南湖大道|九龍塘|深南大道
小红书在Yellow Page
低调10M
1天前
一本中国高中英语课本,放在美国大桥边的一棵树下,再被全中国游客接力拍照,这怎么能不算地球村呢。
00
低调10M
2天前
上一次来的时候,emoji还没有雾🌁
42
低调10M
2天前
旧金山接机阿姨是个华人,聊了两句就问我是不是腾讯的,她说一般在SFO机场接到的中国年轻旅客,往南走的就是抖音的,往北走的是腾讯的,抖音往南,圣何塞在南边,腾讯往北,去市区玩。

阿姨给我看她用Muse的showcase,主要是清理邮箱,预约餐厅,她说对绑银行卡还是有抵触。

阿姨的女儿在伯克利读经济,最近要毕业了找不到工作,很焦虑,问我有没有办法。
20
低调10M
3天前
得来宝岛转个机
40
低调10M
3天前
出发前忍不住看了一眼节前上的实验😌
00
低调10M
10天前
主体性 or 无差别放大ego的特权?
00
低调10M
12天前
summer camp可以是所有在生命中给我们带来过快乐和成长的经历,尤其是那些无法被复制的情感还有思想的懵懂。
00
低调10M
13天前
00337788
60
低调10M
19天前
最近在和团队高频讨论Evals评定指标的问题,突然想到之前读过的一个故事,分享给大家:

苏联有一家钉子厂,政府按「吨」考核产量,厂长很快想明白了:做又大又重的钉子,一吨的指标轻松完成。于是仓库堆满了没人要的巨型钉子。

政府发现不对,改成按「数量」考核。厂长又想明白了:做又小又轻的钉子,数量蹭蹭涨。这回生产出来的钉子小到根本没法用。指标换了两次,但钉子始终没人要,厂长也很努力,只是每个指标一旦成为目标,就自动长出一个「应试方案」。

这个规律有个名字,叫古德哈特定律,意思是当一个指标成为目标,它就不再是个好指标。

1975 年英国经济学家古德哈特提出它时讲的是货币政策,放在Evals上其实一样成立,一套evals一旦被考核,就会被优化出形状。

也分享一下我们定evals和指标的几个维度:
1. 是用户能感知的结果
2. 不能只考模型会做的题目
3. 平均分之外要有hard fail
4. bad case要有处理环节和出口
5. 上线gate里的鲁棒和红队测试五五开
10
低调10M
21天前
希望10年后的自己能听到

给38岁自己的一封信

锋言锋语

00