即刻App年轻人的同好社区
下载
App内打开
隐身的阿翔
118关注208被关注0夸夸
无业游民,资深韭菜,前字节7年码农。新加坡工作过一段时间,坡漂失败家。
略懂rocksdb,thrift。
置顶
隐身的阿翔
7月前
官方认证徽章get~
100
隐身的阿翔
5天前
最近TurboQuant带崩了DRAM/NAND概念股,自己的一点想法。
1. 很多自媒体都在说TurboQuant节省了显存,但其实TurboQuant只能用于inference,显存大小根本不是bottleneck。inference的核心bottleneck在于显存带宽,TurboQuant也优化了带宽(所有的Quant技术都会优化显存大小和带宽),所以TurboQuant加速了inference.
在用户的问题数量保持不变的情况下,inference快了,需要的显卡就少了。
但是历史的经验告诉我们,server侧latency优化之后,client侧的QPS立马就会增加😂最终会不会对采购量有影响,未可知。
2. 量化压缩float是个非常常见的思路,之前已经有不少前人做过探索,turboQuant故意把baseline拉低,无耻😅
00
隐身的阿翔
7天前
今天应该补黄金的,犹豫了
00
隐身的阿翔
9天前
今天来大足石刻玩,整个旅游团只有我一个中国人😂重庆的国际化可以啊
00
隐身的阿翔
11天前
豆包rsu涨了这么多,果然世界上最好的理财产品都是不公开发售的
00
隐身的阿翔
17天前
最近每天晚上都在emo,23年底我想从字节离职,当时我的+1已经通过了我离职申请,hr再通过我就进入交接了...然后我的+2突然叫我过去聊聊,挽留了我,于是我就留下来了。
如果当时离职了,现在不吹牛的说,年薪已经八位数,而且起码是2开头😢
21
隐身的阿翔
25天前
哇艹了
00
隐身的阿翔
1月前
再做空恒科我就是🐶
30
隐身的阿翔
2月前
美团我跑了,拜拜👋🏻
00
隐身的阿翔
2月前
严重踏空智谱😭😭😭
00
隐身的阿翔
2月前
去年见到很多明星,以下为纯偶遇不是有意去看的:
先是和古力娜扎,欧阳娜娜坐同一班飞机,我老婆鼓起勇气去合影,被拒绝。
在卢浮宫附近闲逛,看到人很多,过去凑热闹,得知是lv走秀,看到了lisa,钟楚曦,欧阳娜娜,felix。
在航站楼偶遇董洁。
不过我对她们没太大感觉,真正重要的是在张呈家门口偶遇了张呈!社恐的我还成功合影!
01:57
00