即刻App年轻人的同好社区
下载
App内打开
tancy
56关注16被关注0夸夸
九零后老人,非典型天蝎
文艺的理科生,活泼的技术宅
插科打诨抖机灵,琴棋书画皆不行
📷Sony α7m3
tancy
10天前
前天的拉德文斯基,昨天的张雪峰老师,都不断证明了所有人在生死面前一律平等,你认知再高条件再好,意外就可能在一瞬间让你人生全部归零,也就是说,你奋斗终生的事业、财富、名望,也许会让你人生呈指数级上升,但终归是后面的0,而健康才是前面的1,没了这个第一位,后面0再多也毫无意义
不妨换个思路,现在这个时代,拼和卷可能已经意义不大,再多核你拼不过H200,再全能你比不过工作流,再博学你学不过大模型,再能跑你飙不过机器狗
所以目前的红利可能只有一个:身体健康。卷不过打不过的,就让他们去做生产资料,自己转为安全资产,用充足睡眠、健康饮食、保持锻炼来降维打击那些信息过载、压力过大、工作过量的,活得久,才是对这个时代最顶级的投资和收割
不但不卷,还要苟,苟住自己的“长寿逃逸速度”,苟到下一个红利的到来,大胆预测是医疗健康方向,科技爆炸极大可能带来健康和寿命红利,癌症等一些不治之症攻克可能真的不远了,但只留给那些能活到并能接得住的人
总之,不要为了赚取这个时代的“通货”(金钱、名望),而赔掉了下个时代的“船票”(健康、永生)
00
tancy
16天前
手慢无…
00
tancy
19天前
满船清梦压星河➡️满船花事枕清波
00
tancy
2月前
🤔
00:19
00
tancy
4月前
00
tancy
11月前
古今同框入夜四宫格
00
tancy
1年前
DeepSeek公司开源了一个名为DeepEP 的通信工具库,专门解决“混合专家模型(MoE)”在训练和推理时的效率问题。136

1.什么是MoE模型?
MoE(Mixture of Experts)是一种“分而治之”的AI模型设计:
模型内部有多个“专家”子网络,每个专家负责处理不同任务或数据部分。
优点:既能拥有超大规模参数量(比如万亿级),又不需要每次计算都用全部参数,因此速度比传统大模型更快 8。
缺点:专家之间的协作需要频繁通信,传统方法通信效率低,容易成为瓶颈。
2.为什么需要DeepEP?
MoE模型的效率瓶颈在于专家之间的通信
问题1 :传统通信方式(比如数据传输)速度慢,拖累训练和推理速度。
问题2 :通信数据量大,尤其是大模型需要高带宽支持,硬件成本高。
DeepEP的解决方案
高效通信 :优化了“全对全通信”(类似团队成员快速同步信息),减少等待时间13。
低精度计算 :用更少的比特(如FP8)传输数据,降低带宽需求,类似用“压缩包”传输数据45。
硬件适配 :支持NVLink(GPU内部高速通道)和RDMA(网络直接读写内存),减少通信延迟6。

3.对AI领域的影响
训练更快 :开发者能更高效地训练超大规模MoE模型,节省时间和电费。
推理成本降低 :低精度通信让模型运行时占用更少资源,适合部署到手机、边缘设备等场景9。
开源推动创新 :其他团队可基于DeepEP改进技术,加速MoE模型的普及6。

举个栗子:
假设MoE模型是100位专家组成的“智囊团”,传统方法需要每位专家逐一发言,耗时耗力。DeepEP就像给智囊团装了高速对讲机(高效通信)和速记本(低精度压缩),让专家们瞬间同步关键信息,决策速度翻倍!

总结 :DeepEP通过优化通信效率,解决了MoE模型的“卡脖子”问题,让超大规模AI模型更实用、更便宜,可能推动下一代AI技术的快速发展。
00
tancy
2年前
大批量用户已经放弃了吧,黄花菜都凉了,孩子没了奶来了…

Linmi: Notion 终于要在八月份支持简体和繁体中文了😂

00
tancy
2年前
00
tancy
2年前
八天过得很快吧,不要急,马上你就会知道七天过得有多慢
00