即刻App年轻人的同好社区
下载
App内打开
爱吃酸奶的兔子
330关注124被关注0夸夸
小镇做题家
大厂祛魅者
自我探索员
求真务实派
爱吃酸奶的兔子
18天前
做个小调研,不细究,第一反应,你觉得咖啡和奶茶哪个更健康?
00
爱吃酸奶的兔子
2月前
看到一个趋势,很多作者会在书籍上留下一个二维码,进而引流到私域,进而二次变现。
00
爱吃酸奶的兔子
2月前
OpenAI 的创始人居然有马斯克,AK 原来也是创始人
10
爱吃酸奶的兔子
3月前
00
爱吃酸奶的兔子
3月前
荒野大镖客里面应该有很多地图灵感应该来自于优胜美地公园,图中这个游戏里面有个地方非常像,我还在那里打过鸟
00
爱吃酸奶的兔子
3月前
没想到莫奈的睡莲这么大,图为巴黎的橘园美术馆展示的真实睡莲画作
00
爱吃酸奶的兔子
4月前
终于搞明白 temperture top p 这两个参数是什么,为什么有这两个参数以及他们对模型输出的影响。当前主流的大模型在选择接下来输出哪一个词的时候是采用的概率采样策略,而不是贪心策略(始终选择概率最大的那一个,该策略缺点是缺乏主观能动性,每次都是一样的),temperture 调节的是概率分布的形状(作为 softmax 函数的一个参数),top p 其实就是累计概率,top p = 0.8 ,意思就是如果词向量的概率累计超过 0.8 就截断了,从而避免长尾拉低输出质量。当然通过概率采样策略也能够实现贪心策略,把 temperture 调节成 0 或者把 top p 调节成 0 都可(实际不会为 0 ,只是无限接近于 0 )。 总结一下完整流程,大模型算出原始 Logits Temperature 调整 完整的概率分布 Top-P 筛选 最终候选圈 随机采样。
00
爱吃酸奶的兔子
4月前
终于搞明白 temperture top p 这两个参数是什么,为什么有这两个参数以及他们对模型输出的影响。当前主流的大模型在选择接下来输出哪一个词的时候是采用的概率采样策略,而不是贪心策略(始终选择概率最大的那一个,该策略缺点是缺乏主观能动性,每次都是一样的),temperture 调节的是概率分布的形状(作为 softmax 函数的一个参数),top p 其实就是累计概率,top p = 0.8 ,意思就是如果词向量的概率累计超过 0.8 就截断了,从而避免长尾拉低输出质量。当然通过概率采样策略也能够实现贪心策略,把 temperture 调节成 0 或者把 top p 调节成 0 都可(实际不会为 0 ,只是无限接近于 0 )。 总结一下完整流程,大模型算出原始 Logits Temperature 调整 完整的概率分布 Top-P 筛选 最终候选圈 随机采样。
00
爱吃酸奶的兔子
4月前
SQL+Excel+Thinkcell 三件套人人会,同质化卷到飞起,最后比拼的还是谁能写老板爱听的“金句”。 这句话很生动,好多人干的就是这个活,写金句
00
爱吃酸奶的兔子
4月前
Cursor 单会话超过 LLM Context 上限后会自动压缩 Context,然后把摘要带入新的 LLM对话。我理解和 Claude Code 的压缩是一个道理
00