在这个信息洪流时代，大家都有什么方法做减法，让自己聚焦于某一特定领域而不过分发散？

比如定期取关一些公众号/大V等。

moan vs groan

The difference is more in the source than the sound.
moan: either pleasure or pain
groan: pain

#有什么区别

push vs shove

shove = push roughly

#有什么区别

Claude 3 haiku 比 gpt 3.5 turbo 便宜那么多的一个可能原因：他们发现 Claude 更容易“絮嘴”。

全是陌生人的微信群里，大家平时一句话没有，一大早上就“早”、“早上好”……

看不懂。

最近真是电影荒漠期。

今天聚餐玩了个游戏，大家预先写一个自己最有趣的事情到纸上给HR，然后HR随机抽一张念一下，让大家猜是谁写的。

有一次，念了A写的内容之后，B很快就猜出来是A。后来B说，TA之前听A说起过这个事，可能已经比较久远了。

这让我想起来最近llm的一个评测，叫Needle in a haystack ，中文一般叫大海捞针。是不是很一致？不由感叹人类的大海捞针能力是真强。

不过，这东西在此之前是叫attention 吧😂，只不过是超长序列的attention 。

很有意思的一个讨论，大多数人都认为是token的问题，然而根据我的测试显示不是这样，他们能够搞清楚蜡烛的长度，但是搞错了蜡烛长度和被吹灭顺序的关系。

Google 播客即将于今年（2024）7 月关闭，目前有些人已经可以在 podcasts.google.com 上导出 opml 文件或者迁移到 YT music，但是很多人的页面上都没有这个选项。

此时你可以通过 Google Takeout 来导出：

1. 访问 takeout.google.com。
2. 选择 Google Podcasts。此时默认格式应该是 OPML，如果不是的话切换到 OPML。
3. 点击 Create Export。文件一般很小，本质上是一个 XML 文件，很快就可以导出了，几分钟后刷新一下页面，就不用去邮箱下载了。
4. 将得到 OPML 文件导入到你喜欢的 app 里。
5. Listen。

如果你不喜欢reddit的最新版界面，那么可以使用这个chrome插件回退到旧版。

简单看了下最近又一个强大的 LLM：DBRX，databricks 出品，之前他们出了 dolly 系列模型，当时声称是世界上第一个 Truly Open Instruction-Tuned LLM，说到做到，公开数据集，公开代码，公开模型。

ok 说回 DBRX：

1. 这次放出了两个版本：base 和 instruct。
2. MoE 结构，参数量 132 B，4×33B，16个 fine-grained 专家模型，4个激活，Mixtral 和 Grok-1则是8/2。
3. 超越 gpt3.5，competitive with Gemini 1.0 pro。
4. 由于 fine-grained 专家模型（更多更小），推理速度比 LLaMA2-70B 快 2 倍，在总参数和活跃参数计数方面大约是 Grok-1 的 40%。
5. 具体结构方面，RoPE + gated linear units (GLU) + grouped query attention (GQA) + GPT4 tokenizer(tiktoken)。
6. 使用3072 NVIDIA H100s 进行训练。
7. 整个流程（预训练、后训练、评估、红队测试和改进）持续了3个月。
8. 在 hf 上获取 base 权重需要人工审核，而且似乎很多人都还没通过。而 instruct 则是自动通过的。
9. 附图是与其他开源闭源模型在各种数据集上的评测对比。

www.databricks.com