即刻App年轻人的同好社区
下载
0 00
关于“大语言模型无法正确比较9.8和9.11大小”这个问题，
实际上是缺少上下文导致的。
在人类的认知里你直接问一个人哪个大，实际上有一个潜在的信息：这是两个小数。对于有小学以上学历的人结果肯定是9.8大的。
但大语言模型不一样，他的数据集里会有版本号比较这种数据，你直接问他这两个哪个大，并没有给他“这两个是数字”的信息，他可能认为这个是版本号。或者说现阶段的大语言模型并没有自己推测出这个比较是数字之间的，那么给出错误答案是合理的。
如果你带了上下文，告诉他是数字间的比较还是版本号之间的比较。很容易就能拿到正确的结果。
实际上是缺少上下文导致的。
在人类的认知里你直接问一个人哪个大，实际上有一个潜在的信息：这是两个小数。对于有小学以上学历的人结果肯定是9.8大的。
但大语言模型不一样，他的数据集里会有版本号比较这种数据，你直接问他这两个哪个大，并没有给他“这两个是数字”的信息，他可能认为这个是版本号。或者说现阶段的大语言模型并没有自己推测出这个比较是数字之间的，那么给出错误答案是合理的。
如果你带了上下文，告诉他是数字间的比较还是版本号之间的比较。很容易就能拿到正确的结果。
1 00
0 00
解决了一个痛点
有自建git服务，但经常需要配置git proxy来访问GitHub。
开着代理又没法处理本地仓库的推送，不开代理又没法克隆GitHub。
由此衍生出了gitc这个工具，用于包装git，在执行命令之前设置git代理，执行命令后取消代理。
现在有golang和python两种实现
github.com
有自建git服务，但经常需要配置git proxy来访问GitHub。
开着代理又没法处理本地仓库的推送，不开代理又没法克隆GitHub。
由此衍生出了gitc这个工具，用于包装git，在执行命令之前设置git代理，执行命令后取消代理。
现在有golang和python两种实现
github.com
https://github.com/leowzz/git_proxy
2 01
@我的Notion #llm
歸藏: 月之暗面居然发论文了，刚刷微博才发现。 介绍了他们的 LLM 推理服务架构。Mooncake的创新架构使得Kimi能够处理更多请求，同时保证服务质量。 Mooncake的核心思想是将LLM推理过程中的prefill(预填充)和decoding(解码)阶段分离,并以KVCache(键值缓存)为中心进行优化。 它充分利用GPU集群中的CPU、内存和SSD资源来实现一个分布式的KVCache系统,从而提高资源利用率和推理效率。 Mooncake还采用了一系列创新策略来应对长上下文和系统过载等挑战,显著提升了LLM服务的性能和吞吐量。 项目地址：https://github.com/kvcache-ai/Mooncake
0 00
