即刻App年轻人的同好社区
下载
- 0 合成数据为什么能让模型学习到新的东西？
- 0.1 麦克斯韦妖是一只把信息转化为能量的妖精：他把速度慢的粒子挡在门外，速度快的粒子放进门内，在门两侧造出温差，用以做功。
- 0.2 面对合成数据，人类标注者挑出满足特定要求的数据放入训练集，剔除不满的数据，在参数空间中造出某种「loss差」，用以梯度下降。
- 1 Agent 工程的很多相关概念也可以作为理解人的metaphor。
- 1.1 比如我是一个不擅长rag，但擅长在confined context中进行summarization 和 reasoning的agent。
- 1.2 如果一个对话需要引用到大量的外部知识，或者需要refer to很久之前的聊天记录，我可能会无法生成高质量回答，甚至会hallucinate。但如果对方可以提供充分的信息，我非常擅于从大量具体信息中找到重点，发现问题，或做出复杂推理。
- 1.3 所以我其实不擅长演讲（因为需要从自己的知识储备中 rag），但擅长在互动中，对好的prompt进行回复。
- 1.4 对我来说一个好的Assistant 大概是优先弥补我的rag短板。
- 2 AI时代会出现更多的一人公司，但这些一人公司取代的应当是现在的小微企业，而非大公司。
- 2.1 组织的边界存在于这样一个位置，边界内的信息流通成本大大低于跨边界的信息流通成本。
- 2.2 一个大的组织的边界内部可以有：私有的高质量数据，彼此的信任，利益和价值的一致性，更垂的大模型，有更多维护开发资源的agent。
- 3 人类在100万年前发现了火，但直到第一次工业革命才找到了火的杠杆最高的使用方式：使用火产生scalable，steerable的能量。LLM也许是一个使用「信息」产生scalable，steerable能量的方式，一个通用场景的麦克斯韦妖。
- 0.1 麦克斯韦妖是一只把信息转化为能量的妖精：他把速度慢的粒子挡在门外，速度快的粒子放进门内，在门两侧造出温差，用以做功。
- 0.2 面对合成数据，人类标注者挑出满足特定要求的数据放入训练集，剔除不满的数据，在参数空间中造出某种「loss差」，用以梯度下降。
- 1 Agent 工程的很多相关概念也可以作为理解人的metaphor。
- 1.1 比如我是一个不擅长rag，但擅长在confined context中进行summarization 和 reasoning的agent。
- 1.2 如果一个对话需要引用到大量的外部知识，或者需要refer to很久之前的聊天记录，我可能会无法生成高质量回答，甚至会hallucinate。但如果对方可以提供充分的信息，我非常擅于从大量具体信息中找到重点，发现问题，或做出复杂推理。
- 1.3 所以我其实不擅长演讲（因为需要从自己的知识储备中 rag），但擅长在互动中，对好的prompt进行回复。
- 1.4 对我来说一个好的Assistant 大概是优先弥补我的rag短板。
- 2 AI时代会出现更多的一人公司，但这些一人公司取代的应当是现在的小微企业，而非大公司。
- 2.1 组织的边界存在于这样一个位置，边界内的信息流通成本大大低于跨边界的信息流通成本。
- 2.2 一个大的组织的边界内部可以有：私有的高质量数据，彼此的信任，利益和价值的一致性，更垂的大模型，有更多维护开发资源的agent。
- 3 人类在100万年前发现了火，但直到第一次工业革命才找到了火的杠杆最高的使用方式：使用火产生scalable，steerable的能量。LLM也许是一个使用「信息」产生scalable，steerable能量的方式，一个通用场景的麦克斯韦妖。
3 00
