即刻App年轻人的同好社区
下载
Panza：一个在本地训练和运行的个性化邮件助手
github.com
Panza是一个根据用户写作风格和历史邮件定制的自动化邮件助手。它的主要特点包括：
- 需要一组用户发送过的邮件，一个开源大语言模型（LLM），以及一些强大的硬件（如GPU）
- 生成一个与用户写作风格匹配的微调LLM，并结合检索增强生成（RAG）组件，帮助生成相关邮件
- 完全在本地训练和运行，目前需要一个至少24GB内存的GPU，未来计划发布仅CPU版本
- 训练和执行速度快，对于约1000封邮件的数据集，训练Panza不到1小时，生成新邮件最多几秒钟
工作原理
🚀 步骤1：数据回放
- 从邮件客户端下载用户过去的邮件（.mbox格式）
- 使用预训练LLM以指令形式总结邮件，创建由（合成指令，真实电子邮件）对组成的训练集
- LLM仅接收指令，并将“真实”电子邮件作为训练目标生成
- 这种方法对于LLM“学习”用户的写作风格非常有用
🚀 步骤2：通过Robust Adaptation（RoSA）进行本地微调
- 使用参数高效的微调在本地训练LLM
- 发现RoSA方法（结合低秩LoRA和稀疏微调）效果最佳
- 适度的进一步训练可以在匹配作者风格和避免记住过去邮件中无关细节之间取得平衡
🚀 步骤3：通过RAG进行服务
- 将定制的用户模型与检索增强生成（RAG）模块一起在本地运行
- 将过去的电子邮件存储在数据库中，为每个新查询提供一些相关的电子邮件作为上下文
- 允许Panza更好地插入特定细节，如作者的联系信息
github.com
Panza是一个根据用户写作风格和历史邮件定制的自动化邮件助手。它的主要特点包括：
- 需要一组用户发送过的邮件，一个开源大语言模型（LLM），以及一些强大的硬件（如GPU）
- 生成一个与用户写作风格匹配的微调LLM，并结合检索增强生成（RAG）组件，帮助生成相关邮件
- 完全在本地训练和运行，目前需要一个至少24GB内存的GPU，未来计划发布仅CPU版本
- 训练和执行速度快，对于约1000封邮件的数据集，训练Panza不到1小时，生成新邮件最多几秒钟
工作原理
🚀 步骤1：数据回放
- 从邮件客户端下载用户过去的邮件（.mbox格式）
- 使用预训练LLM以指令形式总结邮件，创建由（合成指令，真实电子邮件）对组成的训练集
- LLM仅接收指令，并将“真实”电子邮件作为训练目标生成
- 这种方法对于LLM“学习”用户的写作风格非常有用
🚀 步骤2：通过Robust Adaptation（RoSA）进行本地微调
- 使用参数高效的微调在本地训练LLM
- 发现RoSA方法（结合低秩LoRA和稀疏微调）效果最佳
- 适度的进一步训练可以在匹配作者风格和避免记住过去邮件中无关细节之间取得平衡
🚀 步骤3：通过RAG进行服务
- 将定制的用户模型与检索增强生成（RAG）模块一起在本地运行
- 将过去的电子邮件存储在数据库中，为每个新查询提供一些相关的电子邮件作为上下文
- 允许Panza更好地插入特定细节，如作者的联系信息
0 01
智能画本让你3分钟变故事大王！
✨只需一句话，就能为宝贝定制专属的图文故事视频！
👶✨在百度文库APP，一键创作，轻松编辑，三种画风任你挑：卡通、水彩、填色，每天三次机会，让想象力飞起来！
🎬试了试，小恐龙冒险故事跃然“屏”上！虽有些小瑕疵，但调整图片就像玩拼图一样简单！
🧩几分钟尝试后，一个生动的睡前故事就诞生了！
🎬配音部分还有提升空间，但官方透露即将升级，期待值拉满！
🗣️对于家长来说，这不只是讲故事的新方式，更是亲子时光的魔法工具！
立即体验，让故事动起来！👉 wenku.baidu.com
公众号文章：
mp.weixin.qq.com
✨只需一句话，就能为宝贝定制专属的图文故事视频！
👶✨在百度文库APP，一键创作，轻松编辑，三种画风任你挑：卡通、水彩、填色，每天三次机会，让想象力飞起来！
🎬试了试，小恐龙冒险故事跃然“屏”上！虽有些小瑕疵，但调整图片就像玩拼图一样简单！
🧩几分钟尝试后，一个生动的睡前故事就诞生了！
🎬配音部分还有提升空间，但官方透露即将升级，期待值拉满！
🗣️对于家长来说，这不只是讲故事的新方式，更是亲子时光的魔法工具！
立即体验，让故事动起来！👉 wenku.baidu.com
公众号文章：
mp.weixin.qq.com
00:53
1 01
Jan AI 支持使用 URL 或模型名称直接从huggingface 下载模型。
很棒的更新，搜索hf里的gguf模型，按欢迎度或下载量排名选择喜欢的模型，把URL直接放到Jan里就可以下载。
Jan对比Ollama有GUI界面，对比Lm Studio，UI更美观。也支持Groq、Mistral、OpenAI API。
jan.ai
很棒的更新，搜索hf里的gguf模型，按欢迎度或下载量排名选择喜欢的模型，把URL直接放到Jan里就可以下载。
Jan对比Ollama有GUI界面，对比Lm Studio，UI更美观。也支持Groq、Mistral、OpenAI API。
jan.ai
00:06
3 20
cohere太棒了，之前了解它的产品时，就被它的对话UI吸引，这次开源了toolkit，不得不说，cohere🐂🍺
github.com
cohere.com
Cohere Toolkit 加速生成式AI应用开发
关键信息
- Cohere推出了Cohere Toolkit，这是一个开源仓库，包含了可用于跨云提供商部署的生产就绪应用程序。
- 这些应用可以访问Cohere的Command、Embed和Rerank模型，支持AWS、Azure和Cohere平台，未来还会支持更多平台。
- 应用可以部署在您自己的环境中，满足组织的安全标准，并可以连接到自己的数据源。
- Cohere Toolkit还包含可用于构建独特应用并大规模部署的构建块组件。
详细重点
知识助手应用
- Toolkit中初始包含的应用是一个知识助手，类似于Cohere平台上的演示。
- 连接到企业数据并针对特定团队定制的知识助手可以显著提高生产力，通过快速访问信息、自动化任务和实现团队内的无缝协作。
- 使用Cohere Toolkit构建的知识助手具有以下特点：
- **对话式**：由Cohere模型提供支持，能理解对话背后的意图，记住对话历史，并使用RAG完成企业用例。
- **基于事实**：开箱即用，助手可以从自定义数据源中添加细粒度的相关引用到响应中。
- **可定制**：开发者可以使用Cohere的100多个预构建连接器来添加自定义数据源以增强助手的响应，或添加自定义工具以便知识助手采取行动。
核心组件
Toolkit由即插即用组件和以下源代码组成：
- **界面**：带有后端集成代码的UI组件。从知识助手界面开始开源，支持多轮对话、细粒度引用、文档上传和对话历史的聊天UI。
- **模型**：该模块使开发者能够与Cohere专有的Command R和R+模型进行交互，这些模型托管在任何可用AI模型的平台上，为应用程序提供支持。
- **检索**：这组组件可用于构建最先进的检索系统，在您自己环境的限制和安全性内形成有效RAG管道的主干。包括：
- 一组100个与主要企业数据源的免费使用连接器，具有OAuth身份验证
- 能够集成来自流行库（如LangChain和LlamaIndex）的工具
- 能够在云AI服务上使用Cohere的Embed模型以及向量数据库（如OpenSearch、Pinecone、Weaviate等）
- 能够使用Cohere的Rerank模型，通过一行代码改进现有搜索系统的检索
开始使用
1. 按照仓库中的设置说明开始使用Cohere Toolkit。
2. Cohere邀请用户通过向GitHub提交拉取请求来贡献新的集成和功能。
3. Cohere即将在即将举行的Cohere Build Days开发者活动中将Toolkit付诸行动。
github.com
cohere.com
Cohere Toolkit 加速生成式AI应用开发
关键信息
- Cohere推出了Cohere Toolkit，这是一个开源仓库，包含了可用于跨云提供商部署的生产就绪应用程序。
- 这些应用可以访问Cohere的Command、Embed和Rerank模型，支持AWS、Azure和Cohere平台，未来还会支持更多平台。
- 应用可以部署在您自己的环境中，满足组织的安全标准，并可以连接到自己的数据源。
- Cohere Toolkit还包含可用于构建独特应用并大规模部署的构建块组件。
详细重点
知识助手应用
- Toolkit中初始包含的应用是一个知识助手，类似于Cohere平台上的演示。
- 连接到企业数据并针对特定团队定制的知识助手可以显著提高生产力，通过快速访问信息、自动化任务和实现团队内的无缝协作。
- 使用Cohere Toolkit构建的知识助手具有以下特点：
- **对话式**：由Cohere模型提供支持，能理解对话背后的意图，记住对话历史，并使用RAG完成企业用例。
- **基于事实**：开箱即用，助手可以从自定义数据源中添加细粒度的相关引用到响应中。
- **可定制**：开发者可以使用Cohere的100多个预构建连接器来添加自定义数据源以增强助手的响应，或添加自定义工具以便知识助手采取行动。
核心组件
Toolkit由即插即用组件和以下源代码组成：
- **界面**：带有后端集成代码的UI组件。从知识助手界面开始开源，支持多轮对话、细粒度引用、文档上传和对话历史的聊天UI。
- **模型**：该模块使开发者能够与Cohere专有的Command R和R+模型进行交互，这些模型托管在任何可用AI模型的平台上，为应用程序提供支持。
- **检索**：这组组件可用于构建最先进的检索系统，在您自己环境的限制和安全性内形成有效RAG管道的主干。包括：
- 一组100个与主要企业数据源的免费使用连接器，具有OAuth身份验证
- 能够集成来自流行库（如LangChain和LlamaIndex）的工具
- 能够在云AI服务上使用Cohere的Embed模型以及向量数据库（如OpenSearch、Pinecone、Weaviate等）
- 能够使用Cohere的Rerank模型，通过一行代码改进现有搜索系统的检索
开始使用
1. 按照仓库中的设置说明开始使用Cohere Toolkit。
2. Cohere邀请用户通过向GitHub提交拉取请求来贡献新的集成和功能。
3. Cohere即将在即将举行的Cohere Build Days开发者活动中将Toolkit付诸行动。
3 00
简单试了下，相比于phi-2，phi-3在处理中文和理解提示词方面有了一定的进步和优化，但还是大概率出现出现乱码或回答偏题。
phi-2的限制：
对指令的不可靠响应：模型尚未经过指令微调。
语言限制：该模型主要设计用于理解标准英语。
期待后续微调的Phi-3
ollama 下载链接
ollama.com
phi-2的限制：
对指令的不可靠响应：模型尚未经过指令微调。
语言限制：该模型主要设计用于理解标准英语。
期待后续微调的Phi-3
ollama 下载链接
ollama.com
2 00
Groq + Llama 3 实现本地 RAG：Phidata 框架的应用与性能展示
1️⃣ Phidata 的三大功能增强：
记忆：存储聊天历史于数据库，增强长时间对话的上下文理解。
知识：利用向量数据库存储业务相关信息，提供丰富的背景知识以增强专业内容的理解。
工具：使模型能执行具体操作如从 API 获取数据、发送电子邮件和数据库查询。
2️⃣ 工作流程和配置：
创建助手，添加工具和知识库。
使用 Streamlit、FastAPI 或 Django 等工具部署AI应用。
3️⃣ 本地 RAG 的实现和体验：
利用 Groq 和 Llama3，用户能在本地实现 RAG 功能，以处理和响应复杂查询。
实际操作中，通过上传文档和提问，模型能快速处理信息并提供答案。
测试显示，使用英文提问效果更佳，速度可达 280 Tokens/s。
4️⃣ 实际部署和运行：
包括创建虚拟环境、安装依赖库、配置环境变量。
运行应用时可能需要额外安装某些库，如 psycopg 或 pgvector。
5️⃣ 使用反馈：
我对 Phidata 框架的功能和效率表示满意，尤其是代码简洁明了，输出格式优化。
1️⃣ Phidata 的三大功能增强：
记忆：存储聊天历史于数据库，增强长时间对话的上下文理解。
知识：利用向量数据库存储业务相关信息，提供丰富的背景知识以增强专业内容的理解。
工具：使模型能执行具体操作如从 API 获取数据、发送电子邮件和数据库查询。
2️⃣ 工作流程和配置：
创建助手，添加工具和知识库。
使用 Streamlit、FastAPI 或 Django 等工具部署AI应用。
3️⃣ 本地 RAG 的实现和体验：
利用 Groq 和 Llama3，用户能在本地实现 RAG 功能，以处理和响应复杂查询。
实际操作中，通过上传文档和提问，模型能快速处理信息并提供答案。
测试显示，使用英文提问效果更佳，速度可达 280 Tokens/s。
4️⃣ 实际部署和运行：
包括创建虚拟环境、安装依赖库、配置环境变量。
运行应用时可能需要额外安装某些库，如 psycopg 或 pgvector。
5️⃣ 使用反馈：
我对 Phidata 框架的功能和效率表示满意，尤其是代码简洁明了，输出格式优化。
Groq + Llama 3 实现本地 RAG：Phidata 框架的应用与性能展示
1 12
这些预测有意思
Vinod Khosla改变世界的预测
www.youtube.com
1️⃣ 专业知识将近乎免费
为每个人提供近乎免费的AI医生，为每个孩子提供24/7的AI导师
除医生和导师外，软件工程师、营销人员等知识工作者也可能被替代
2️⃣ 劳动力将近乎免费
将有10亿双足机器人，使人类摆脱不受欢迎的工作
生产力将大幅提高，但也可能导致大量失业
3️⃣ 计算机使用将大幅增长
将有10亿以上的程序员，使用自然语言编程
计算机将适应人类，而非人类适应计算机
4️⃣ AI将在娱乐和设计中发挥重要作用
音乐和娱乐将丰富多样，并针对个人和情绪进行个性化定制
内容和创意的多样性将增加，但名人粉丝关系可能不会改变
5️⃣ 互联网访问将主要通过代理完成
消费者访问互联网的大部分将由代理代表完成任务并抵御营销人员和机器人
互联网上数十亿代理将成为常态
6️⃣ 从医学实践到科学
我们将能够基于患者组学和每个人的AI模型提供精准护理
为每个人的身体进行治疗、剂量等模拟
7️⃣ 我们将拥有新的食品和化肥
将有更好的替代蛋白质生产来取代传统动物蛋白
味道将远超传统牛肉
8️⃣ 城市中的汽车可能被取代
我们可以用个人自主交通工具取代城市中的大部分汽车，作为按需、负担得起的公共交通
大幅提高街道通行能力
9️⃣ 飞行将更快
我们将拥有5马赫的飞机，可在90分钟内从纽约飞到伦敦
使用可持续航空燃料，使世界更加紧密
🔟 到2050年将实现清洁可调度电力
聚变锅炉将改造并取代燃煤和天然气锅炉
超热地热也是一个真正的替代方案
1️⃣1️⃣ 资源将很充裕
我们发现的自然资源将超过我们消耗的资源
锂、钴、铜等金属资源将得到补充
1️⃣2️⃣ 碳排放将有解决方案
如果时间允许，碳排放可能成为一个较小的问题
企业家将开发和扩展更好的水泥、钢铁、农业、运输、发电、DAC等技术
Vinod Khosla改变世界的预测
www.youtube.com
1️⃣ 专业知识将近乎免费
为每个人提供近乎免费的AI医生，为每个孩子提供24/7的AI导师
除医生和导师外，软件工程师、营销人员等知识工作者也可能被替代
2️⃣ 劳动力将近乎免费
将有10亿双足机器人，使人类摆脱不受欢迎的工作
生产力将大幅提高，但也可能导致大量失业
3️⃣ 计算机使用将大幅增长
将有10亿以上的程序员，使用自然语言编程
计算机将适应人类，而非人类适应计算机
4️⃣ AI将在娱乐和设计中发挥重要作用
音乐和娱乐将丰富多样，并针对个人和情绪进行个性化定制
内容和创意的多样性将增加，但名人粉丝关系可能不会改变
5️⃣ 互联网访问将主要通过代理完成
消费者访问互联网的大部分将由代理代表完成任务并抵御营销人员和机器人
互联网上数十亿代理将成为常态
6️⃣ 从医学实践到科学
我们将能够基于患者组学和每个人的AI模型提供精准护理
为每个人的身体进行治疗、剂量等模拟
7️⃣ 我们将拥有新的食品和化肥
将有更好的替代蛋白质生产来取代传统动物蛋白
味道将远超传统牛肉
8️⃣ 城市中的汽车可能被取代
我们可以用个人自主交通工具取代城市中的大部分汽车，作为按需、负担得起的公共交通
大幅提高街道通行能力
9️⃣ 飞行将更快
我们将拥有5马赫的飞机，可在90分钟内从纽约飞到伦敦
使用可持续航空燃料，使世界更加紧密
🔟 到2050年将实现清洁可调度电力
聚变锅炉将改造并取代燃煤和天然气锅炉
超热地热也是一个真正的替代方案
1️⃣1️⃣ 资源将很充裕
我们发现的自然资源将超过我们消耗的资源
锂、钴、铜等金属资源将得到补充
1️⃣2️⃣ 碳排放将有解决方案
如果时间允许，碳排放可能成为一个较小的问题
企业家将开发和扩展更好的水泥、钢铁、农业、运输、发电、DAC等技术
1 00
phi-3 论文发布
phi-3-mini是一款38亿参数的语言模型，尽管体积小巧足以部署在手机上，但其整体性能可与Mixtral 8x7B和GPT-3.5媲美。
两个更大型号：phi-3-small (7B参数)和phi-3-medium (14B参数)，两者的性能都明显强于phi-3-mini。
arxiv.org
phi-3-mini是一款38亿参数的语言模型，尽管体积小巧足以部署在手机上，但其整体性能可与Mixtral 8x7B和GPT-3.5媲美。
两个更大型号：phi-3-small (7B参数)和phi-3-medium (14B参数)，两者的性能都明显强于phi-3-mini。
arxiv.org
1 00
办公效率翻倍神器！Claude for Sheets 插件让你一键批量处理数据
🌟 想象一下，不再为翻译大堆文字而头疼，不再手动编写面试问题，甚至让AI帮你解读图片？Claude for Sheets 做得到！它可以无缝集成到你的 Google Sheets，让数据分析变得超级简单！
🌐 批量翻译？用 `=claude` 函数，一输一回车，多语言转换瞬间完成！
👩💼 面试利器？输入职位信息，Claude 自动生成深度面试问题，帮你找到最合适的候选人！
🖼️ 图片识别？上传链接，Claude 帮你描述图片内容，视觉信息轻松掌握！
👉 安装超简单：Google 插件商店搜一搜，API 密钥一输，搞定！
💡 小贴士：记得每个新表格都要重新输入 API 密钥哦！
👉 使用 `CLAUDEMESSAGES()` 进行多轮对话模拟，让AI交互更自然，创造力无限！
🔍 遇到问题？刷新、重新计算，故障排除小技巧帮你解决烦恼！
不再让数据束缚你的思维，让 Claude for Sheets 成为你的办公小助手！
公众号文章🔗：mp.weixin.qq.com
🌟 想象一下，不再为翻译大堆文字而头疼，不再手动编写面试问题，甚至让AI帮你解读图片？Claude for Sheets 做得到！它可以无缝集成到你的 Google Sheets，让数据分析变得超级简单！
🌐 批量翻译？用 `=claude` 函数，一输一回车，多语言转换瞬间完成！
👩💼 面试利器？输入职位信息，Claude 自动生成深度面试问题，帮你找到最合适的候选人！
🖼️ 图片识别？上传链接，Claude 帮你描述图片内容，视觉信息轻松掌握！
👉 安装超简单：Google 插件商店搜一搜，API 密钥一输，搞定！
💡 小贴士：记得每个新表格都要重新输入 API 密钥哦！
👉 使用 `CLAUDEMESSAGES()` 进行多轮对话模拟，让AI交互更自然，创造力无限！
🔍 遇到问题？刷新、重新计算，故障排除小技巧帮你解决烦恼！
不再让数据束缚你的思维，让 Claude for Sheets 成为你的办公小助手！
公众号文章🔗：mp.weixin.qq.com
2 00
