即刻App年轻人的同好社区
下载
置顶目前在运营一个开源AI技术社区，除了专业的运营能力，我认为对AI行业、技术发展动态和趋势的掌握也非常重要，因为这是全局视角，会让自己更了解清楚自己在做的这件事情。
在技术方面我会每日追踪热门AI项目，为了养成日常对行业发展动态了解的习惯，我给自己立了个flag，工作日每周一-周五，在即刻上同步更新我追踪到的AI行业、技术动态，方向大致如下：
1️⃣行业：AI应用、垂直行业（教育/法律/金融）、投资等
2️⃣技术：AIGC、大型语言模型（LLM）、RAG、agent、具身智能、多模态大型语言模型（LMMs）等
整理了往日分享的一些内容：
✅2023年终总结：这一年，AI行业和技术发生了什么？m.okjike.com
✅2023年，大模型开发者都在关注和开发哪些热门技术？m.okjike.com
✅KimiChat长文本对话能力超强，背后的大模型技术路线和产品观：m.okjike.com
✅如何运营好一个AI技术社群
m.okjike.com
m.okjike.com
✅社区产品冷启动方面的一些思考m.okjike.com
m.okjike.com
在技术方面我会每日追踪热门AI项目，为了养成日常对行业发展动态了解的习惯，我给自己立了个flag，工作日每周一-周五，在即刻上同步更新我追踪到的AI行业、技术动态，方向大致如下：
1️⃣行业：AI应用、垂直行业（教育/法律/金融）、投资等
2️⃣技术：AIGC、大型语言模型（LLM）、RAG、agent、具身智能、多模态大型语言模型（LMMs）等
整理了往日分享的一些内容：
✅2023年终总结：这一年，AI行业和技术发生了什么？m.okjike.com
✅2023年，大模型开发者都在关注和开发哪些热门技术？m.okjike.com
✅KimiChat长文本对话能力超强，背后的大模型技术路线和产品观：m.okjike.com
✅如何运营好一个AI技术社群
m.okjike.com
m.okjike.com
✅社区产品冷启动方面的一些思考m.okjike.com
m.okjike.com
26 81
AlphaFold 3来了！AI实现100%预测生命分子😳
AlphaFold 3以前所未有的精确度成功预测了所有生命分子（蛋白质、DNA、RNA、配体等）的结构和相互作用。
AlphaFold 3已经与制药公司合作，将其应用于现实世界的挑战，为一些对人类造成最具破坏性影响的疾病开发出新的疗法。
回顾下deepmind Alphafold发布史
❶AlphaFold
2018年12月，DeepMind的AlphaFold成功预测了43种蛋白质中25种蛋白质的最准确结构，赢得了第13届蛋白质结构预测技术关键评估(CASP)。
AlphaFold 构建的模型依赖于深度神经网络，这些经过训练的深度神经网络可以从基因序列中预测蛋白质的属性。
❷AlphaFold2
2020 年 12 月的国际蛋白质结构预测竞赛 CASP ，一项重磅成果引发了科技界所有人的关注。
由 DeepMind 开发的 AlphaFold 2 击败一众选手，在准确性方面达到比肩人类实验的结果，被认为是蛋白质折叠问题的解决方案。
-论文汇总
AlphaFold：www.nature.com
AlphaFold 2：www.nature.com
AlphaFold 3：
www.nature.com
-代码
github.com
-参考：
mp.weixin.qq.com
mp.weixin.qq.com
AlphaFold 3以前所未有的精确度成功预测了所有生命分子（蛋白质、DNA、RNA、配体等）的结构和相互作用。
AlphaFold 3已经与制药公司合作，将其应用于现实世界的挑战，为一些对人类造成最具破坏性影响的疾病开发出新的疗法。
回顾下deepmind Alphafold发布史
❶AlphaFold
2018年12月，DeepMind的AlphaFold成功预测了43种蛋白质中25种蛋白质的最准确结构，赢得了第13届蛋白质结构预测技术关键评估(CASP)。
AlphaFold 构建的模型依赖于深度神经网络，这些经过训练的深度神经网络可以从基因序列中预测蛋白质的属性。
❷AlphaFold2
2020 年 12 月的国际蛋白质结构预测竞赛 CASP ，一项重磅成果引发了科技界所有人的关注。
由 DeepMind 开发的 AlphaFold 2 击败一众选手，在准确性方面达到比肩人类实验的结果，被认为是蛋白质折叠问题的解决方案。
-论文汇总
AlphaFold：www.nature.com
AlphaFold 2：www.nature.com
AlphaFold 3：
www.nature.com
-代码
github.com
-参考：
mp.weixin.qq.com
mp.weixin.qq.com
1 00
Sam Altman在斯坦福创业者研讨会分享
❶人工智能研究去往学界还是工业界？
Sam：工业界，因为工业界拥有更多的计算资源。
❷OpenAI目前最需要解决但未来三年内可能无法解决的是？
Sam: 如何构建真正的大型计算机。包括能源、数据中心、芯片设计、新型网络等整个生态系统，需要全面考虑如何创造更多这样的资源。
❸你认为人工智能领域目前最适合创业的方向是什么？
Sam: 建议不要听从任何人对创业方向的建议。如果一个创业点子已经被公认是好点子，那多半不是真正好的机会。你需要学会提出那些与众不同甚至非主流的想法。相信自己的直觉和独立思考能力。
❹能分享一下你目前在思考的问题吗，是大家都没有谈论的？
Sam: 我们正在努力解决如何制造出博士级甚至更高的智能，并以最佳方式将其应用到产品中，为社会和人们的生活带来积极影响。这是一个非常重要但尚无答案的问题。
❺都说AI是创业的好领域，你是如何确认你的想法足够的非主流，值得去追求的？
Sam: 学会相信自己，相信你的直觉，相信你自己的思考过程，随着时间的推移变得越来越容易。因为你们可能还没有培养出这种能力，而你们所面临的社交压力和进化压力都在阻止你们做这件事。这是一种你会随着时间的推移慢慢提高的能力，并且不要在初期就对自己的标准设定得过高。
❻关于即将发布的 GPT-5，有什么让你特别兴奋的地方吗？
Sam: 最重要的就是它将变得更为智能。基于当前的科学研究，GPT-5 将明显优于 GPT-4，而 GPT-6 又将超越 GPT-5。我们尚未达到技术的巅峰，但我们对未来的方向有了清晰的认识。
❼关于 OpenAI"宫斗剧"的。去年发生了什么？你从中学到了什么教训呢？
Sam: 我学到的最好的教训就是我们拥有一个令人难以置信的团队，即使没有我，他们也能完全独立运营公司，实际上他们就这么做了几天。而且，这个团队非常有韧性。至于我为什么回来，起初，董事会在第二天早上打电话给我，问我是否考虑回归，我当时拒绝了，我很生气。但后来我想了想，我意识到我多么热爱 OpenAI，我多么热爱我们建立的这支团队、这个文化和我们的使命，我其实就想一次性把所有的事情都做完。
❽创造出比任何人都要聪明的东西会让人感到恐惧，你怎么看？
Sam: 当然会我觉得如果我不害怕，那就太奇怪了、就你所知，社会就如同一个通用人工智能。这并不是因为任何个体的大脑，而是我们所有人之间的连接，我们逐步建立并贡献的社会基础设施。然后我们为后来人攀登到更高的高度做出贡献。比我们更智慧的事物也会对这个基础设施做出贡献。
来源：twitter.com
❶人工智能研究去往学界还是工业界？
Sam：工业界，因为工业界拥有更多的计算资源。
❷OpenAI目前最需要解决但未来三年内可能无法解决的是？
Sam: 如何构建真正的大型计算机。包括能源、数据中心、芯片设计、新型网络等整个生态系统，需要全面考虑如何创造更多这样的资源。
❸你认为人工智能领域目前最适合创业的方向是什么？
Sam: 建议不要听从任何人对创业方向的建议。如果一个创业点子已经被公认是好点子，那多半不是真正好的机会。你需要学会提出那些与众不同甚至非主流的想法。相信自己的直觉和独立思考能力。
❹能分享一下你目前在思考的问题吗，是大家都没有谈论的？
Sam: 我们正在努力解决如何制造出博士级甚至更高的智能，并以最佳方式将其应用到产品中，为社会和人们的生活带来积极影响。这是一个非常重要但尚无答案的问题。
❺都说AI是创业的好领域，你是如何确认你的想法足够的非主流，值得去追求的？
Sam: 学会相信自己，相信你的直觉，相信你自己的思考过程，随着时间的推移变得越来越容易。因为你们可能还没有培养出这种能力，而你们所面临的社交压力和进化压力都在阻止你们做这件事。这是一种你会随着时间的推移慢慢提高的能力，并且不要在初期就对自己的标准设定得过高。
❻关于即将发布的 GPT-5，有什么让你特别兴奋的地方吗？
Sam: 最重要的就是它将变得更为智能。基于当前的科学研究，GPT-5 将明显优于 GPT-4，而 GPT-6 又将超越 GPT-5。我们尚未达到技术的巅峰，但我们对未来的方向有了清晰的认识。
❼关于 OpenAI"宫斗剧"的。去年发生了什么？你从中学到了什么教训呢？
Sam: 我学到的最好的教训就是我们拥有一个令人难以置信的团队，即使没有我，他们也能完全独立运营公司，实际上他们就这么做了几天。而且，这个团队非常有韧性。至于我为什么回来，起初，董事会在第二天早上打电话给我，问我是否考虑回归，我当时拒绝了，我很生气。但后来我想了想，我意识到我多么热爱 OpenAI，我多么热爱我们建立的这支团队、这个文化和我们的使命，我其实就想一次性把所有的事情都做完。
❽创造出比任何人都要聪明的东西会让人感到恐惧，你怎么看？
Sam: 当然会我觉得如果我不害怕，那就太奇怪了、就你所知，社会就如同一个通用人工智能。这并不是因为任何个体的大脑，而是我们所有人之间的连接，我们逐步建立并贡献的社会基础设施。然后我们为后来人攀登到更高的高度做出贡献。比我们更智慧的事物也会对这个基础设施做出贡献。
来源：twitter.com
00:14
3 00
huggingface布局机器人领域的信号，近期新开源机器人开发项目LeRobot
🤖 LeRobot 简介
LeRobot 是一个基于 PyTorch 的开源库，致力于为真实世界的机器人应用提供模型、数据集和工具。它的目标是降低机器人开发的门槛，让更多人可以参与到机器人研究和应用中。
📚 LeRobot 的功能
LeRobot 提供了多种功能，包括预训练模型、数据集、训练工具、评估指标等。它支持多种机器人任务，如抓取、导航、操控等。
🚀 LeRobot 的应用
LeRobot 可以用于各种机器人应用，如工业机器人、服务机器人、教育机器人等。它可以帮助开发者快速构建机器人系统，并提高机器人的性能。
🤗 LeRobot预训练模型和数据集下载：huggingface.co/lerobot
GitHub：github.com
🤖 LeRobot 简介
LeRobot 是一个基于 PyTorch 的开源库，致力于为真实世界的机器人应用提供模型、数据集和工具。它的目标是降低机器人开发的门槛，让更多人可以参与到机器人研究和应用中。
📚 LeRobot 的功能
LeRobot 提供了多种功能，包括预训练模型、数据集、训练工具、评估指标等。它支持多种机器人任务，如抓取、导航、操控等。
🚀 LeRobot 的应用
LeRobot 可以用于各种机器人应用，如工业机器人、服务机器人、教育机器人等。它可以帮助开发者快速构建机器人系统，并提高机器人的性能。
🤗 LeRobot预训练模型和数据集下载：huggingface.co/lerobot
GitHub：github.com
00:04
2 00
《基于模型的多Agent个性化短视频推荐系统》提出了一种新的算法，让App能够更准确地猜测你喜欢观看哪种类型的视频，目的是为了让你多观看一会儿视频，从而增加应用的使用时长。
这篇论文可能是快手江鹏老师团队所做
首先，这个算法不仅关注你的观看时间，还关注你的点赞、关注、评论等互动行为。
它使用多个智能体（Multi-agent）作为一个团队——论文称这种框架为多智能体协作框架（Multi-agent Collaboration Framework），团队中的每个智能体（Agent）负责观察你的一个互动数据（例如点赞、关注等）。让不同智能体之间相互交流，共同决定推荐什么视频给你。这样可以更全面地了解你的喜好。
其次，在进行推荐的时候，不能只盯着你看过的视频，还要研究你没有看过的视频。比如你看了一段视频，觉得还不错，但App里其他类似的视频可能更符合你的口味，只是系统没有推荐给你。这个算法会模拟你对未看过视频的反应，这样可以挖掘出更多你潜在喜欢的内容。
最后，这个算法会随着你的反馈不断学习和优化，而不是一成不变。就像你的朋友越来越了解你的口味一样，它会越来越懂你想看什么。
来源：twitter.com
这篇论文可能是快手江鹏老师团队所做
首先，这个算法不仅关注你的观看时间，还关注你的点赞、关注、评论等互动行为。
它使用多个智能体（Multi-agent）作为一个团队——论文称这种框架为多智能体协作框架（Multi-agent Collaboration Framework），团队中的每个智能体（Agent）负责观察你的一个互动数据（例如点赞、关注等）。让不同智能体之间相互交流，共同决定推荐什么视频给你。这样可以更全面地了解你的喜好。
其次，在进行推荐的时候，不能只盯着你看过的视频，还要研究你没有看过的视频。比如你看了一段视频，觉得还不错，但App里其他类似的视频可能更符合你的口味，只是系统没有推荐给你。这个算法会模拟你对未看过视频的反应，这样可以挖掘出更多你潜在喜欢的内容。
最后，这个算法会随着你的反馈不断学习和优化，而不是一成不变。就像你的朋友越来越了解你的口味一样，它会越来越懂你想看什么。
来源：twitter.com
6 22
Llama3已经卷到了1048k了！没办法因为，长文本rag问答的场景的开发需求太大了
但，高质量的长上文训练需要花费大量资源和工作，即使200k上下文的claude 3在80k之后出错率也提高了
来看，这是llama3-1048k训练的设施：
1️⃣“我们在EasyContext块状环形注意力库[5]的基础上构建，以便在Crusoe Energy高性能L40S集群上可扩展且高效地训练非常长的上下文。”
2️⃣“我们在环形注意力之上叠加了并行性，并采用了自定义的网络拓扑结构，以便在设备间传递大量KV块时面临网络瓶颈的情况下，更好地利用大型GPU集群。”
这个1048k模型，扩展上下文具体方法：
1️⃣"根据缩放法则[2]进行NTK感知插值[4]，以适当调整 RoPE theta"
2️⃣"在增加上下文长度上的渐进式训练，类似于大型世界模型[1]"
模型下载：huggingface.co
[1] ：arxiv.org
[2]：arxiv.org
[4]：arxiv.org
但，高质量的长上文训练需要花费大量资源和工作，即使200k上下文的claude 3在80k之后出错率也提高了
来看，这是llama3-1048k训练的设施：
1️⃣“我们在EasyContext块状环形注意力库[5]的基础上构建，以便在Crusoe Energy高性能L40S集群上可扩展且高效地训练非常长的上下文。”
2️⃣“我们在环形注意力之上叠加了并行性，并采用了自定义的网络拓扑结构，以便在设备间传递大量KV块时面临网络瓶颈的情况下，更好地利用大型GPU集群。”
这个1048k模型，扩展上下文具体方法：
1️⃣"根据缩放法则[2]进行NTK感知插值[4]，以适当调整 RoPE theta"
2️⃣"在增加上下文长度上的渐进式训练，类似于大型世界模型[1]"
模型下载：huggingface.co
[1] ：arxiv.org
[2]：arxiv.org
[4]：arxiv.org
5 01
Sam Altman分享人工智能时代生存，最重要的4个技能
1️⃣善用工具
2️⃣紧跟变化
3️⃣对AI工具的发展有出色的直觉，了解它们的发展方向以及如何利用它们
4️⃣韧性和快速学习事物以及随着技术发展自我进化的能力
原推：twitter.com
1️⃣善用工具
2️⃣紧跟变化
3️⃣对AI工具的发展有出色的直觉，了解它们的发展方向以及如何利用它们
4️⃣韧性和快速学习事物以及随着技术发展自我进化的能力
原推：twitter.com
00:38
3 01
如果问国内视频图像生成哪家大厂工作值得关注，我会首推字节（可能还有腾讯
lecun爆改漫画风，这项工作是来自字节的storydiffusion
上传一张lecun图像，可以在发明AI、和其他科学家交谈等场景中的每一帧图像，保持住lecun的人物形象
•试用：huggingface.co（我网不好，没试出来，附上推视频）
•代码：github.com
lecun爆改漫画风，这项工作是来自字节的storydiffusion
上传一张lecun图像，可以在发明AI、和其他科学家交谈等场景中的每一帧图像，保持住lecun的人物形象
•试用：huggingface.co（我网不好，没试出来，附上推视频）
•代码：github.com
00:28
2 01
谷歌浏览器可以一键@，使用Gemini了，还能直接总结YouTube视频
第一步：在聊天框@，选择和Gemini对话
第二个步，输入你的prompt
第三步，可以得到gemini的结果
虽然大家反馈，gemini很多场景都不如anthropic和chatgpt牛逼，但也有部分使用者认为gemini的长文阅读能力不错。
第一步：在聊天框@，选择和Gemini对话
第二个步，输入你的prompt
第三步，可以得到gemini的结果
虽然大家反馈，gemini很多场景都不如anthropic和chatgpt牛逼，但也有部分使用者认为gemini的长文阅读能力不错。
00:45
5 00
