即刻App年轻人的同好社区
下载
今天Colab多账号使用受限了，在知乎上查询Gradient、Kaggle的免费GPU资讯，看到有人提到百度的飞桨ai平台有免费的GPU可以用。
花了1个小时注册账号，阅读文档，导入ipynb笔记本，然后发现库都不能运行。查了一下，发现百度飞桨把TensorRT这些库又重新封装了一遍，叫PaddleTensorRT。这意味着我从github上能玩转的Jupyter笔记本程序，都不能直接用了。
我问Kimi飞桨为什么要这么重复造轮子，Kimi回答：
1. 兼容性和易用性：Paddle作为一个深度学习平台，旨在为用户提供一个简单、易用且高效的开发环境。通过将TensorRT集成到PaddlePaddle中，用户可以在不改变原有模型结构和训练流程的前提下，直接使用TensorRT的优势进行模型推理，而无需对模型进行大量的手动优化。
2. 无缝集成：PaddlePaddle提供了Paddle-TensorRT的集成方案，这样开发者可以在Paddle的框架下，无缝切换到TensorRT进行推理，而不需要离开PaddlePaddle的环境，单独使用TensorRT。这种集成大大减少了开发者的工作量和学习成本。
问题是从全球开发者都在用的TensorRT，切换到PaddleTensorRT，就没有学习成本吗？这叫什么创新？这叫什么自主知识产权？百度自己发明制造一个新的GPU硬件体系，推广自己的平台，那我没意见。这样套壳的做法，是自娱自乐吗？
花了1个小时注册账号，阅读文档，导入ipynb笔记本，然后发现库都不能运行。查了一下，发现百度飞桨把TensorRT这些库又重新封装了一遍，叫PaddleTensorRT。这意味着我从github上能玩转的Jupyter笔记本程序，都不能直接用了。
我问Kimi飞桨为什么要这么重复造轮子，Kimi回答：
1. 兼容性和易用性：Paddle作为一个深度学习平台，旨在为用户提供一个简单、易用且高效的开发环境。通过将TensorRT集成到PaddlePaddle中，用户可以在不改变原有模型结构和训练流程的前提下，直接使用TensorRT的优势进行模型推理，而无需对模型进行大量的手动优化。
2. 无缝集成：PaddlePaddle提供了Paddle-TensorRT的集成方案，这样开发者可以在Paddle的框架下，无缝切换到TensorRT进行推理，而不需要离开PaddlePaddle的环境，单独使用TensorRT。这种集成大大减少了开发者的工作量和学习成本。
问题是从全球开发者都在用的TensorRT，切换到PaddleTensorRT，就没有学习成本吗？这叫什么创新？这叫什么自主知识产权？百度自己发明制造一个新的GPU硬件体系，推广自己的平台，那我没意见。这样套壳的做法，是自娱自乐吗？
4 42
迪卡侬的🚲，第一个月是辆好车，第 6 个月变得不润，第 12个月已经很难骑，返店大保养也没改善，第 18个月实在骑不动直接换车了。
Luuuuke: 最近看到很多即友考虑入手第一辆公路车 有人推荐崔克 有人推荐XDS 有人推荐捷安特，还有人推荐直接上闪电 我认为，如果你想感受骑行这项运动，但是预算不高的话选择迪卡侬的speed500 这是我的第一辆公路车，也是我最喜欢的一辆。 首先，它能够快速让你感受到骑行的快乐 毫不费力就能体会到15km/h晚风的温柔 因为它没有复杂的变速机械结构，几乎为0的学习成本就能够让你迅速完全驾驭它。 其次，看似温柔的外表但是几何结构十分激进，毫不费力就可以达到19.6km/h的巡航速度。 能够让你挑战输出功率的极限。 最后，1299的价格+迪卡侬的售后，让你可以毫无后顾之忧的纯粹享受骑行的乐趣。
0 00
我就买了两个会员啊，gpt4 和 claude3，不用怎么知道当前 ai 推理能力的上限呢，怎么好以此为基准拓展应用场景呢。
用一个弱一点儿的模型，很多场景可能就被误判为 ai 还不可行了。
用一个弱一点儿的模型，很多场景可能就被误判为 ai 还不可行了。
韩一暐: 问题:个人用户会为claude3付费吗？ 今天冒出了问题，因为自己要大量用到AI chat,现在新的项目推动的时候需要测试更强的性能。脑海里立刻闪现出了chatGPT pro,不是bing,不是gemini,也不是poe。。。 好奇这个心理的背后是什么？ 自问自答: 个人/SMB/公司 的场景中， ~ 个人或者小团队的容错率最高，出问题了立刻调整，问题定义的链条短平快。容易捕捉到核心场景，人话就是动作快顾虑的少。这种情况下，很多是未知的，需要预判的是核心场景链路上的问题，整个团队背靠背战斗，有目标结果但不强调问责。选择通用性好体感最好的，成本也不高。 ~ SMB看风格，极客风格的归为个体户，规模协作归为公司。 ~ 公司会怎么看这个问题？公司的目标降本增效/合规-稳定大于一切,可以预测的大饼是投入，不可以预测的未来是赌博，理性分析的背后是否能够接受先进模型的风险，大概率是不能的，需要责任人，风险的不确定性带来效率的干扰，又额外增加了成本。在纷繁的确定场景中，AI不能够应对自如，那么充其量是实习生，可以花钱，但是要听话。 新的小工具开始折腾了，坏消息是竞争激烈，AI厂商一脚就能伸进去，好消息是必须给他从四维的搞成平面，必须有效率。看看下周能不能先注册一下。
0 00
不太认同这段话：
“模型即应用，理想状况我们可能三个应用，可能两个应用，剩下的把to B开放，大家调用。 ”
认可开放 to b，不太认可自己做应用。应该尽可能把大模型的推理能力做到领先，让 ISV去开发应用。百川人再多再牛，能做多少种应用覆盖多少个场景？
在 ai 应用领域，更认可朱啸虎的观点。
“模型即应用，理想状况我们可能三个应用，可能两个应用，剩下的把to B开放，大家调用。 ”
认可开放 to b，不太认可自己做应用。应该尽可能把大模型的推理能力做到领先，让 ISV去开发应用。百川人再多再牛，能做多少种应用覆盖多少个场景？
在 ai 应用领域，更认可朱啸虎的观点。
张小珺: 这几天很多人说，《2024 AI 三部曲》是今年的必读材料😝🗞️🗞️ 三篇报道链接： 《杨植麟》https://mp.weixin.qq.com/s/qVXcyw96IEPjrvZeA_1VMQ 《朱啸虎》https://mp.weixin.qq.com/s/IXjlplabhMcEqAVPZyq9kg 《王小川》https://mp.weixin.qq.com/s/fcBTA74ZhxcmQSR7Tjp8OA
0 00
我昨天用阶跃星辰的跃问大模型写了一个长报告，质量惊艳。感觉中文专业文章写作水平，在 gpt4 之上。很推荐！
歸藏: 上周六又一家叫阶跃星辰的公司加入了大语言模型的战场。 发布了一个千亿参数（100B）多模态大语言模型 Step-1， 同时还发布了对应的聊天机器人产品跃问和类似 C AI 的陪伴型应用冒泡鸭。 👇下面分别介绍一下这个模型和产品的体验结果： 多模态大语言模型 Step-1： 一个 100B 左右参数量的多模态大语言模型，支持图像、视频、音频的理解。支持联网搜索以及超长上下文窗口（演示用的时间简史，但是没说具体多长）。 据说还有 1000B 的多模态 MOE 模型 Step-2 可以提供有限的预览，需要申请。 聊天机器人产品跃问： 整体比较简洁，功能类似之前的 kimi，支持图片上传以及文档上传，支持联网搜索，我用自己常用的提示词试了一下，生成的内容可读性和逻辑不如 Kimi 。 陪伴型应用冒泡鸭： 就是正常的类似 C AI的应用，可以选择对应角色的智能体对话，没有类似星野的集卡机制。一个比较好的交互是在对话结束后智能体会主动给出可选择的回复比单纯的打字要方便很多。 他们的官网：https://www.stepfun.com/#step1v
0 00
我有了自己的 miniGPT-4
上周在线体验能识别图像的 MiniGPT-4 后，就试着自己部署一台练手，获得对开源的AI引擎的第一手使用经验。
前天用 Ubuntu，很快因不熟悉 Linux 指令和代码败下阵来。
昨天用 Windows，通宵摸索后完成了安装（麻烦的是从 llama 到 vicuna模型文件的重建），但运行出错。
今天继续排障，把 Nvidia 的 GPU 驱动,cuda, cudnn, torch,torchvision 的各种组合都试了一遍，最后发现是 bitsandbytes 的安装包的问题。然后就在腾讯云 v100 服务器上运行起来了。
目前用的是 7b 的小模型，中文水平较差，响应速度几十秒。接下来在看看这台 32G VRAM 的 V100 GPU 能不能跑得动 13b 的中模型，那个的中文水平会高一大截。然后再研究怎么训练它融入商用场景。
谢谢某位阿里云大神带我入门，上周末应我的请求他几个钟头就部署好了MiniGPT-4，让我知道这件事是可为的。对代码一无所知的我，虽然花了三天，但起步就好。
图 2 ：我问 ai 这个美女的表情如何，ai 说她很纯呀。ai 和男人一样容易被蒙蔽。
上周在线体验能识别图像的 MiniGPT-4 后，就试着自己部署一台练手，获得对开源的AI引擎的第一手使用经验。
前天用 Ubuntu，很快因不熟悉 Linux 指令和代码败下阵来。
昨天用 Windows，通宵摸索后完成了安装（麻烦的是从 llama 到 vicuna模型文件的重建），但运行出错。
今天继续排障，把 Nvidia 的 GPU 驱动,cuda, cudnn, torch,torchvision 的各种组合都试了一遍，最后发现是 bitsandbytes 的安装包的问题。然后就在腾讯云 v100 服务器上运行起来了。
目前用的是 7b 的小模型，中文水平较差，响应速度几十秒。接下来在看看这台 32G VRAM 的 V100 GPU 能不能跑得动 13b 的中模型，那个的中文水平会高一大截。然后再研究怎么训练它融入商用场景。
谢谢某位阿里云大神带我入门，上周末应我的请求他几个钟头就部署好了MiniGPT-4，让我知道这件事是可为的。对代码一无所知的我，虽然花了三天，但起步就好。
图 2 ：我问 ai 这个美女的表情如何，ai 说她很纯呀。ai 和男人一样容易被蒙蔽。
1 01
受到大家 ai编程的鼓舞，我也动心了试一试。在 chatGPT3.5 的帮助下，实现了我的第一个 python 工具。
包括出错排查在内，全程 3 分钟。我还没学过 python 呢。
AI时代就是此时此刻。
包括出错排查在内，全程 3 分钟。我还没学过 python 呢。
AI时代就是此时此刻。
3 01
等候 30 天后，终于申请到了 New Bing。
开始体验后，小有失望。New Bing(GPT4 preview)惜字如金，回答问题深度不够。图 12是 New Bing，图 3是 ChatGPT（3）。
有没有在用完整版 GPT4 的同学说一下，体验是不是比这个小气的New Bing 要好一些呢？我仍在考虑买 GPT4 的会员。
开始体验后，小有失望。New Bing(GPT4 preview)惜字如金，回答问题深度不够。图 12是 New Bing，图 3是 ChatGPT（3）。
有没有在用完整版 GPT4 的同学说一下，体验是不是比这个小气的New Bing 要好一些呢？我仍在考虑买 GPT4 的会员。
0 10
