即刻App年轻人的同好社区
下载
App内打开
P小二
186关注3k被关注11夸夸
P小二
18:59
Llama3出来,关于合成数据的讨论变多了

合成数据是不是未来?

是也不是。

是,因为数据快用完了,还要继续训练模型,数据需求量会更大,除了合成其他选择不多,而且长期也不是个事。

不是,是因为那些选择可能导致数据需求没那么多了。

包括:提高数据利用率和新的模型出现,它并不需要大量数据。

更糟的情况是,没有其他的选择,但合成数据还没有突破,算力也不够,那就是被锁死了。
30
P小二
2天前
最近把所有不能估计时间的任务都设置为0了,只有每日固定任务有设定时长。

先试试一段时间。
00
P小二
2天前
最近delve这个词被使用过度了,是因为给chatGPT做RLHF标注的是尼日利亚人,他们喜欢说这个词。
00
P小二
2天前
Review。好多人感觉不知道AI的发展已经几起几落了,以为这次才是第一次,有很多误解,以前的AI都不是AI?

P小二: #每日一书# 8.13 人工智能简史 这本书 2017年12月份入手。开头要声明一下,这本书不是科普书,你在这个领域懂得越多,你会得到更多。 我以前还准备拿上面的内容来做一些AI八卦视频,后来放弃了。如果有要读人工智能的现在的技术科普,可以去读读开复老师的《人工智能》和《AI未来进行式》。这本书其实是本八卦书,很多人读了两章就骂娘了,就是因为被当科普书来读了。 科普 以前,我也怼过领导,他每次都想以非常简单的比喻来形容一些非常复杂的技术,还以这个为乐。 这种类似于科普的写法,其实是非常有问题。这种比喻丢掉的信息量非常大,很容易引起误解。科普书也不应该这么写,你想想你读过的科普书有解释清楚过图灵机么,量子力学呢? 你会赞同大学的课程,老师大量使用这种类比么? 搞科普,最好就是介绍历史。 你去了解一个领域,是不是应该读读这个领域的综述论文呢?历史可以帮助内行人了解知识的进化获得新视角,也可以帮助外行人了解知识提供一些向导。 这本书每一章都是独立的,从达特茅斯会议开始,介绍了自动定理证明,从专家系统到知识图谱,第五代计算机,神经网络简史,计算机下棋简史,自然语言处理,遗传算法到强化学习,哲学家和人工智能,人工智能的计算理论基础,智能的进化等主题。 从专家系统到知识图谱 这是第三章的内容,我做了2年多的知识图谱,对这个领域有一定的了解。有学习过知识图谱的人可能都知道它是从以前的专家系统发展而来的。 当时专家系统最成熟的应用就是DEC专家配置系统CXCON,这个是干什么的呢,就是根据需求自动配置零部件的一个系统。 后面专家系统失败,变成了一个负面词,最后变成了规则引擎。 再后来,HTML出现了,语义网来了。2016年,维基百科有1000万文章,而Freebase有4000万个实体,google收购了freebase背后的公司,提出了知识图谱的概念,然后把freebase改成了wikidata,捐了出来。各种开源的知识图谱也出现了,后面各种基于KG的应用多了起来。 我其实不太看好KG,它不是AI的终极方案。现在也只能有限的提供了一些常识,宣称的知识推理还很早。我也做过几个线上用的KG系统,但是目前,很多人还是把它当数据库用,不知道有多少人写过推理机? 哲学家和人工智能 我在小报童上写过一篇,哲学死了么?主要的意思是说后面哲学家们会非常尊重科学,完全接受科学的结论,并且在科学结论的基础上进行自己的哲学思考。这种自然主义的流派,在AI界也很多了。 1. 1992年,德雷佛斯出版了《计算机不能干什么?》这本书,用来批判人工智能。书里,主要通过下面四个不层面。 图3 从现在看来,这四个批评,可能会有新的解释了。 2.塞尔和中文屋又是一个例子,中文屋可能很多人听过这个概念,主要是说: “中文屋”思想实验:假设有个只懂英文不懂中文的人被锁在屋里,屋里只给“我”留了一本手册或一个计算机程序,这个手册或程序教“我”在收到中文信息时如何用中文应对。屋外的人用中文问问题,屋里的“我”依靠程序用中文回答问题,沟通方式是递纸条。 塞尔的问题是:假设屋外的人不能区分屋里的人母语是不是中文,那么屋里的“我”是不是就算懂中文?塞尔自己认为“我”不懂中文。 很明显,这个场景源自图灵测试,只不过图灵测试的环境是英文,而中文屋里既有中文又有英文。 上面的这个思想实验引起了很多人的讨论,什么叫内化,什么叫懂中文,什么叫意向,你可以想想。 3.普特南与缸中脑 是指,把人脑取出来放到一个营养液中,然后神经末梢连接一个超级计算机,然后它可以让这个大脑的主人有幻觉。 其实这个东西场景在很多电影,电视剧上都有出现过。如果所有的器官都跑在营养液中,那是否可以确定外在的世界上是真实的还是假的呢? 这本书蛮推荐的,是有深度的。里面的内容,其实也是很好的科普材料。这本书的第二版也出了,说明还是有不少受众。

20
P小二
3天前
我是做题家还是出题家呢?

当然,都是。 其实我完成的AI demo非常多。看到好的demo,我就想去怎么利用和优化,再做筛选做实现。研究的过程,我是出题家,我把它做出来,我是做题家。

然后做出来,评估成本,没可能挣钱->不发布,我是删题家。
32
P小二
3天前
Nanonets 拿了2900万美元的B轮。toB 场景的workflow才开始。
01
P小二
5天前
Agent将会改变团队的组成,传统的技术团队应该是要结束了。现在大量互不相干的团队做着大量跨越不同领域的新功能,沟通成本很高。

优化的特种部队做法是从公司各个团队中抽掉人员组成新的团队,高度聚焦,高权重和高协同,做完就回去。

未来Agent的做法就更灵活,并非需要数字员工,而是资源和技能的重组。
31
P小二
5天前
AIGC周刊 第63期

aigc.openbot.ai
00