即刻App年轻人的同好社区
下载
回答上一条动态的问题：
ChatGPT能产生随机数吗？
以及这个问题和自由意志的关系。
答案是：不行，连伪随机数都不行。
因为GPT的原理是，根据给出的上文，给出下一个词的概率分布，在temperture=0时，会给出概率最高的结果，这是一个确定性的过程，不存在随机[图4]。同一个输入，将得到同一个输出。
---
例如，当你的prompt是“给我一个随机数”时，GPT会预测哪一个词接着这句话后面最合适，这只会有一个答案：57（图1），可以重复多次，不会改变这个结果。你可以一字不差的输入这个prompt，并把temperture调成0，你得到的结果也会和我一样。（当然，输入改变时，输出也会不同）
当把prompt设置成0.3时，重复多次不会得到一个确定的输出，但会有几个数字重复出现。和上面的prompt一样时，大概率出现的数字是71、7、37、57、87。但注意，模型的输出仍然是确定的一个概率分布，从这个概率分布中选择其中一个数字，是写在代码里的，和模型无关。
当把prompt设置成1时，结果会更“随机”一点，我测试了40次，结果见图2。但可以看到，有几个数字也重复出现了。并且7这个数字出现的概率最高。
---
上一条动态的评论里，有即友先让GPT写出一个python代码，通过代码生成随机数。但如果同样把prompt设置成0，GPT会输出同一段python代码，也会输出同样的“随机数”，不存在随机。如图3，这个方式也可以重复多次实验，得到的结果会完全相同。
为什么？因为GPT并不能真正的执行python代码，它只是去预测“如果这个代码被执行了，会有什么样的输出？”，结果仍是确定性的。这和ChatGPT的plugins，调用外部的python解释器不同。
---
另一条评论是，人类也产生不了随机数。如果从随机数的定义，即随机数没有规律，不能被预测，这是对的。
如果让一个人类给出一个1到10之间的随机数，大部分会选择3、5、7，因为这几个数字，看起来比较随机（GPT也学习了这个偏见）。但事实上并不是随机的，可以被很好的预测。所以让人类生成的密钥很不靠谱。
（在《从社交网络到区块链》这本书中提到一个故事，当年和扎克伯格争夺FaceBook的两兄弟，后来买了很多比特币，他们生成私钥的方式是投掷硬币）
---
虽然人类产生不了随机数，但人类的思维并不是确定性的，和GPT不一样。想象一个被做了手脚的硬币，有90%的概率会朝上，10%的概率朝下，尽管它的输出很不随机，有很大概率会朝上，但人们并不能事先100%确定地预测，下一次会是哪一面，它不是一个确定的过程。
人类有一定的认知偏见，但如果自由意志存在，人类的输出就不是确定性的。再想象一下，科幻电影中的平行宇宙，在某一时刻之前，平行宇宙的同一个人，具有一样的记忆和环境，但他们会在某一时刻做出不一样的决定，导致接下来两个平行宇宙会有不同的故事。
可以说，人类有能力做“选择”，而GPT别无选择。是否在做“选择”，是一种判断是否有自由意志的方式。
（你可以争论，GPT有自由意志，每次输出都相同是它假装的）
---
下面是《GEB》书中对这个问题的解释：
「为了要认识自由意志问题，一种办法是先用一个我认为是等价的问题来替换它，而这个问题相对来说涉及的概念不那么复杂，也不太引起异议。我们不再问“系统又 是否有自由意志？”,而是问“系统又 是否在进行选择？”。通过仔细探讨 当我们把一个系统一机械的或生物的一—描述成“能够进行选择”时，到底是什么意思，我想我们能对自由意志有进一步的理解。」
…
「对那个假想的弈棋程序的情况来说，存在着各种不同的可能性。如果你和某些特定的程序对弈，然后第二盘采用和第一般完公相同的走法，这些程序也将谁确地重复以前的走法，丝毫看不出学到了什么东西或具有什么变化的愿望。另外，有一些程序带有随机数装置，能够产生一些变化，但并非出自于任何深切的期望。这种程序中的内部随机数发生器可以被重置成初始状态,然后就能导致同样的对局。还有一些程序的确能从它们的失误中吸取教训,而且能根据对局的结果改变它们的策略。这种程序就不会连线重复同一盘对局。当然，你也可以使时光倒流，抹去存储器中表示学习的所有变化，就象你能重置随机数发生器一样，但这样做似乎有些不太友好。此外，我们有理由怀疑，如果所有细节——当然包括你的脑一都被重置成它们初次发生时的状态，那么你就能改变你自己过去所做的决定吗？
不过还是让我们转回到原来的问题，即在这里“选择”这个概念是否适用。如果程序只不过是“滚下想象的山坡的想象的小球”，那它们是否在作选择呢？当然答案必然是主观的，不过我要说在这里所考虑的情况和小球的情况 基本相同。但是，我必领补充说明。 使用“选择”这个词的要求变得非常强烈，尽管你只是把这个词作为一种方便的或带启发性的简称而已。一个弈棋程序能够超前搜索许多可能的岔路，这完全不同于一个滚动的小球。这个事实使得它更象一个生物，而不象一个计算2的平方根的程序。但是,在这里仍没有深刻的自我认识一—也不存在自由意志」
结合这个理论，我们可以说GPT是没有自由意志的。
ChatGPT能产生随机数吗？
以及这个问题和自由意志的关系。
答案是：不行，连伪随机数都不行。
因为GPT的原理是，根据给出的上文，给出下一个词的概率分布，在temperture=0时，会给出概率最高的结果，这是一个确定性的过程，不存在随机[图4]。同一个输入，将得到同一个输出。
---
例如，当你的prompt是“给我一个随机数”时，GPT会预测哪一个词接着这句话后面最合适，这只会有一个答案：57（图1），可以重复多次，不会改变这个结果。你可以一字不差的输入这个prompt，并把temperture调成0，你得到的结果也会和我一样。（当然，输入改变时，输出也会不同）
当把prompt设置成0.3时，重复多次不会得到一个确定的输出，但会有几个数字重复出现。和上面的prompt一样时，大概率出现的数字是71、7、37、57、87。但注意，模型的输出仍然是确定的一个概率分布，从这个概率分布中选择其中一个数字，是写在代码里的，和模型无关。
当把prompt设置成1时，结果会更“随机”一点，我测试了40次，结果见图2。但可以看到，有几个数字也重复出现了。并且7这个数字出现的概率最高。
---
上一条动态的评论里，有即友先让GPT写出一个python代码，通过代码生成随机数。但如果同样把prompt设置成0，GPT会输出同一段python代码，也会输出同样的“随机数”，不存在随机。如图3，这个方式也可以重复多次实验，得到的结果会完全相同。
为什么？因为GPT并不能真正的执行python代码，它只是去预测“如果这个代码被执行了，会有什么样的输出？”，结果仍是确定性的。这和ChatGPT的plugins，调用外部的python解释器不同。
---
另一条评论是，人类也产生不了随机数。如果从随机数的定义，即随机数没有规律，不能被预测，这是对的。
如果让一个人类给出一个1到10之间的随机数，大部分会选择3、5、7，因为这几个数字，看起来比较随机（GPT也学习了这个偏见）。但事实上并不是随机的，可以被很好的预测。所以让人类生成的密钥很不靠谱。
（在《从社交网络到区块链》这本书中提到一个故事，当年和扎克伯格争夺FaceBook的两兄弟，后来买了很多比特币，他们生成私钥的方式是投掷硬币）
---
虽然人类产生不了随机数，但人类的思维并不是确定性的，和GPT不一样。想象一个被做了手脚的硬币，有90%的概率会朝上，10%的概率朝下，尽管它的输出很不随机，有很大概率会朝上，但人们并不能事先100%确定地预测，下一次会是哪一面，它不是一个确定的过程。
人类有一定的认知偏见，但如果自由意志存在，人类的输出就不是确定性的。再想象一下，科幻电影中的平行宇宙，在某一时刻之前，平行宇宙的同一个人，具有一样的记忆和环境，但他们会在某一时刻做出不一样的决定，导致接下来两个平行宇宙会有不同的故事。
可以说，人类有能力做“选择”，而GPT别无选择。是否在做“选择”，是一种判断是否有自由意志的方式。
（你可以争论，GPT有自由意志，每次输出都相同是它假装的）
---
下面是《GEB》书中对这个问题的解释：
「为了要认识自由意志问题，一种办法是先用一个我认为是等价的问题来替换它，而这个问题相对来说涉及的概念不那么复杂，也不太引起异议。我们不再问“系统又 是否有自由意志？”,而是问“系统又 是否在进行选择？”。通过仔细探讨 当我们把一个系统一机械的或生物的一—描述成“能够进行选择”时，到底是什么意思，我想我们能对自由意志有进一步的理解。」
…
「对那个假想的弈棋程序的情况来说，存在着各种不同的可能性。如果你和某些特定的程序对弈，然后第二盘采用和第一般完公相同的走法，这些程序也将谁确地重复以前的走法，丝毫看不出学到了什么东西或具有什么变化的愿望。另外，有一些程序带有随机数装置，能够产生一些变化，但并非出自于任何深切的期望。这种程序中的内部随机数发生器可以被重置成初始状态,然后就能导致同样的对局。还有一些程序的确能从它们的失误中吸取教训,而且能根据对局的结果改变它们的策略。这种程序就不会连线重复同一盘对局。当然，你也可以使时光倒流，抹去存储器中表示学习的所有变化，就象你能重置随机数发生器一样，但这样做似乎有些不太友好。此外，我们有理由怀疑，如果所有细节——当然包括你的脑一都被重置成它们初次发生时的状态，那么你就能改变你自己过去所做的决定吗？
不过还是让我们转回到原来的问题，即在这里“选择”这个概念是否适用。如果程序只不过是“滚下想象的山坡的想象的小球”，那它们是否在作选择呢？当然答案必然是主观的，不过我要说在这里所考虑的情况和小球的情况 基本相同。但是，我必领补充说明。 使用“选择”这个词的要求变得非常强烈，尽管你只是把这个词作为一种方便的或带启发性的简称而已。一个弈棋程序能够超前搜索许多可能的岔路，这完全不同于一个滚动的小球。这个事实使得它更象一个生物，而不象一个计算2的平方根的程序。但是,在这里仍没有深刻的自我认识一—也不存在自由意志」
结合这个理论，我们可以说GPT是没有自由意志的。
58 4229
来自圈子
AI探索站
77862人已经加入