文心一言看起来和newbing有些可比性 以及上下文确实不太行

mfer #1627

百度的话在bert出现之后对其进行改进的模型ernie根据中文的一些特点（汉语一般以词语词组出现居多）在预训练的过程中的language masking任务（可理解为完形填空）里面将单词或者词组作为需要填空的单位。
这样有利于学习词组这类更粗粒度的语言信息。
如果文心一言是不是基于ernie继续做的，是有可能出现文中部分词组连着出来的情况。

已转，文心出来后的报道要么是媒体pr，要么是看笑话蹭流量的无脑黑。踏踏实实基于大量实测的客观对比太少了。

一个洞察：文心一言可能不是一个单纯的LLM ，而是各个模块拼装在一起模拟LLM 的结果，比如有互联网模块，有路子或者段落级别匹配的模块，应该也会有安全评估模块等等。

也比较好理解。

跟 GPT 相比的一些差异观察，和一个猜测。

文心一言：难以理解上下文，及一个猜测

🍵 原叶茶「三五杯」联合创始人  🎙 播客「三五环」「半拿铁」主播

文心一言：难以理解上下文，及一个猜测

来自圈子

AI探索站