贫穷会导致忙碌，忙碌也会导致贫穷
我们如何摆脱贫穷和忙碌的陷阱？

近来读完《稀缺》，总结一套反稀缺
参考前文m.okjike.com

稀缺通常是指金钱稀缺和时间稀缺
比如忙于工作赚钱却赚不到钱，忙于交作业却每次都延迟，因果关系如下：
稀缺 - 带宽不足 - 管窥心理 - 杂耍（救火） - 重要但不紧急事情拖延 - 继续杂耍。。。

逻辑顺序方面金钱稀缺和时间稀缺是一样的
解决稀缺的核心是“余闲”，余闲类似留白，留白的人生才有容错，才很美

首先是金钱“余闲”，一句话总结
永远要给自己留有planB

1工作中，如果明天被开，你能不再找到工作或创业？
2收入中，明天公司不发薪水怎么办？
3生活中，万一急用钱怎么办？不能每月收入的去处算的满满当当，出个意外就要借贷
4创业中，万一失败怎么办？还有没有东山再起的机会
5公司中，万一某员工突然离职怎么办？
6生意中，万一客户不付钱怎么办？
7爱情中，万一她不爱我了怎么办？我会不会崩溃还是赶紧找备胎
8夫妻中，另一半跑路怎么办？我能不能撑下去？
9人生中，万一明天挂了怎么办？王位到底谁来继承？

凡事预则立不预则废，有了规划，有了容错，你就很难再次陷入稀缺的循环

然后是时间“余闲”，一句话总结
永远要给自己留出空白时间

1不要安排太满，允许闲下来，去思考。不要做战术上的勤奋者战略上的懒惰者
2工作不要太满，要给自己留有学习上升的时间
3自己费时间的，花钱请人搞，花不起就啃爹
4任何时候，记得优先做对自己重要但不紧急的事，有些事很紧但不重要，尽量不要占用带宽
5最后就是截止时间，给自己一个短而频繁的截止日期，比如每天写一篇小说，每天完成100米跑步，不要来个10年生个娃的截止日期，要生每天都有机会，先去锻炼身体
哦，也可能是先找个对象

宇宙和科技

数据主义者认为，宇宙是由数据流构成的，任何现象的存在，都是对数据的处理。

科技哲学家 伯纳德.斯蒂格勒认为，人，天然就是一种缺陷存在，但恰恰因为这种本质的缺陷存在，技术才有其存在的意义。
那么，什么是技术？技术就是生命进化的支架！

人不会飞，所以发明了飞机
人走不快，所以发明了汽车
人看不远，就发明了望远镜
人活不长，就发明了长生药

一个想法不一定对

我发现女生做自媒体比男生简单多了
男生高空攀岩，雨中跳舞，荒野求生
女生只要讲话甜，偶尔开开车，就有大批粉丝
如果没流量，那就大胆的发个自拍照
如果还没流量，那就再发个大胆的自拍照

通过AI计算相似性，比如论文

1. 将内容向量化，存入向量数据库
2. 通过向量化查询，获取相近的数据集
3. 将数据集高维数据，通过T-SNE降维处理
4. 通过散点图，scatter plot 将降维后的数据展示

有一个可以专门查看向量数据的网站，可以将向量数据可视化
andriymulyar.com

一图了解卷积神经网络和池化

CNN 特征提取
卷积过程就是通过一个特殊的眼睛，比如每次只看四个像素，并且只看蓝色，这样就生成一种结果。可以通过不同眼睛提取不同的结果，所以卷积的过程本质就是通过不同的特征提取，然后识别出图片，那么本质就是调整不同的眼睛的参数，这个眼睛叫做卷积核。

Pooling 池化类似于简化
与卷积类似，可以有最大池化，平均池化等，但是池化不需要很多核，池化的作用主要有，1降维，保留图片特征，减小图片体积。2降低计算量，图片数据减小，计算就变小。3.防止过拟合，池化层没有要学习的参数，因此可以防止过拟合。图3

基于大模型的知识图谱构建过程

一般称为，EDC， Extract-Define-Canonicalize。把KGC（Knowledge Graph Creation）任务划分为三个步骤，图1

第一步：开放式提取关系，使用few shot来帮助模型学习如何提取三元组数据，图2

第二步：定义实体间关系，同样的，也用few shot来帮助模型学习应该如何定义关系，图3

第三步：关系标准化。这个阶段主要是将提取的三元组关系进行标准化，剔除多余的信息和不确定性，修改不正确不规范的用词。首先把关系进行向量化处理，然后按照以下两个路径寻找是否存在目标关系。图4

白话Transformer

Transformer是AI的核心算法，但是比较难懂，总结了几篇文章，尝试白话一下

我们以翻译内容为例，

1. RNN
通过循环的方式，一个字一个字的翻译，类似于接龙，每个人把之前的内容加上自己要翻译的内容，全部说给下一个人
但问题很明显，越后面的人，要记住的越多，内容一长就记不住，或者内容爆炸而崩溃

2. LSTM
为了解决这个问题，接龙规则变了，就是每个人不需要全部记住历史内容，通过自己的理解，总结一下，这样历史内容就大大缩短了，
不过上下文长度，包括总结偏差等问题依旧存在

3. Attention 注意力机制
LSTM 就像是一个按顺序阅读的人，虽然它也可以记住一些重要的信息，但是如果这些信息距离当前位置很远，那么它可能就会忘记。而注意力机制就像是可以随时跳回去查看重要信息的人，所以它可以更好地从全局的视角来关注重点。
注意力机制通过把文字编码成带位置信息的embeddings向量，然后计算出每个相关词语的关系分数score，通过分数记录词语间的相关度。

注意力机制又可以分为全局自注意力，交叉自注意力，因果自注意力。
这几种注意力中有三个参数，根据这三个参数通过softmax函数来计算注意力值，这三个参数大多是词向量
Q = 输出序列中的当前位置词向量
K = 输出序列中的所有位置词向量
V = 输出序列中的所有位置词向量

4. Softmax
这个函数主要作用就是将这些值归一化，就是矩阵的所有值加起来等于1，也就是按100%分配一个几率（图34）

5. Multi head attention
多头注意力机制是在注意力机制基础上的一个创新，简单来说，它通过把查询（Q），键（K），值（V）这三个矩阵分成好几个小块，每一块称为一个“头”；每个“头”都会独立进行自注意力运算，然后把所有“头”的结果拼接在一起，再进行一次特定的变换，得到最终的输出。

多头注意力有几大优点，比如，它能辨识出分词之间的各种关系，无论是主谓、动宾还是名形关系；同时，多头注意力还能提升模型的能力和表现力，因为模型能从序列的多种表现形式。此外，多头注意力还能让模型在运算时更高效、更便于并行处理，因为它将每个头的维度降低了，从而可以同时处理多个头。

6. Transformer
有了注意力机制，transformer就可以识别文章的重点，相关关系，指代语义，语法，甚至包括情感
Transformer的两个组件 Encoder和Decoder

Encoder（编码器）
编码器相当于理解，理解的过程包括：分词，带位置的向量化，自注意力机制，输出编码（图1）

Decoder（解码器）
解码器相当于答复，主要是预测，选择概率最高的词输出，直到形成完整的段落。在生成词的过程中，往往会通过采样的方式，赋予模型一定的随机性，因此每次生成的句子都有所不同（图2）

大模型的参数量主要是通过对Transformer的Decoder模块进行堆叠而上升的。比如开源大语言模型LLAMA-2就由32个Transformer Decoder进行堆叠，参数量可达几十亿甚至几百亿。OpenAI的GPT-4作为领先全球的大模型，甚至达到了1.76万亿个参数。巨大的参数量使大模型在具备超强的表达能力的同时也消耗着大量的资源，GPT-4在训练过程中，总计使用约3125台机器（25000张A100）进行训练，训练集用到了13万亿个Token，训练一次的成本需要6300万美元。

参考：
m.toutiao.com
m.toutiao.com
baoyu.io
jalammar.github.io
mp.weixin.qq.com

大模型就是生产力

现在开口不谈大模型，基本就落后一个时代
AI终将替代大部分人的工作，解放大部分生产力
又来移动交流，在AI这个平台上，大家都没有几十年经验，所以更容易打破壁垒

最近我发现，年后我贪吃了，控制不住贪吃，还更是蹭吃，今天愈加过分，吃完还蹭合照😂

滴不尽相思血泪抛红豆，
开不完春柳春花满画楼。
睡不稳纱窗风雨黄昏后，
忘不了新愁与旧愁。
咽不下玉粒金莼噎满喉，
照不见菱花镜里形容瘦。
展不开的眉头，挨不明的更漏。

恰便似，
遮不住的青山隐隐，
流不断的绿水悠悠。

《红楼梦》第二十八回

好久不见女儿，我的专业逗哏选手

女儿上幼儿园的时候，我买了小爱音响
有一天回家她问我，
女：爸爸，伤心的蜜蜂用英语怎么说？
我：嗯。。怎么说？
女：你问小爱同学
我：小爱同学，伤心的蜜蜂用英语怎么说？
小爱：Sa Bee (Sad Bee)

晚上问要睡哪里
我：晚上怎么睡？
女：躺着睡
我：我是说你睡哪里？
女：睡床上啊
我：我特么问你睡哪个房间。。

见到一条小狗，女儿说，
爸爸，它跟你长得好像啊
我说：我的女儿当然像我了
终于扳回一城

这个想法也不是我的，从老师那里交流来的，也恰恰让我深刻明白苏格拉底说的那句，教育不是把水灌满，而是把火点燃。所以，我们对文明的追求，对自由向往，对科技的创新，都来源于对自我的审视，批判性思维确实应该是教育的目标，而不能仅仅是培养流水线工人，培养马克思主义接班人，但工业化的社会，社会的稳定促使国内外大多教育只是为了训练出一个听话的机器。 //@thousandsuper: 说法够悲观，足够有冲击力，但是稍加思考就能想到于普通人而言这样的教育也足够改变一些现状，更别提如果在南亚如孟加拉等国家，国内一套本科教育出来真是改变命运。我觉得我大学最大的收获是辩证的思维吧，目前的许多矛盾存在甚至还在升级，我们下限被拉高了，同时上限的差距也越来越大，学校也好社会也好目前还是差异化的，学校想要培养不同特质的优秀，奈何教育资源就这么多啊，我们如果当老师能照顾到班山多少的同学呢？有幸有老师曾照亮偏激的我，虽然我算“大学训练成熟”的漏网之鱼哈哈哈