训练智能体vs养娃
1 引言
这周我做了一些关于智能体的实现,也参加了幼儿园的家长会,有一些碰撞和感想。
2 什么重要什么不重要
2.1 不重要
- 数学学不好没关系,我们有推理工具。
- 语文学不好也没关系,工具可以帮助架构、润色和总结。
- 英语学不好也无所谓,现在英文文档和中文几乎没有区别。
- 副科只需要大概了解一点就行了。
- 音体美多数人都没有那个天赋。
- 记性不好,有第二大脑的加持。
2.2 重要
- 体力:身体是一切的本钱;具有自我保护的能力。
- 心力:乐观,可以敏感,但不要太脆弱。
- 自主力:拥有主体感和好奇心。
- 平常心:虽然有智力和体力超人存在,但我们是普通人。
3 自发学习
前两天去幼儿园开家长会时,看到了一张图片。以前,这种图片可能被视为反面教材,但现在老师们鼓励这种行为。说:“小朋友自己发现了一个游戏,叫爬树。” 从幼儿园开始,他们就锻炼孩子的自主性。
在训练智能体时,有一个很高级的阶段叫自我进化。这是指智能体自己设计一系列活动,以提升某种技能。
不能说给孩子买了个益智玩具,他玩这个就算学习。而如果他自己接了杯水,在几个容器里倒来倒去,弄得到处都是水,这就是捣乱吗?这可能反而是一种更为高级的自发学习。
4 为啥养娃
思考一个问题:先天之才和后天之志。如果没有动因和动力,仅仅是按指示行事,是不是也不太行?或许得看养娃的目标是什么。是养个宠物呢?还是养儿防老?还是期待成才……
就目标而言,父母养育一个孩子,希望他听话,少惹事固然很重要,少走弯路可能也是对的。甚至在孩子长大后,家长希望他们在爱好、择偶和工作等方面都能听从父母建议。有些人因此习惯了不做主,变成了一个螺丝钉,无论被拧到哪里都能好好干活,这也不失为一种好的人生。
再来看智能体,遵从指令并以人的方式思考,肯定是衡量其智能的重要指标。但这不是唯一的指标,还得看想让机器人干什么。
5 几个维度
想想打造一个自主智能体也和养育一个孩子差不多。无论是提供环境,还是塑造原始结构,作为引领者,我们都可以做点什么。如果设计不合理,不只是效果不好,自己执行时也会很有挫败感。有时候觉得,这真不是聪明与否的问题;学啥?学音乐?学书法?学运动?这些都重要,但也可能不那么重要……想到哪写到哪,罗列一下。
5.1 目标
- 各种价值的优先级排序和占比
- 不要因为搞不成对象就崩溃了。
- 有点像强化学习里的价值函数,学习评估价能力并不断进化很重要,初始值也同样重要。
- 据说,越是均衡稳固的价值体系,越容易感到幸福。
- 设定一个不容易崩塌的主体价值
- 比如:成就众生清净愿,或者这一生发挥出自己所有能量,这至少比“被我爸认可”要靠谱多了。
- 除了吃喝等基本生存需求,其它如安全感、优越感、价值感和身份认同,都可以归入情绪价值。
5.2 思考方式(模型)
- 质疑的习惯:不随波逐流。
- 好奇心:不拘泥于舒适区,探索和锻炼本身就是有意思的(强化学习中的探索与利用)。
- 反思:定时自省,又不仅是内省(学习率),不能遇到负反馈就总在自己身上找毛病,过于调整自己。
- 主体性:不要活着活着就成了谁的谁(价值排序中至少能设定初始规则)
- 能识别社会规范和自我利益,“应该”和“经验”的区别,理解囚徒困境带来的矛盾和自耗(规则导向/数据导向)
- 接收信息:信息过滤,能理解别人输出的导向、利益站位,至少不能全信。(说果汁里没有一点 VC,也不知道这是真是假,但我知道你是卖维生素片的)
5.3 具体能力
- 能根据目标找到方法,并将所有工具和整体逻辑串起来。
- 有快速学习的能力,掌握一定的工具:学习工具、分析工具、记录工具。
- 掌握一些调节情绪的方法,比如:运动、念经、与好友聊天。
- 能分层的抽象和考虑问题。
- 对整个世界的理解,涵盖跨越时间和空间的知识,大历史观。
- 不一定要精通,但至少要知道有这些知识;具体某个方面不必深入了解。
- 世界基本是连续的,不是一些各不相连的散点,最好是平滑的。
- 知其然且知其所以然,在众多数据和规则上建立联系。
- 不要设置太多规则凌驾于其它规则之上,否则世界会变得拧巴(训练/规则)。
- 有相对强大的直觉。短时间内的判断力和决策力,需要大量知识和实践。
- 底层逻辑自恰。
All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.