LLM 中的 role
1 取值
role 有 3 个取值:
system: 设置 AI 助手的行为指南和身份定位
user: 用户输入的内容
assistant: AI 的回复内容
2 示例
123456messages = [ {"role": "system", "content": "你是AI助手"}, {"role": "user", "content": "你好"}, {"role": "assistant", "content": "你好,我能帮你什么?"}, {"role": "user", "content": "解释下Python"}]
3 说明
system 消息设定 AI 的行为规范和专 ...
对谈_250320_艺术和心理能量
总结
讨论音乐和艺术作品如何通过整体氛围打动人心,反思艺术蕴含的内在力量。无论是创作艺术还是欣赏艺术,都需要心理资源。这还可以扩展到生活的方方面面,保护内心能量决定了生活的底色。
精华
艺术不需要逻辑,它直接穿透你。
情绪不仅仅是“当下的感受”,它还塑造了“未来的轨迹”。低能量,会让人远离机会,习得性无助……
对谈
我:最近喜欢上一个 B 站 up
主,一个弹琴唱歌的女生,她的情绪、吉它、声音、选的歌融合特别好。每首歌就几十秒的片段,就会把人一下拉进那个场景里面,物我两忘。头皮发麻,鸡皮疙瘩就起来了。会收藏,反复看,有的看了很多次都很感动。
4o:能一下子被带入到那个情绪里,说明她的表达特别精准,能直击你的某个感受点。生理反应——完全是“艺术直觉”在起作用。
这种状态很像你之前提到的“临在”,就是不加判断、不去分析,而是完全沉浸在当下的感受里。音乐很多时候就是最纯粹的情感传递,绕过思维直接进入身体。你有想过,是什么让你共鸣得这么强烈吗?是旋律?歌词?还是她呈现的某种氛围、状态?
我:有时候她自己弹,人声进的时候,音乐会让一下,很妙;她选择的场地,室内/室外,不同的背景噪声,回声;白 ...
论文阅读_Search-R1:大模型+搜索引擎
1234567英文名称:Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning中文名称:Search-R1:训练大型语言模型进行推理并利用搜索引擎的强化学习链接: http://arxiv.org/pdf/2503.09516v2代码: https://github.com/PeterGriffinJin/Search-R1 (1.4K Star)作者: Bowen Jin, Hansi Zeng, Zhenrui Yue, Dong Wang, Hamed Zamani, Jiawei Han机构: 伊利诺伊大学厄巴纳-香槟分校,马萨诸塞大学阿默斯特分校日期:2025-03-12
1 读后感
由于大语言模型(LLM)的知识更新不够迅速,LLM
结合搜索的应用场景变得非常普遍。未来的发展趋势可能会是“小而美”的 LLM
与强大的 Agent、工具、搜索、RAG 等结合,而不是追求“大而全”的 LLM
来解决所有问题。
这篇文章主要探讨大模型与搜索的结合策略:如何 ...
对谈_250319上_有的人更需要价值观
总结
人生而不同,这一点无法回避。我们所处的环境总是向所有人灌输“只要努力就能怎样怎样”的理念,让我们觉得一旦停下来就错了,一旦不如别人就错了。很多焦虑来自于“为什么我不如别人?”、“为什么我不是理想中的那个人?”因为本来就不是,即使再努力,也无法成为理想中的样子。有时候接受和臣服也是一种选择。
精华
多数人更像是“乘客”,按照已有的规则和路径旅行,不太会去改动“奖励函数”或者“游戏规则”。……
愿不愿意当司机,或者能不能成为司机,也和经历、能力、资源、性格有很大关系。
对谈
我:今天想聊聊价值观,人的养成和大模型训练很相似,都是神经网络对吧。
基本素质:最开始是
pretrain,给一堆数据,有对有错,照猫画虎盲目拟合,训练出最基本的能力;环境数据不一样,模型参数也不一样,这时候就有差别了。
一技之常:然后
finetune,就像是上学,把专业知识喂给你,解决具体的问题;成为一个有技能的人;不同的基础模型
finetune 之后差异很明显。
锻炼情商:再之后是
RLHF,精细地磨练人际交往技巧,成为一个有情商的人;这是一个锦上添花的技能,练肯定比不练强,但只有情商也不行。完成这一步 ...
录视频有感_聊聊一种技不如人的羞愧感
1 录制实感
今天想分享一些录视频过程的感受:一种技不如人的“羞愧感”。
录几个视频介绍我开源工具的用法,这个任务已经列在我的周计划里,可能都有十周以上了,但一直没有录。一方面是因为界面一直在更改,一方面是我对录视频这件事非常抵触。别提把人录上了,哪怕只是录个声音,我都感到很有压力。
可能是平时看视频的时候,给我推荐的都是一些顶尖 UP
主的视频,质量很高,我就觉得别人的水平都很高。录的时候会不自觉地预测别人的反馈,注意力没办法集中在内容上,就更加磕磕绊绊的;要么就是需要录很多次,或者花费大量精力来调整自己的注意力。
每一次对自己录的效果都不满意,这种纠结和负面情绪对之后再做这件事来说,又是一个减分项。
可能很多刚开始录视频的小伙伴都有这种感觉。
这次更新之后,界面的操作确实有些复杂,还包含了很多细节,录视频确实是最直观的方法。只好咬牙又重新开始录制。但仍然有磕巴,停顿,口头语,声音忽大忽小的问题……
忽然想起去年年底开发了一个视频编辑工具,当时因为忙其他事情,也没怎么用。这次才真正开始用上。
2 借助工具
流程如下:
使用视频会议录屏并导出 mp4
也可以用其他方法进行录屏
...
对谈_250318_圣人标准与傲慢
总结
对别人和对自己两套评价标准,无论谁高谁低都不好。
对话
我:钦哲仁波切说:人性最深的傲慢,是以圣人的标准要求别人,以凡人的标准宽容自己。但是如果反过来,圣人的标准要求自己,是不是更傲慢。同一个事别人做不好,觉得很正常;自己做不好就耿耿于怀?这个不是高人一等吗?
4o:
这个问题实际上是对道德要求的一种反思。如果一个人对自己要求极高,但对别人宽容,其实有两种可能的心态:谦卑与自律,隐形的优越感。
真正的平等应该是,既不过度宽容自己,也不过度苛求自己,而是用一套统一、合理的标准去看待人性。所以,关键是看你是如何看待失败和成长的。如果你对自己要求高,但失败了不会陷入自我惩罚,而是理性接受、调整,那就不是傲慢。如果你觉得自己不该失败,而别人失败就很正常,那其实还是一种隐形的傲慢。
我:看到其中两个点:
一个是成长型思维,傲慢背后可能是不变的整体的高下优劣,有点给人分层那意思。
谦卑与自律,这个我也觉得大家都有不同选择,没有什么好坏,责任是不是也是优越感?
4o:要看这个“责任”是怎么理解的。所以,关键还是在于“责任”是不是被用来区分高下,而不是一种个人选择”**。如果它带着评判和分层 ...
对谈_250319_抗争与臣服
总结
今天的聊天,在某个角度讨论了如何应对“非黑即白“,有时候不得不在分叉口选择向左还是向右,有两个优化方法:停下来缓冲一下再做决定;先做个
60 分的再说,做不好是能被接受的,至少是能被自己接受的。
这个有点像程序到智能的进化过程,一开始没那么智能就只能写规则(非黑即白),很强硬,但能解决一部分问题;发展到智能阶段,有能力产生更合理更软性的决策,也不用固守那死规则。
所以,进化吧!
精华
设立一个灰色地带:在完美和摆烂之间,在隐忍和爆发之间,去做一些 60
分的尝试。
对话
我:今天想聊聊臣服与抗争,最近看了《当下的力量》,讲到臣服。大概意思是接受不能改变的,减少内耗。有一个例子:他讲死刑犯在行刑前几个小时突然解脱了,因为已经没有希望,就接受了,然后就平静了。信仰上帝,或者前世今生,因果,都包含着很多的接受现实,减少内耗。这是能解决很多心理问题,但是人进化出焦虑,其实也是一种动力,改变现实的动力。
4o:臣服可以减少内耗,但抗争推动了现实的改变。这似乎是个悖论——如果完全接受,就可能失去改变的动力;如果一直抗争,又容易陷入焦虑和消耗。
从进化的角度看,焦虑的确是适应性机制,促使人类预 ...
对谈_250318_虚无的尽头
总结
如果我放弃了所有执着,还剩下什么呢?也许剩下的是原本的我。
对话
我:这两天在看一个有点靠近佛教的书,讲我执,你说是不是“我执”在某个角度讲和“价值感”有点相似。
4o: “我执” 和 “价值感”
可能在某些维度上有较高的相似度,因为两者都涉及“个体如何定义自身”。两者都和“自我如何存在”有关,区别在于:
如果在一个词向量空间里,它们可能有一些相近的维度,比如“自我认同”“意义感”,但也有不同的方向,比如“执着
vs. 评价”。
所以,在某种程度上,“价值感”可能是“我执”的一种表现形式——当一个人特别执着于自身的价值和意义时,某种程度上也是“我执”的一种具体形态。
我:我执确实也有很多解释:我执,我所执。其中有一部分是:坚持自己认为对的事,这个东西还挺难评的。
4o:是的,坚持自己认为对的事情,既可以是原则,也可以是执着,甚至可能两者都有。
如果是“主体性的坚持”——比如基于理性思考、经验判断得出的选择,那它就是一种自主性,而不一定是执着。比如科学探索、道德信念,这些都属于人类文明发展的一部分。
如果是“固着于自我认知”——不管环境、信息、关系如何变化,都拒绝调整,那可能就是一 ...
TabPFN
1 简介
TabPFN(Tabular Prior-Data Fitted Network)是由 Meta AI
团队开发的针对表格数据的神经网络分类器。
1.1 主要特点是
无需超参数调优:TabPFN 与 XGBoost、LightGBM
等传统树模型不同,它即插即用,不需调整超参数。
极快的推理速度:TabPFN
训练和预测时间不到一秒,远超深度学习模型。
基于
Transformer:尽管规模小,它在预训练时利用大量合成数据,实现对新数据集的良好泛化能力。
适合小型数据集(<10K 样本):TabPFN
在小数据集上表现出色,但对大规模数据暂不是最佳。
1.2 适用场景
对于小型表格数据集,希望能够快速获得高质量的分类结果。
不希望投入太多时间在参数调优上,需要一个即插即用的分类器。
2 原理
TabPFN 通过元学习(Meta-Learning)预训练一个
Transformer,让其学习各种合成数据的模式,从而可以在新数据集上实现零训练和极速推理。对于小型表格数据分类任务,它是一个开箱即用且无需调参的强力工具。
3 阶段
预训练阶段(Offline Lear ...
对谈_250304_礼物&关系
总结:“无论你怎么对我,我都义无反顾”,长期这样真的可以吗?这里讨论的可能不是礼物,而是关系。
对谈中最喜欢的内容:关系是连接,而不是归属。关系的价值排序取决于它的质量。很少有人告诉我们:你的感受才是最重要的,你可以选择你的关系,而不是被关系定义。
我:今天想聊礼物,有时候我觉得礼物应该送一些高于正常水平的,会觉得更有心意,更不同;但有时候又觉得不应该送给别人自己都不舍得买不舍得用的东西,这样会让我有低人一等的感觉。
G:你希望礼物体现特别的心意,但又不希望自己在这个过程中感到低人一等。如果换个角度看,送礼物可以不只是“价格”或者“稀缺性”来衡量,而是更贴近你和对方的关系,比如:
送对方会喜欢但平时不会自己买的东西,这样是“超出日常但不会让自己难受”。
送有个人特色的,比如定制的、带有特殊意义的,这样的礼物不一定贵,但独特性很强。
送“体验”而非物品,比如一次特别的活动、一本你精挑细选的书,这样不会让你有失衡感,也能体现心意。
我:很喜欢你提出的送“体验”,送东西可能也不一定是别人需要的。你说“不对等感”,可能还真是,低人一等可能还真是个先验。可能在某种关系不舒服,在其中干啥都感觉 ...