大型语言模型与Agent的结合探索
何需足量革,尽覆此大地,片革垫靴底,即同覆大地。 --
寂天《入行论》
最近看了一些 LLM 实测报告,感觉 LLM
的能力很强大,但在当前阶段,仍然只能对单一简单问题进行一次提问(详见:开源项目_大海捞针测试),对于复杂的问题,可以通过将其拆解为多个简单问题,使用
LLM 进行多步问答来解决。因此,引入了
Agent。目前也临着在对话过程中容易偏离主题的问题(详见:论文阅读_多Agent_股票操作示例)。
猜想大模型的尽头并非某个全能的大模型,而是类似于人的存在,可能是面向
Agent 优化的大模型;或者整体系统由多个大模型组成,其中一个充当主控:
这个主控模型并不大,所以反应速度快。
他并不存储所有的知识,但包含:内在信念(详见:论文阅读_语言与决策_通过LENS看人类行为),基本的常识,语言理解能力,基础推理能力,类似于高中生的水平。
他链接到一个外挂记忆系统,该系统存储客观知识和主观总结,以及长短期记忆,支持存储/搜索(详见:文章阅读_Agent记忆机制综述)。
他还包含一个自我进化系统,该系统能记忆、总结,并推动自已更新能力库。
和当前系统很大差别在于它能自主构建自己的 ...
Obsidian插件开发指南
1 Obidian 开发
Obsidian 基于 Electron 框架开发(开发者可以使用 Web
技术构建桌面应用,Google 的 Flutter 也是类似的框架),主要使用 HTML、CSS
和 JavaScript。后端则依赖 Node.js(Node.js 是基于 Chrome V8 引擎的
JavaScript 运行环境),使 JavaScript 能在服务器端运行。
开发 Obsidian 插件时,需要掌握 JavaScript 和 Node.js。比如,利用
Node.js 提供的模块和 API
进行文件操作、访问系统资源、处理网络请求等。
2 开发环境
我的开发环境是:VSCode + Node Docker +
Copilot。这样不仅不会影响我的宿主机环境,开发起来也很舒适,还可以利用辅助编码工具。
如果想开发 Obsidian 插件,就需要安装 Node.js 环境。Node.js 提供了
JavaScript 的运行环境和许多内置模块;同时,安装 Node.js 也会安装
npm,用于管理插件项目的依赖项。
推荐使用 Node.js 的第 18 版:
12$ ...
法律行业算法比赛解读
1 比赛介绍
第三届琶洲算法大赛 -GLM 法律行业大模型挑战赛道
赛题页面:https://tianchi.aliyun.com/competition/entrance/532221/information
解题示例:https://tianchi.aliyun.com/competition/entrance/532221/customize444
说明文档:https://zhipu-ai.feishu.cn/wiki/M6lCwkSEWiBQIKkQLtIcTuV2nqh?spm=a2c22.12281976.0.0.536f7dd2Pg0INK
2 问题概述
在法律服务领域,基于智谱 GLM-4 大模型和相关业务
API,构建一个能回答法律问题的 Agent(问题机器人)。该 Agent
需要在一小时内回答 200 道问题。
这种整体方案可以应用于许多专业领域。我们也可以通过比较优化和未优化的情况下,看看效果如何。(初赛
A 榜的前 100 名得分都在 80-90
分区间内,查看了一些代码后,我觉得稍加改进也能达到 70+)
3 问题类型
简单问题:查单表和几个字段。 ...
OpenAI的CUA_ComputerUseAgent
2025 年 1 月 24 日,OpenAI 发布了其首款 AI 智能体
Operator。这是一款能够在浏览器上执行简单在线任务的网络应用,例如预订音乐会门票和在线购买杂货。
Operator 由新模型 Computer-Using Agent(CUA)驱动,该模型基于 GPT-4o
构建。目前,该应用仅面向订阅每月 200 美元 ChatGPT Pro
服务的美国用户开放,未来将逐步向其他用户推广。
官方介绍: https://openai.com/index/computer-using-agent/
原理:
将 GPT-4
的推理能力结合视觉功能,用于操作电脑桌面(类似于操作浏览器)。
基于桌面解析和文字识别技术,可以控制键盘和鼠标,并在沙箱环境中进行操作。
问题:
安全问题:适合操作商场中机器人,对于个人数据/公司数据可能涉及安全问题。
目标用户是谁:像 Dify,扣子也有此问题。
应用场景:
浏览器使用:语法检查、退款总计、更新许可证、客户查询。
电脑使用:下载讲座、合并 PDF、压缩图像、计算价格、导出图像。
其它:
要 200 刀的 pro 才能用,而 ...
Manus和OpenManus
1 Manus
1.1 概述
官网: https://manus.im/usecases
根据 Manus 发布会的数据,Manus 的功能覆盖了 76% 的垂直类 Agent
项目。其官网展示了 50
多个用例,主要应用于数据分析、调查研究和效率提升。工程方面,Manus
付出了大量努力,整体交互比其他产品优化了许多。
从个人体验来看,Manus
的推广和设计非常出色,与浏览器的整合也令人印象深刻。它有效填补了市场空白,市面上虽有众多开源的
agent 工具,但普遍缺乏易用性;即便是 coze
的图形化界面模块拼接,也存在一定的使用门槛。
Manus
的另一大优势在于其示例表现。一句简单提问,即能获得优质输出。在国内,类似体验的产品有
kimi(检索)和 deepseek-R1(推理),但它们通常只处理单个简单问题。而
Manus
不仅可以在线搜索数据,还能够进行多步操作,解决复杂问题。这一特点似乎填补了市场空白。不过,其实际效果及成本如何,尚需进一步观察和讨论。
1.2 用户交互
界面:打开网站上的实例,可以清晰看到工作过程,左侧展示模型思考,右侧展示工具调用,左右分区的交互流畅。 ...
LLM 中的 role
1 取值
role 有 3 个取值:
system: 设置 AI 助手的行为指南和身份定位
user: 用户输入的内容
assistant: AI 的回复内容
2 示例
123456messages = [ {"role": "system", "content": "你是AI助手"}, {"role": "user", "content": "你好"}, {"role": "assistant", "content": "你好,我能帮你什么?"}, {"role": "user", "content": "解释下Python"}]
3 说明
system 消息设定 AI 的行为规范和专 ...
论文阅读_Search-R1:大模型+搜索引擎
1234567英文名称:Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning中文名称:Search-R1:训练大型语言模型进行推理并利用搜索引擎的强化学习链接: http://arxiv.org/pdf/2503.09516v2代码: https://github.com/PeterGriffinJin/Search-R1 (1.4K Star)作者: Bowen Jin, Hansi Zeng, Zhenrui Yue, Dong Wang, Hamed Zamani, Jiawei Han机构: 伊利诺伊大学厄巴纳-香槟分校,马萨诸塞大学阿默斯特分校日期:2025-03-12
1 读后感
由于大语言模型(LLM)的知识更新不够迅速,LLM
结合搜索的应用场景变得非常普遍。未来的发展趋势可能会是“小而美”的 LLM
与强大的 Agent、工具、搜索、RAG 等结合,而不是追求“大而全”的 LLM
来解决所有问题。
这篇文章主要探讨大模型与搜索的结合策略:如何 ...
录视频有感_聊聊一种技不如人的羞愧感
1 录制实感
今天想分享一些录视频过程的感受:一种技不如人的“羞愧感”。
录几个视频介绍我开源工具的用法,这个任务已经列在我的周计划里,可能都有十周以上了,但一直没有录。一方面是因为界面一直在更改,一方面是我对录视频这件事非常抵触。别提把人录上了,哪怕只是录个声音,我都感到很有压力。
可能是平时看视频的时候,给我推荐的都是一些顶尖 UP
主的视频,质量很高,我就觉得别人的水平都很高。录的时候会不自觉地预测别人的反馈,注意力没办法集中在内容上,就更加磕磕绊绊的;要么就是需要录很多次,或者花费大量精力来调整自己的注意力。
每一次对自己录的效果都不满意,这种纠结和负面情绪对之后再做这件事来说,又是一个减分项。
可能很多刚开始录视频的小伙伴都有这种感觉。
这次更新之后,界面的操作确实有些复杂,还包含了很多细节,录视频确实是最直观的方法。只好咬牙又重新开始录制。但仍然有磕巴,停顿,口头语,声音忽大忽小的问题……
忽然想起去年年底开发了一个视频编辑工具,当时因为忙其他事情,也没怎么用。这次才真正开始用上。
2 借助工具
流程如下:
使用视频会议录屏并导出 mp4
也可以用其他方法进行录屏
...
TabPFN
1 简介
TabPFN(Tabular Prior-Data Fitted Network)是由 Meta AI
团队开发的针对表格数据的神经网络分类器。
1.1 主要特点是
无需超参数调优:TabPFN 与 XGBoost、LightGBM
等传统树模型不同,它即插即用,不需调整超参数。
极快的推理速度:TabPFN
训练和预测时间不到一秒,远超深度学习模型。
基于
Transformer:尽管规模小,它在预训练时利用大量合成数据,实现对新数据集的良好泛化能力。
适合小型数据集(<10K 样本):TabPFN
在小数据集上表现出色,但对大规模数据暂不是最佳。
1.2 适用场景
对于小型表格数据集,希望能够快速获得高质量的分类结果。
不希望投入太多时间在参数调优上,需要一个即插即用的分类器。
2 原理
TabPFN 通过元学习(Meta-Learning)预训练一个
Transformer,让其学习各种合成数据的模式,从而可以在新数据集上实现零训练和极速推理。对于小型表格数据分类任务,它是一个开箱即用且无需调参的强力工具。
3 阶段
预训练阶段(Offline Lear ...
doocs-md
doocs-md 是一个开源的公众号 Markdown 编辑器,能实时将 md
语法渲染成公众号图文,其亮点在于:提供多种 CSS 风格。
目前在 Github 上有 6.9K star
主要语言:Vue3, TypeScript,JavaScript
在线使用:https://doocs.github.io/md/
项目地址:https://github.com/doocs/md
用法:
将 md
文档导入编辑器,选择合适的公众号风格和格式,如果有图片且为本地图,默认需手动依次上传
复制 ->内容粘贴到公众号后台。
doocs-md
的发布功能需要配合浏览器插件“微信公众号同步助手”使用,可将文章发布到多个平台。
支持本地图片转换成线上图片。
问题:
不如 ob 插件上传图片那么方便
优点:
可传多个平台
标题,margin,字体大小都很合适,有一些可选格式