从复杂到简单:揭示小型语言模型推理的认知树
12345678英文名称: From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models中文名称: 从复杂到简单:揭示小型语言模型推理的认知树链接: http://arxiv.org/abs/2311.06754v1代码: https://github.com/alibaba/EasyNLP作者: Junbing Yan, Chengyu Wang, Taolin Zhang, Xiaofeng He, Jun Huang, Wei Zhang机构: 华东师范大学计算机科学与技术学院, 阿里巴巴集团, 上海人工智能教育研究院期刊: EMNLP 2023日期: 2023-11-12
1 读后感
大语言模型的功能主要包括知识能力和思维能力;现在我们越来越多发现模型训练再好也不可能容纳世界知识,幻觉问题再所难免。研究也更多转向模型的思维和解决问题的能力。小模型因其可以本地部署速度快,便于精调,方便验证,成本低而更受关注。这篇论文主要研究如何提升小模型的推理能力。
文 ...
论文阅读_训练大模型用于角色扮演
1234567英文名称: Character-LLM: A Trainable Agent for Role-Playing中文名称: 角色-LLM:训练Agent用于角色扮演文章: [https://arxiv.org/abs/2310.10158](https://arxiv.org/abs/2310.10158)作者: Yunfan Shao, Linyang Li, Junqi Dai, Xipeng Qiu机构: 复旦大学计算机学院日期: 2023-11-16引用次数: 5
1 读后感
论文的目标是使用模型来模拟具体的人物角色,这个想法很有意思,有点类似于反思过程的逆向操作。反思的过程是从具体到抽象,我们根据生活中的具体场景和事件进行思考,通过层层抽象最终形成对一个人的理解。而角色扮演则相反,例如模拟一个历史人物,首先从维基百科获取这个人的信息,这些信息通常是抽象的,需要将这些抽象内容具体化,场景化,使其变成鲜活的经历,然后用这些经历来训练模型。
在从具体到抽象的过程中,数据量逐渐减少,因此可以使用提示,有限的上下文就足够支持;而在文中提出的从抽象到具体的扩展过程中,数 ...
在微信公众号中加入ChatGPT聊天的方法
#公众号 #聊天
1 介绍
开源项目 "chatgpt-on-wechat"
支持通过微信公众号进行调用,这意味着用户可以在与公众号的交互中体验
ChatGPT。由于服务是部署在远端服务器上的,因此用户只需拥有一部手机,就可以在任何环境下与
ChatGPT 进行交流。例如:
|250
为了实现这一功能,至少需要以下资源:
拥有 OPENAI 账号,并能通过 token 来调用聊天工具。
注册并管理一个微信公众号。
拥有一个配备域名的服务器,或者可以使用托管服务器。
实现这项功能的工作流程可以分为两个主要步骤:
在服务器上部署并配置 chatgpt-on-wechat 服务。
在微信公众号后台设置并链接服务器。
虽然 chatgpt-on-wechat
的开源项目中已经提供了详细的使用指南,但在实际部署过程中,我还是遇到了一些小问题。以下记录了我操作的大致步骤,及注意事项。
chatgpt-on-wechat
帮助文档:https://github.com/zhayujie/chatgpt-on-wechat/blob/master/channel/wechatmp/REA ...
推荐github热榜项目_crewAI
1 项目地址
https://github.com/joaomdmoura/crewAI
2 功能
通过设置多个智能体,协同解决问题,以处理复杂任务;这种方法的实现方式是将一个任务的输出作为另一个任务的输入。它的优势在于小而有效,原理直观易懂,而且所需的调用代码也相当简单。
很多工作需要多次交互才能完成,不同角色 的 Agent
可设置成不同模型,不同辅助工具,非常好用。
3 代码分析
当前版本 python 代码 800
多行,但几乎是我看过最简单好用的多工具组合策略。
4 模型
除了 openai,还可以支持本地搭建的模型 ollama。
5 安装
1$ pip install crewai
6 代码
6.1 示例
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859import osfrom crewai import Agent, Task, Crew, Processos.environ["OPENA ...
嫉妒_读书笔记
信息
书名:嫉妒:一种禁忌的激情
作者:Giulia Sissa
分类:心理学、社会学
出版时间:2017
译者:GPT
读后感
作者的观点是:嫉妒是一种正常的情感。面对文化的抵制,社会的面具,我们是否能够承认并大胆地表达自己?
作者从时间和空间的角度进行讨论:从亚里士多德,到斯多葛主义,再到文艺复兴时期的法国,启蒙运动,再到当代的哲学和心理学;跨越欧洲和太平洋岛屿世界。她带领我们了解嫉妒的不同观点和处理方式。看到这里,我才明白《月亮和六便士》到底在写什么。
有些情感,我们知道它确实存在,并且是随着进化而来的。但我们常常拒绝、抵制它。这并不是说让嫉妒肆意蔓延,控制理智,为所欲为;而是要正视它,理解它,接受它,控制它。
" 嫉妒是对他人优越性的承认,因此也是对自己劣势的承认
"。我觉得有时候,我们其实是不愿意承认自己处于劣势,怕犯错,怕被同情,怕表现出嫉妒。这些都会打击到自信、信仰。当我发现自己并不那么正确、那么优秀时,该如何调整与他人的关系,又该如何自处?失去安全感,如何继续生活?确实是心理不够强大,但实际上多数人本来就不是强者。比较、计算、预测,自我定位,这些都写在我们的基 ...
论文阅读_医疗知识图谱_GraphCare
123456英文名称: GraphCare: Enhancing Healthcare Predictions with Open-World Personalized Knowledge Graphs中文名称: GraphCare:通过开放世界的个性化知识图增强医疗保健预测文章: http://arxiv.org/abs/2305.12788代码: https://github.com/pat-jj/GraphCare作者: Pengcheng Jiang, Cao Xiao, Adam Cross, Jimeng Sun, 伊利诺伊大学日期: 2023-05-22
1 读后感
来自 230825 学习会 小丁分享
之前做医疗知识图谱和医疗预测时,最困难的问题包括:
如何结合现有的数据和知识
非结构化的文本类知识如何与数据结合
知识图结构如何设计,如何使用
如何引入时序的逻辑
如何使用大模型的知识和常识
不仅医疗领域,这些问题几乎存在于所有领域的建模。论文 GraphCare
对此进行了探索。这里只展示了不同知识图的优化效果,实际工作中,知识图生成的患者描述特征还可以与患者的检查 ...
Supabase
1 功能
Supabase
是一个开源的后端服务平台,它提供了全功能的后端服务,包括
PostgreSQL
数据库、实时数据库、文件存储、身份验证等。另外,它目前版本提供向量存储功能。
2 托管
Supabase 提供了托管在云服务器上的后端服务,可将后端托管存储在
supabase.co 上,这样就不用去考虑租服务器域名维护的问题了。
3 费用
Supabase 收费有不同档位,免费版,每个 Base 被限制为 1200 条记录,以及
2GB 的附件大小(1200 条记录和 20000
条记录,在存储资源方面几乎没啥差异,这个限制可能也是为了收费考虑),一般测试用够了,但实际应用起来,有加强版
12 刀/月,专业版 24 刀/月等等。supabase.co
国内网络也可以用。当然因为这个项目是开源的,自己搭一个也可以。
4 选型
相对 Django 来说,Supabase
用起来更方便,而且还能托管,在系统维护和后端开发方面比较简单;但是相对灵活和强大性差一点。
5 使用
5.1 使用方法
https://supabase.com/
使用 github 帐号即可登录
Create ...
GPT应用_AutoGPT
项目地址:https://github.com/Significant-Gravitas/AutoGPT
### 1 功能
1.1 整体功能,想解决什么问题
单独使用 ChatGPT
时,只提供基本的聊天,无法实现复杂多步的功能,以及与其它应用交互,如果想提供某种功能,则需要使用程序实现。AutoGPT
目标是建立和使用 AI Agent,设定一个或多个目标,AutoGPT
自动拆解成相对应的任务,并派出 Agent
执行任务直到目标达成,无需编程*。
1.2
当前解决了什么问题,哪些问题解决不了
形成了较为完善的整体流程。在解决具体问题过程中,还需要人的进一步参与,仅使用
GPT 和简单的交互,还是不足以解决一般情况下遇到的问题。
1.3
提供哪些功能点,其中哪些是刚需
建立 Agent
和整体调用框架是其核心功能。个人感觉这个工具并不求大而全,基本思路都是围绕其主功能扩展。除主功能以外,它还提供了:黑客马拉松,benchmark
基线 等功能,供二次开发者使用。
1.4
用户使用难度,操作逻辑是否过于复杂
使用 docker 方式运行比较简单,只需要设置
env,基本上是开箱即用 ...
用 github copilot 帐号和 GPT-4 聊天
开源项目:copilot-gpt4-service
1 原理
将 Github Copilot 请求转换为 ChatGPT 请求,免费使用 GPT-4
模型。也就是说,如果你购买了 Copilot 包月,就可以用此方法免费使用 GPT-4
聊天了。
作者追踪数据包发现:Copilot Chat 后台使用的也是 OpenAI 的
ChatGPT,只是加入了很多提示,以避免闲聊与程序无关的问题。
连接过程并非直接使用 copilot token,还需要连接 github
获取用户信息,因此作者用 go 语言写了一个中转服务,消化了此步骤。
2 操作
从以下网址获得 github copilot token:
https://cocopilot.org/copilot/token
该 token 一般以 ghu_ 或 gho_ 开头。
3 在本地搭建中转服务
123$ git clone https://github.com/aaamoon/copilot-gpt4-service $ cd copilot-gpt4-service$ docker-compose up -d
注意:如果 b ...
论文阅读_AI生成检测_Ghostbuster
123456英文名称: Ghostbuster: Detecting Text Ghostwritten by Large Language Models中文名称: 捉鬼人:检测大语言模型生成的文本文章: http://arxiv.org/abs/2305.15047代码: https://github.com/vivek3141/ghostbuster作者: Vivek Verma,Eve Fleisig,Nicholas Tomlin,Dan Klein日期: 2023-11-13
1 摘要
提出了 Ghostbuster,一种用于检测 AI
生成文本的最先进系统。该方法将文档通过一系列较弱的语言模型,对其特征的可能组合进行结构化搜索,然后训练一个分类器来预测文档是否为
AI
生成的。对于检测黑盒模型或未知模型生成的文本非常有用。并发布了三个新的数据集,可作为学生论文、创意写作和新闻文章领域的检测基准。
2 读后感
通过文章分析,可以看到人工文件与生成文本的主要差异,检测时主要的难点,以及自动生成检测的使用场景和注意事项;并且对比了工具和人类的分辨能力。
从方法上看难度不大,主要组 ...