avatar
Articles
878
Tags
282
Categories
185

Yan 的杂物志_个人主页分享
Search
2023年_大模型相关的热门开源工具
Created2023-12-27|2_Note0_Technic0_工具GPT应用增强工具
1 引言 在 OPENAI 发布 ChatGPT 后的一年里,整个人工智能领域经历了迅猛的演变,对写作、编程等多个领域的工作方式产生了深刻的影响。2023 年整个行业都将聚焦于自然语言处理大模型,进行了大量实验和尝试,积累了宝贵的经验,或许明年将是人工智能应用大规模落地,真正产生价值的时刻。 开源项目可以被视为一个广阔的实验场,实验展示了许多可能性和成果,以及关注的热点。虽然并非全部应用场景,但从中我们可以窥见一二。 本文以 GitHub 上的开源项目为切入点,来看看大模型相关的高评分开源工具。旨在了解社区最关注的项目,这些工具实现了哪些功能,采用了什么样的技术,可能的盈利模式,以及它们当前仍然面临的挑战。 2 高星和热榜 梳理热门榜单和热门关键字搜索中的 topN 开源项目,深入了解社区对各个领域的关注、不同思路的探索,以及实现方法的多样性。 2.1 Python 中文新秀榜 GitHub-Chinese-Top-Charts(231204)中文新秀榜 ->软件类 ->Python 榜 地址 binary-husky/gpt_academic 48.3k Star 学术 ...
优秀的绵羊
Created2023-12-17|2_Note1_Readings人文社会
优秀的绵羊|300 1 简介 1.1 书籍简介 2008 年,在常春藤盟校待了 24 年之后,耶鲁大学教授威廉·德雷谢维奇决定辞去自己的终身教职,离开这所常春藤名校。之所以这么做,是因为他感觉当前的美国精英教育已经陷入了误区,这套系统下培养出来的学生大都聪明,有天分,斗志昂扬,但同时又充满焦虑、胆小怕事,对未来一片茫然,极度缺乏目标感:他们被包裹在一个巨大的特权泡泡里,所有人都在老实巴交地向着同一个方向前进。他们非常擅于解决手头的问题,却不知道为什么要解决这些问题。 在即将辞去耶鲁教职之际,他发表了一篇文章《精英教育的劣势》来讨论这些问题。让他万万没想到的是,几周之内,它的阅读量就超过了 10 万次(后来的累计阅读量超过了 100 万次)。很明显,这篇文章触动了很多人的神经。 从那之后,他开始应邀到美国各地的大学发表演讲,跟学生们交流,回答他们的问题,也向他们请教了许多问题,并倾听和了解了他们的答案。这本书就是他对这段经历的思考和总结。 在本书当中,作者德雷谢维奇历数哈佛、耶鲁、普林斯顿等常春藤学校学生的“数宗罪”:过于自信却输不起;朋友圈同质化,固步自封;思维僵硬,与社会脱节, ...
GPT应用_PrivateGPT
Created2023-12-14|2_Note0_Technic0_工具GPT应用增强工具
项目地址:https://github.com/imartinez/privateGPT 1 功能 1.1 整体功能,想解决什么问题 搭建完整的 RAG 系统,与 FastGPT 相比,界面比较简单。但是底层支持比较丰富,可用于知识库的完全本地部署,包含大模型和向量库。适用于保密级别比较高,或者完全不想使用收费模型和服务的情况。 1.2 当前解决了什么问题,哪些问题解决不了 PrivateGPT 提供了整体转换、入库、存储、匹配、合成答案,图形界面的解决方案,并提供图形界面用于检索操作。 RAG 所面对的问题,比如不够准确,多文档组合生成答案这些问题,需要进一步细化工具,似乎不能通过架构来解决。另外,由于多数本地部署的模型效果与 ChatGPT 差距比较大,这里只是看到了本地部署的架构和实现的可能性,部署后用户是否能接受其效果,还待验证。 1.3 提供哪些功能点,其中哪些是刚需 核心功能是通过简单的操作,实现对本地文件的检索和问答,功能相对单一。 1.4 用户使用难度,操作逻辑是否过于复杂 整体工具链使用了 poetry 构建,安装相对方便。但由于包含了深度学习库,肯定比一般项目复杂 ...
开源项目_大模型应用_awesome-chatgpt-prompts-zh
Created2023-12-14|2_Note0_Technic0_工具GPT应用增强工具
https://github.com/PlexPt/awesome-chatgpt-prompts-zh 1 功能 整体功能,想解决什么问题 ChatGPT 中文调教指南:提供一些常用的使用场景及对应的 Prompt 提示 当前解决了什么问题,哪些问题解决不了 针对想解决实际问题,但不知道如何描述,以及不知道 AIGC 可以解决什么问题的用户,进行很好的使用引导。 项目主要提供数据,无代码;程序员可以参考其中的一些提示,普通用户无法直接拿来使用。 提供哪些功能点,其中哪些是刚需 提供丰富的场景与提示的对应关系 用户使用难度,操作逻辑是否过于复杂 作者团队除了提供该应用的网页版,他还提供了 Windows, Mac, Linux, Android,小程序入口。可通过试用和购买其附费服务使用。 2 技术栈 技术栈是什么 这里没有什么代码,主要是场景及相关的提示的数据 现有底层工具消化了哪些常用功能 源自项目:https://github.com/f/awesome-chatgpt-prompts (95.1K star),可以看作是这个项目的中文版本,但比英 ...
GPT应用_chuanhu川虎
Created2023-12-14|2_Note0_Technic0_工具GPT应用增强工具
https://github.com/GaiZhenbiao/ChuanhuChatGPT 1 功能 1.1 整体功能,想解决什么问题 官网说明:为 ChatGPT 等多种 LLM 提供了一个轻快好用的 Web 图形界面和众多附加功能 1.2 当前解决了什么问题,哪些问题解决不了 支持多种大模型(也可接入本地模型),简单的本地文档提问,可以连网查询实时数据,提供常用提示词,支持多个对话,小而美的界面。 个人感觉:通用的功能都有,精细度一般。 1.3 提供哪些功能点,其中哪些是刚需 一般人可能主要使用 OPENAI 聊天为主,附加的实时搜索和与文件对话可能偶尔使用。 1.4 用户使用难度,操作逻辑是否过于复杂 基本属于简单配置一下,开箱即用,整体 Docker 也比较轻量,容易部署。配置时有一些细节,还需要注意。 2 技术栈 2.1 技术栈是什么: 代码主要由 Python 编写,前端由 Gradio 实现,中间层使用 Langchain,词向量使用 faiss 2.2 现有底层工具消化了哪些常用功能 使用 langchain 加强了对大模型的调用 使用 grad ...
数据库_mongoDB
Created2023-12-13|2_Note0_Technic3_编程数据库
1 介绍 MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。字段值可以包含其他文档,数组及文档数组。其数据结构非常松散,常用于存储比较复杂灵活的数据结构。 MongoDB 基于分布式文件存储,介于关系数据库和非关系数据库之间;是非关系数据库当中功能最丰富,最像关系数据库的。 2 基本概念 数据库:数据库用于保存一组相关数据,由集合组成;相当于关系数据库中的库。 集合:集合用来表示一个实体,如学生集合;集合由文档组成,相当于关系数据库中的表。 文档:文档表示一条记录,比如一位同学可以是一个文档,相当于关系数据库中的记录。 3 用法 123456$ docker pull mongo:5.0.18$ docker run --rm -d -p 27017:27017 -v /宿主机目录:/data/db \ -e MONGO_INITDB_ROOT_USERNAME=adminUser \ -e MONGO_INITDB_ROOT_PASSWORD=adminPassw ...
GPT应用_FastGPT
Created2023-12-13|2_Note0_Technic0_工具GPT应用增强工具
1 功能 1.1 整体功能,想解决什么问题 官方说明:FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景! 个人体会:在不用编程的情况下,快速建立简单的本地知识库。 1.2 当前解决了什么问题,哪些问题解决不了 作者团队可能是觉得大模型本身太单薄了,希望通过结合其它工具,做一个中间层的方案,用大模型解决更多问题。 向下接入了多个大模型:GPT、Claude、Spark、ChatGLM 等;向上除了提供 很好用的 Web 工具,还提供了类似 OpenAI 的 API 供其它程序接入其功能,如:微信,飞书……;针对本地知识库,实现了数据的解析,存储,问答功能,并做了一些优化(评价本地知识库效果是一个非常复杂的问题,不在此讨论)。 提供了工作流 Flow,个人感觉对于想开箱即用的人来说有些复杂;对于深度使用者略显单薄。 计算 Embedding 以及答案的合成都需要连网使用。 1.3 提供哪些功能点,其中哪些是刚需 基本的与大模型聊天问答功能 本地知识库支持, ...
项目包管理工具_poetry
Created2023-12-11|2_Note0_Technic3_编程Python工具
1 介绍 Poetry 是一个用于 Python 项目的包管理工具,它相对于传统的 pip 和 requirements.txt 的优势在于:使得项目依赖管理更加方便,且结合了更多新工具,还提供命令行进一步配置。 当在同一系统或在同一个 docker 中,使用多个 Python 程序时,可能由于工具链冲突无法同时安装,poetry 将每个项目所需要的资源都安装在它自己的虚拟环境中,很好地解决了冲突问题。 使用此方法,可以把库挂在系统之外,也不需要总是重打 docker image 了。 2 用法 2.1 配置文件 设置文件是:pyproject.toml,其中包含包及对应版本,可配置选项等等。 2.2 安装 python 包 Poetry 默认会将 Python 包安装在项目的虚拟环境中,而虚拟环境通常会创建在项目根目录的.venv 文件夹内。 查看安装信息: 1$ poetry env info 安装包 1$ peotry install
openstack插件
Created2023-12-08|2_Note0_Technic3_编程其它编程
1 OpenStack 1.1 功能和原理 OpenStack 是一组可用于扩展和增强的云计算平台功能的组件或模块的集合。包括计算、存储、网络、认证、镜像等。具有高度的可扩展性、灵活性和定制性,广泛应用于公有云、私有云、混合云等各种场景。 OpenStack 可以在任何地方快速部署和管理基础架构,而无需依赖云服务提供商。OpenStack 模块被设计为可插拔的插件。 1.2 架构 用户层:用户可以通过各种方式访问 OpenStack 云环境,如 Web 界面、API、CLI 等。 应用层:应用层是 OpenStack 云环境中运行的应用程序和服务,例如虚拟机、存储、网络、数据库等。 控制层:控制层是 OpenStack 云环境中的核心组件,用于管理和协调应用层的资源。 1.3 我的理解 (不一定对) OpenStack 提供了一个框架,来构建云服务,包含整个系统的组织架构,设计各个组件之间的通讯协议,整体的控制管理等等。 2 插件 2.1 功能 扩展功能通常被设计为可插拔的组件,允许用户根据其需求选择性地添加或拓展功能。 2.2 语言 OpenStack 生态系统中 Python ...
论文阅读_反思模型_Reflexion
Created2023-12-08|2_Note0_Technic2_算法7_模型增强AgentLLM_RL
123456英文名称: Reflexion: Language Agents with Verbal Reinforcement Learning中文名称: 反思:具有言语强化学习的语言智能体文章: http://arxiv.org/abs/2303.11366代码: https://github.com/noahshinn/reflexion作者: Noah Shinn (Northeastern University)日期: 2023-05-20 v1 1 读后感 论文提出了一种强化学习方法。传统的调优主要是通过训练调整网络参数,而文中提出的方法则是“分析”错误,形成反思的“文字”并保存,在之后的决策中,将其作为上下文以帮助决策。 它利用大模型及其周边方法构造了角色的行为、对结果的评价、当不能达成目标时,利用大模型来反思执行过程中具体哪一步出了问题,并将其作为反思存储。这样就构造了基于当前环境的短期存储,和基于反思的长期存储,结合二者使模型在未来做出更好的决策。 可将其视为把之前在棋类游戏中的强化学习扩展到了角色扮演游戏之中。之前的虚拟世界是棋盘,而现在的智能体置身于一个游戏世界 ...
1…313233…88
avatar
Yan.xie
顺流而下还是逆流而上?
Articles
878
Tags
282
Categories
185
Follow Me
Announcement
This is my Blog
Recent Post
什么情况下使用强化学习2025-10-11
围棋经典算法与股票市场预测2025-10-11
强化学习工具及优化方法2025-10-11
强化学习的核心概念与实践应用2025-10-11
金融相关的强化学习工具2025-10-11
Categories
  • 0_IMO90
    • 工作1
    • 方法1
      • 工作1
    • 说给一个人听88
      • 01_自我建构36
        • 实修3
        • 思考与觉悟17
Tags
数据库 阅读心理学 概率 远视镜 股票预测 特征工程 医学 编程 机器学习/XGBoost 浏览器插件 自动化 主题笔记 神经网络 抑郁 心理 量化 阅读/心理学 模型转换 情绪机制 生活 android 卡片 论文阅读 教育 工作思考 阅读哲学 阅读/哲学 数据管理 算法实战 叙事治疗 经济 AI功能 知识库 效率 机器学习/时序 情绪分析 Paper 社会学 金融 自我调节
Archives
  • October 202515
  • September 20256
  • August 202518
  • July 202538
  • June 202537
  • May 202529
  • April 202516
  • March 20258
Info
Article :
878
Total Count :
1228.7k
UV :
PV :
Last Push :
©2020 - 2025 By Yan.xie
Framework Hexo|Theme Butterfly
京公网安备11010802043346号
京ICP备2023029600号-1
Search
Loading the Database