论文工具_easyliter
1 项目地址
https://github.com/Psycoy/EasyLiterature
2 命令行
2.1 写描述
x.md 形如:
1- {{BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.}}
注意一层大括号是只提取信息不下载,两层大括号是提取信息并下载。
括号里的可以设置:article title, published articles' doi, and
pre-published articles' arvix_id, biorvix_id, and
medrvix_id,这样就很好用。
2.2 运行
注意先设代理再运行:
12pip install easylitereasyliter -i b.md -o /tmp/pdf -p 192.168.10.106:12346 -gp single
下载后,md 文件的内容被填充了。
3 程序
如果不想调用命令行,也可以在程序中调用:
(确实能用,也确实挺慢的)
12 ...
docker_compose
1 引言
Docker Compose 是一个简化 Docker 应用程序管理的工具,通过一个名为
docker-compose.yml 的文件定义相关服务、网络和卷。使用 Docker
Compose,你能方便地配置、启动和管理多个 Docker
容器,构建完整的应用堆栈。
2 使用方法
在项目的根目录下创建一个 docker-compose.yml
文件,定义你的服务、网络和卷。下面是一个简单的例子:
2.1 配置 yml 文件
123456789101112131415161718192021222324252627version: '3'services: db: image: postgres:14 container_name: postgres14 ports: - "5433:5432" environment: POSTGRES_PASSWORD: 123456 volumes: - /exports/project/knowjourney:/var/lib/post ...
2023年_大模型相关的热门开源工具
1 引言
在 OPENAI 发布 ChatGPT
后的一年里,整个人工智能领域经历了迅猛的演变,对写作、编程等多个领域的工作方式产生了深刻的影响。2023
年整个行业都将聚焦于自然语言处理大模型,进行了大量实验和尝试,积累了宝贵的经验,或许明年将是人工智能应用大规模落地,真正产生价值的时刻。
开源项目可以被视为一个广阔的实验场,实验展示了许多可能性和成果,以及关注的热点。虽然并非全部应用场景,但从中我们可以窥见一二。
本文以 GitHub
上的开源项目为切入点,来看看大模型相关的高评分开源工具。旨在了解社区最关注的项目,这些工具实现了哪些功能,采用了什么样的技术,可能的盈利模式,以及它们当前仍然面临的挑战。
2 高星和热榜
梳理热门榜单和热门关键字搜索中的 topN
开源项目,深入了解社区对各个领域的关注、不同思路的探索,以及实现方法的多样性。
2.1 Python 中文新秀榜
GitHub-Chinese-Top-Charts(231204)中文新秀榜 ->软件类 ->Python
榜
地址
binary-husky/gpt_academic 48.3k Star 学术 ...
优秀的绵羊
优秀的绵羊|300
1 简介
1.1 书籍简介
2008 年,在常春藤盟校待了 24
年之后,耶鲁大学教授威廉·德雷谢维奇决定辞去自己的终身教职,离开这所常春藤名校。之所以这么做,是因为他感觉当前的美国精英教育已经陷入了误区,这套系统下培养出来的学生大都聪明,有天分,斗志昂扬,但同时又充满焦虑、胆小怕事,对未来一片茫然,极度缺乏目标感:他们被包裹在一个巨大的特权泡泡里,所有人都在老实巴交地向着同一个方向前进。他们非常擅于解决手头的问题,却不知道为什么要解决这些问题。
在即将辞去耶鲁教职之际,他发表了一篇文章《精英教育的劣势》来讨论这些问题。让他万万没想到的是,几周之内,它的阅读量就超过了
10 万次(后来的累计阅读量超过了 100
万次)。很明显,这篇文章触动了很多人的神经。
从那之后,他开始应邀到美国各地的大学发表演讲,跟学生们交流,回答他们的问题,也向他们请教了许多问题,并倾听和了解了他们的答案。这本书就是他对这段经历的思考和总结。
在本书当中,作者德雷谢维奇历数哈佛、耶鲁、普林斯顿等常春藤学校学生的“数宗罪”:过于自信却输不起;朋友圈同质化,固步自封;思维僵硬,与社会脱节, ...
GPT应用_PrivateGPT
项目地址:https://github.com/imartinez/privateGPT
1 功能
1.1 整体功能,想解决什么问题
搭建完整的 RAG 系统,与 FastGPT
相比,界面比较简单。但是底层支持比较丰富,可用于知识库的完全本地部署,包含大模型和向量库。适用于保密级别比较高,或者完全不想使用收费模型和服务的情况。
1.2
当前解决了什么问题,哪些问题解决不了
PrivateGPT
提供了整体转换、入库、存储、匹配、合成答案,图形界面的解决方案,并提供图形界面用于检索操作。
RAG
所面对的问题,比如不够准确,多文档组合生成答案这些问题,需要进一步细化工具,似乎不能通过架构来解决。另外,由于多数本地部署的模型效果与
ChatGPT
差距比较大,这里只是看到了本地部署的架构和实现的可能性,部署后用户是否能接受其效果,还待验证。
1.3
提供哪些功能点,其中哪些是刚需
核心功能是通过简单的操作,实现对本地文件的检索和问答,功能相对单一。
1.4
用户使用难度,操作逻辑是否过于复杂
整体工具链使用了 poetry
构建,安装相对方便。但由于包含了深度学习库,肯定比一般项目复杂 ...
开源项目_大模型应用_awesome-chatgpt-prompts-zh
https://github.com/PlexPt/awesome-chatgpt-prompts-zh
1 功能
整体功能,想解决什么问题
ChatGPT 中文调教指南:提供一些常用的使用场景及对应的 Prompt
提示
当前解决了什么问题,哪些问题解决不了
针对想解决实际问题,但不知道如何描述,以及不知道 AIGC
可以解决什么问题的用户,进行很好的使用引导。
项目主要提供数据,无代码;程序员可以参考其中的一些提示,普通用户无法直接拿来使用。
提供哪些功能点,其中哪些是刚需
提供丰富的场景与提示的对应关系
用户使用难度,操作逻辑是否过于复杂
作者团队除了提供该应用的网页版,他还提供了 Windows, Mac, Linux,
Android,小程序入口。可通过试用和购买其附费服务使用。
2 技术栈
技术栈是什么
这里没有什么代码,主要是场景及相关的提示的数据
现有底层工具消化了哪些常用功能
源自项目:https://github.com/f/awesome-chatgpt-prompts (95.1K
star),可以看作是这个项目的中文版本,但比英 ...
GPT应用_chuanhu川虎
https://github.com/GaiZhenbiao/ChuanhuChatGPT
1 功能
1.1 整体功能,想解决什么问题
官网说明:为 ChatGPT 等多种 LLM
提供了一个轻快好用的 Web
图形界面和众多附加功能
1.2
当前解决了什么问题,哪些问题解决不了
支持多种大模型(也可接入本地模型),简单的本地文档提问,可以连网查询实时数据,提供常用提示词,支持多个对话,小而美的界面。
个人感觉:通用的功能都有,精细度一般。
1.3
提供哪些功能点,其中哪些是刚需
一般人可能主要使用 OPENAI
聊天为主,附加的实时搜索和与文件对话可能偶尔使用。
1.4
用户使用难度,操作逻辑是否过于复杂
基本属于简单配置一下,开箱即用,整体 Docker
也比较轻量,容易部署。配置时有一些细节,还需要注意。
2 技术栈
2.1 技术栈是什么:
代码主要由 Python 编写,前端由 Gradio 实现,中间层使用
Langchain,词向量使用 faiss
2.2
现有底层工具消化了哪些常用功能
使用 langchain 加强了对大模型的调用
使用 grad ...
数据库_mongoDB
1 介绍
MongoDB 是一种 NoSQL
数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON
对象,具体数据结构由键值(key/value)对组成。字段值可以包含其他文档,数组及文档数组。其数据结构非常松散,常用于存储比较复杂灵活的数据结构。
MongoDB
基于分布式文件存储,介于关系数据库和非关系数据库之间;是非关系数据库当中功能最丰富,最像关系数据库的。
2 基本概念
数据库:数据库用于保存一组相关数据,由集合组成;相当于关系数据库中的库。
集合:集合用来表示一个实体,如学生集合;集合由文档组成,相当于关系数据库中的表。
文档:文档表示一条记录,比如一位同学可以是一个文档,相当于关系数据库中的记录。
3 用法
123456$ docker pull mongo:5.0.18$ docker run --rm -d -p 27017:27017 -v /宿主机目录:/data/db \ -e MONGO_INITDB_ROOT_USERNAME=adminUser \ -e MONGO_INITDB_ROOT_PASSWORD=adminPassw ...
GPT应用_FastGPT
1 功能
1.1 整体功能,想解决什么问题
官方说明:FastGPT 是一个基于 LLM
大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过
Flow 可视化进行工作流编排,从而实现复杂的问答场景!
个人体会:在不用编程的情况下,快速建立简单的本地知识库。
1.2
当前解决了什么问题,哪些问题解决不了
作者团队可能是觉得大模型本身太单薄了,希望通过结合其它工具,做一个中间层的方案,用大模型解决更多问题。
向下接入了多个大模型:GPT、Claude、Spark、ChatGLM 等;向上除了提供
很好用的 Web 工具,还提供了类似 OpenAI 的 API
供其它程序接入其功能,如:微信,飞书……;针对本地知识库,实现了数据的解析,存储,问答功能,并做了一些优化(评价本地知识库效果是一个非常复杂的问题,不在此讨论)。
提供了工作流
Flow,个人感觉对于想开箱即用的人来说有些复杂;对于深度使用者略显单薄。
计算 Embedding 以及答案的合成都需要连网使用。
1.3
提供哪些功能点,其中哪些是刚需
基本的与大模型聊天问答功能
本地知识库支持, ...
项目包管理工具_poetry
1 介绍
Poetry 是一个用于 Python
项目的包管理工具,它相对于传统的 pip 和 requirements.txt
的优势在于:使得项目依赖管理更加方便,且结合了更多新工具,还提供命令行进一步配置。
当在同一系统或在同一个 docker 中,使用多个 Python
程序时,可能由于工具链冲突无法同时安装,poetry
将每个项目所需要的资源都安装在它自己的虚拟环境中,很好地解决了冲突问题。
使用此方法,可以把库挂在系统之外,也不需要总是重打 docker image
了。
2 用法
2.1 配置文件
设置文件是:pyproject.toml,其中包含包及对应版本,可配置选项等等。
2.2 安装 python 包
Poetry 默认会将 Python
包安装在项目的虚拟环境中,而虚拟环境通常会创建在项目根目录的.venv
文件夹内。
查看安装信息:
1$ poetry env info
安装包
1$ peotry install