1 介绍 Copilot 由 Github 和 OpenAI 合作推出，底层基于的 Codex 模型，通过 GPT-3 继续训练得到。 Copilot 可以先免费试用一个月。所以大家可以先试试，如果觉得必需，再购买或者在某宝以便宜的方式购买。 每次他帮我写注释，或者补全代码的时候，我都觉得钱花得值。 2 VSCode 使用方法 安装插件：github copilot, github copilot lab, github copilot chat 主要功能分成两部分：一部分是生成后续程序 (github copilot)，另一部分通过与 copilot 对话实现更丰富的功能支持 (github copilot chat)。 正常安装后，左侧边栏和界面右下会出现小机器人图标 右下角提示 copilot 需要 github 帐号登录，按提示操作即可一个月免费使用（或者申请个比较便宜的学生号）。 |600 生成后续程序 例如：编写一行注释，回车后等几秒，自动生成的代码以灰色呈现；按 Tab 键接受推荐；Alt+ 左/右中括号可切换不同的推荐；Ctrl+Enter：打开一个 Tab ...

1 介绍 Cursor 是调用 Chatgpt 接口实现的 AI 编程工具，目前 GPT-3.5 可免费使用，GPT-4 只对专业订购者开放。Cursor 本身是一个 IDE，可从其官网下载安装包。 2 使用方法 从其主页：https://www.cursor.so/ 直接下载对应平台的 IDE 安装。 IDE 和 VSCode 很类似，可看作轻量化的 VSCode，使用习惯非常像，常用快捷键都一样。 第一次使用时，可以试用左侧的 demo 测试，融入操作的向导非常贴心。 点击右上角可以对它提问 主要快捷键有两个： Ctrl+K 在代码中操作 Ctrl+M 以提问方式交互 其它的提示都显示在屏幕上，按提示操作很快就学会了，学习成本低。 与代码续写相比，它可以根据需求，生成整个程序，整体更有章法。 |600 3 总结 3.1 优点 使用 ChatGPT 作为算法引擎，免费可用 无需“科学”，直接使用 IDE 和 GPT 结合得非常好，几乎所有操作提示全在界面上 不只是补全，还可以生成整体代码 无需复杂配置，学习成本低 3.2 缺点 IDE 比较简单，不能满足开发需求 ...

1 简介 网传有了大模型之后，很多人都要失业了，其中也包括一部分程序员，确实大模型可以减轻开发者的工作量，但是具体到减轻了多少工作量，哪种类型的工作，学习成本，使用成本如何？不捧不踩,今天我们尽量客观地体验一下。 本文将介绍目前使用最多的三个智能编程助手，它们均可提供：代码解释、注释、生成、实时补全等功能。下面基于 VSCode 环境来介绍具体的使用方法。 2 Copilot 编程助手_Copilot 3 CodeGeeX 编程助手_CodeGeeX 4 Cursor 编程助手_Cursor 5 讨论 5.1 使用场景 对于新手，我们不用再花很多时间强调代码规范了，让大家直接用 AI 就可以润色出不错的代码和注释。 对于不熟悉的领域、代码、编程语言，可以快速地了解和梳理代码，解释代码和逻辑。 自动编写常用的代码片断 自动编写相对复杂的 正则 或 SQL 查询 解决一些简单的 bug 帮助程序员快速入门一门语言或一种框架 快速程序写 demo 和代码框架，程序员只需要做少量修改即可使用 5.2 使用体验 5.2.1 基于场景的设计 最简单的使用大模型的方法是 ChatGPT 聊天界面 ...

简介 最近朋友和 B 站都给我推 MetaGPT，正好有空就下载亲测了一下。MetaGPT 是目前（230809）github 热榜第一名，今天就加了 3000 多个星。 MetaGPT 是一个多智能体框架，能够生成不同的角色：工程师、产品经理、架构师和项目经理。然后共同构建一个软件项目，使用的模型是 GPT-4，与 AutoGPT 有些类似。 中文帮助文档见：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md 实验 搭建环境 12345678910$ git clone https://github.com/geekan/MetaGPT # 约11M左右$ cd MetaGPT$ docker build . -t metagpt:baseline # 生成镜像$ mkdir -p /opt/metagpt/{config,workspace} # 请切换成root后执行$ docker run --rm metagpt/metagpt:v0.3 cat /app/metagpt/conf ...

name_ch: 增强语言模型综述 name_en: Augmented Language Models：a Survey paper_addr: http://arxiv.org/abs/2302.07842 date_publish: 2023-02-15 读后感 文章是一篇增强语言模型（Augmented Language Models，ALMs）综述，这里的增强主要指让大语言模型（LM）通过参数/非参数的方法与外部扩展模块相结合，从而获得超越单纯的自然语言建模的能力。具体能力包含：推理、使用工具、行动。它不仅能解决更多类型的问题，在连接外部模块后，其处理自然语言处理能力也得到突破性进展。 文章从方法论的角论进入阐释。内容分为六部分：介绍，推理，使用工具和行动，学习方法，讨论，结论，正文 22 页。 对于比较关注 LM 领域的读者，这篇文章中并没有提到让人意外的特殊方法。然而，文章对现有方法进行了全面细致的整理，提供了全景视角的概览，详细引用了相关文献和软件示例。是对知识很好的概览和梳理。 下文括号内均为个人观点，不喜勿喷。 1 介绍 1.1 动机 近年来，大型语言模型（LLM） ...

llamaindex结构图 1 功能 大模型学习的主要是通用数据，而用户可能需要让 ChatGPT 在本地的知识库中寻找答案。 普通用户不太可能训练大模型；由于本地数据格式丰富，内容烦多，且考虑到使用成本和 token 大小限制，也不可能在每次提问时都将所有数据传给 ChatGPT。 llamaindex 提供了解决此问题的方法：通过 ChatGPT 把本地文本转成 Embedding，然后在本地建立数据索引；询问时先在本地查询，再用 ChatGPT 将查询结果合成答案，llamaindex 是用户数据和大模型之间的接口。 2 原理 2.1 模块 llama_index 由三个主要模块组成： 数据模块：用于读取本地或网络数据，并将大块文本切分成 Node 块。 索引和存储模块：将文本块通过 ChatGPT 转换成 Embedding 嵌入表示存储在本地，构建本地知识库。 搜索模块：根据使用者提出的问题，在本地知识库中定位可能的答案，然后将问题和答案传给 ChatGPT 整合出最终答案。 2.2 组织数据 当用户提出问题时，需要与本地知识库进行匹配，如果数据库中内容很多，会花费大量 ...

以 ChatGPT 为主的大语言模型出现已有半年时间，研究逐渐从针对模型本身的进化和功能，延展到如何更为有效地利用大模型，将它与其它工具结合，落地，以解决实际领域中的问题。 这里的增强主要指让大语言模型（LM）与外部扩展模块相结合，从而获得超越单纯的自然语言建模的能力。具体能力包含：推理、使用工具、行动。它不仅能解决更多类型的问题，在连接外部模块后，其处理自然语言处理能力也得到突破性进展。 本文介绍一篇增强语言模型综述，以及几篇最近发表的具体应用方法和框架的文章。 增强语言模型综述 论文阅读_增强语言模型综述 英文题目: Augmented Language Models: a Survey 中文题目: 增强语言模型综述 论文地址: http://arxiv.org/abs/2302.07842 解读：https://blog.csdn.net/xieyan0811/article/details/130910473?spm=1001.2014.3001.5501 （将近 5000 字，太长就不贴了） 一篇综述性文章，来 Meta，发布时间为 2023-02-15。 文章从方法论的角论 ...

1 介绍 本次分享包含音频压缩，语音识别，语音合成，以及近两年来大模型在音频领域的应用，涉及八篇论文和一个近期 github 霸榜的语音合成工具。 结果如下图所示：（图链接：audio_llm） |500 共涉及三种主要技术：音频压缩、音频表示、语音合成； 主要技术来自：google（绿色），微软（紫色）、Facebook（黄色）、Suno-ai（红色） 图中也大致描绘了各技术出现的先后顺序（从上到下） 图中线条表示各技术的依赖和包含关系 除了最近霸榜 Bark，其它都能找到技术论文，并在下文中进行了简单介绍 2 基本概念 本部分介绍音频领域的基本概念。 2.1 音素 语音中最小的、不可再分的语音单元。在不同语言中，音素数量也有所不同，例如英语中有大约 44 个音素，中文普通话中有约 20 个声母和 38 个韵母。 2.2 语义特征与声学特征 语义特征是指语音合成的内容，如：音调、语速、语调；而声学特征则是指语音的物理属性，如基频、共振峰等。二者在不同场景及文章中定义也不完全一致。可以简单地理解为：语义与文本内容更相关，声学与声音更相关，即：文本 ->语义 ->声 ...

1 介绍 多语言的文字转语音模型。 地址: https://github.com/suno-ai/bark 2 模型原理 Bark 通过三个 Transformer 模型，将文本转换为音频。 2.1 文本到语义 Token 输入：由 Hugging Face 的 BERT 标记器分词的文本 输出：编码生成音频的语义 Token 2.2 语义到粗略 Token 输入：语义 Token 输出：来自 Facebook 的 EnCodec 编解码器的前两个 codebooks 的 Token 2.3 粗略到细节 Token 输入：EnCodec 的前两个 codebooks 输出：EnCodec 的 8 个 codebooks 3 使用方法 3.1 环境配置 1docker pull pytorch/pytorch:2.0.0-cuda11.7-cudnn8-runtime 运行 docker 1nvidia-docker run -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all -p 889 ...

name_ch: W2V-BERT：结合对比学习和 Mask 语言建模进行自监督语音预训练 name_en: w2v-BERT：Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training paper_addr: https://ieeexplore.ieee.org/document/9688253/ date_publish: 2021-12-13 1 读后感 w2v-BERT 是音频的表示学习。模型可用于优化语音识别。可以看作对 w2v 2.0 的延展。 2 摘要 文中提出自监督的语音表示学习 w2v-BERT，它结合了对比学习和 Mask 语言模型，前者使用模型将输入的连续语音信号离散化为一组有限的可辨别的语音标记；后面通过 Mask 方法生成结合上下文的语音表示。 相对于之前模型，w2v-BERT 结合了两个不同模型，实现了 end-to-end 训练。w2v-BERT 优于 wav2vec 2.0 30% 以上。 3 介绍 主要贡献 提 ...