论文阅读_GPT4_4V
123456英文名称: The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)中文名称: LMM 的黎明:GPT-4V 的初步探索文章: http://arxiv.org/abs/2309.17421中文翻译:https://mp.weixin.qq.com/s/a8Y_yU5XYgJhQ2xMuTK13w作者: Zhengyuan Yang日期: 2023-09-29
1 读后感
GPT-4V 是基于 SOTA LLM
并使用大量多模态数据训练的最先进的具有视觉能力的 LMM。
论文是 2023 年 9 月 29 日微软发布
GPT-4V(视觉)的研究报告。主要讨论了多模态及其在各场景中的应用。文章不涉及公式及具体实现方法,整体偏重经验和测试,看了之后可以少走一些弯路。文章
166 页,近 3W 字,124
张图片,乍一看觉得挺长的,不过实验挺丰富挺有意思的,有点像在飞机上翻杂志的感觉。
整个文章看下来,感觉就像是培养一个机器 " 人
",从底层的视觉和文本能力,推理能力,智商情商,到后面的与物理世界交互,解决具体问 ...
沉浸式翻译
1 介绍
名称:沉浸式翻译(浏览器插件)
地址:https://immersivetranslate.com/docs/installation/
优势:
中英文翻译对照
支持 pdf 翻译
2 使用方法
方法 1:点击右上角翻译图标
方法 2:在网页右键选“沉浸式翻译”
3 快捷键
Alt+W: 翻译整个页面。
Alt+A: 翻译/切换原文(在 arxiv 上翻译论文非常好用)。
CentOS系统
1 yum 简单用法
12$ yum search 名称包含的关键字$ yum install -y xxx
2 软件
2.1 安装 docker 环境
123456$ yum install -y yum-utils device-mapper-persistent-data lvm2$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo$ yum makecache fast$ yum -y install docker-ce$ systemctl start docker$ systemctl enable docker
3 安装 pgsql
1$ sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
Ubuntu远程桌面_向日葵
1 说明
通过即时生成的序列号和验证码访问远程主机桌面
各操作系统均可使用,可相互调用
无需考虑 IP 问题
2 安装方法
2.1 下载
https://sunlogin.oray.com/download/linux?type=personal
注意:尽量下图形版,命行行版比较旧,Ubuntu 22.04 报错找不到库
2.2 安装
1$ sudo dpkg -i SunloginClient_11.0.1.44968_amd64.deb
2.3 运行
1$ /usr/local/sunlogin/bin/sunloginclient
Django_1_入门
1 Django
1.1 简介
Django 是一个高级 Python Web 框架,致力于用更少的代码,构建更好的 Web
应用程序,总而言之,它是一个成熟的后端框架。
1.2 为什么使用 Django
后端 Django 配合前端 Vue
的组合确实用的太多了,可以算是一个必备技能。
1.2.1 优点
用户管理,数据库都不用自己处理,不用考虑具体细节实现
生态成熟,周边工具、资源、教程多
1.2.2 缺点
自成体系,有自己的框架,学习成本高
代码结构相对复杂,不像 flask 那么简捷
1.3 相关概念
1.3.1 项目 Project 与 应用 App
项目是整个网站的组织结构,应用程序是网站的功能组件。
一个项目可以包含多个应用程序;应用程序可以通过 Django
的应用程序架构被多个项目共享。
1.3.2 模型 Model
数据存取层,用于处理与数据相关的所有事务:存取、验证有效性、行为以及数据之间的关系等。
1.3.3 模板 Template
表现层,用于处理具体的显示,包括 HTML 页面和前端模板。
1.3.4 视图 View
业务逻辑层,用于处理模型及模板的相 ...
Django_2_进阶
本文将介绍一些 Django 的进阶用法
1 用户管理
下面介绍最简单的用户管理方法:用 admin 管理员创建普通用户;仅实现
login.html 界面,使用 django 内部逻辑完成用户登录。
1.1 建库
1.1.1 建库
12$ python manage.py migrate$ python manage.py createsuperuser # 创建管理员
1.1.2 修改配置文件
1$ vi mytools/settings.py
加入
123AUTHENTICATION_BACKENDS = [ 'django.contrib.auth.backends.ModelBackend',]
1.2 添加新用户
访问 admin 界面,用刚才创建的 superuser 登录
http://localhost:8001/admin/
按提示创建几个 user 用户
1.3 在界面中调用登录界面
1.3.1 在接口前加装饰器
1$ vi mytools/myapp/views.py
加入
1234from django.contrib.auth.de ...
生成卡通头像
使用场景
有时候不愿意把自己相片直接贴到社交媒体作为头像。
但是每个人都会有想让别人看到的某一面。
弄清楚画中人想要让别人看到的是什么,可能偏服务类的艺术都是这样。
操作方法
上传一张自己的相片,不要大头照,需要比较自然放松的姿式
使用 Segment Anything 把画面中的人抠出来
使用 ControlNet 的 Scribble,设置 Scibble xdog,提取清晰线图
选 img2img 使用原图作为底图
选择一个喜欢的基础模型,调大 denoising
提示词建议:a young woman, light smile, with glasses, warm colored
background, soft light.
论文阅读_大语言模型_Llama2
1234567英文名称: Llama 2: Open Foundation and Fine-Tuned Chat Models中文名称: Llama 2:开源的基础模型和微调的聊天模型文章: http://arxiv.org/abs/2307.09288代码: https://github.com/facebookresearch/llama作者: Hugo Touvron日期: 2023-07-19引用次数: 110
1 读后感
这是一篇 77 页的论文,正文也有 36
页,让人望而却步。整体分成:Introduction,Pretraining,Fine-tune,Safety,Discussion,RelateWork,
Conclusion 几部分,如果没有时间,看看前三个部分,大概 20
页左右也就差不多了。
产出的模型从 7B 到 70B 参数,其成果除了基本的 LLAMA-2
模型,还有精调的 LLAMA 2-CHAT 模型,其精调模型与 ChatGPT (3.5)
性能相当,可作为闭源模型的替代品,且 70B 的体量也是可接受的。
在基础模型方面,文章中没有涉及很新的 ...
论文阅读_大模型_ToolLLM
123456英文名称: ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs中文名称: TOOLLLM:帮助大语言模型掌握16000多个真实世界的API文章: http://arxiv.org/abs/2307.16789代码: https://github.com/OpenBMB/ToolBench作者: Yujia Qin日期: 2023-07-31
1 读后感
论文致力于让大模型学习使用工具,以实现复杂的任务。目前使用工具能力最强的还是
ChatGPT,但不清楚它是如何实现的。文中提出的 ToolLLM
主要用于构建针对 引导调优(instruction-tuning)的训练数据集
ToolBench,最终通过数据对开源的 LLaMA 调优,训练的模型
ToolLLaMA,对工具的使用能力与 ChatGPT 相当。
为了使路径搜索过程更加高效,提出了基于深度优先搜索的决策树(depth-first
search-based decision tree:DFSDT);训练了 API
...
hexo问题及解决
1 推荐主题
butterfly 的默认 layout 很好,尤其对于内容比较多的
blog,安装方法如下:
1234npm install hexo-renderer-pug hexo-renderer-stylus --savenpm install hexo-theme-butterflycp node_modules/hexo-theme-butterfly/_config.yml _config.butterfly.ymlvi _config.yml # 修改 theme: butterfly
2 正常显示 Latex 公式
2.1 切换渲染器
切成 root 权限,安装 pandoc:
1apk add pandoc
2.2 安装插件
这个插件能支持 $ 号模式的 Latex 公式:
1npm install hexo-filter-mathjax
2.3 配置文件
修改 _config 文件如下:
(我直接把插件 github 说明中的配置文件拷过来了)
12345678mathjax: ...