markdown解析器
1 python markdown 解析器
mistletoe Star 665
主要支持 CommonMark Markdown
mistune Star 2.3k
较量级
markdown_it Start 16.1k
javascript 库
markdown Star 3.4k
对 pandoc 支持相对较好
功能比较强大
帮助页:https://python-markdown.github.io/
markdown2 Start 2.5k
用于转 html
2 mistune
2.1 github 地址
https://github.com/lepture/mistune
2.2 输入 markdown,输出 html
文本。
123import mistunemistune.markdown('I am using **mistune markdown parser**')# 输出: <p>I am using <strong>mistune markdown parser</strong>&l ...
PGSQL使用方法
#数据存储/PGSQL
1 概念
1.1 PGSQL 与 MySQL
在开源方面,PostgreSQL 是一个完全开源的数据库管理系统,MySQL
分为两个版本:开源版本和商业版本。
数据类型方面,PostgreSQL
提供了丰富的内置数据类型,包括数组、JSON、HSTORE(键值对)等。
PostgreSQL 对 SQL 标准的支持较好,支持更多高级 SQL 功能。
性能方面,PostgreSQL
支持表分区、并行查询和内置的复制功能,使其适用于大规模应用。
1.2 schema
在 PostgreSQL 中,schema
是一个命名空间,它可以包含数据库对象的名称,如表、视图、索引、数据类型、函数以及运算符。在一个数据库中可以存在多个
schema,它们都有各自的命名空间。这使得多个用户可以在同一个数据库中使用相同的表名,因为它们在不同的
schema 中。
相关 SQL 命令:
CREATE SCHEMA:创建一个新的 schema,
DROP SCHEMA:删除一个 schema
ALTER SCHEMA:更改一个已存在的 schema 的属性
2 建立服务器环境
1 ...
ts_tsfresh
时间序列分析工具包–tsfresh
Pasted image
20211127213158.png
1 简介
官方文档:https://tsfresh.readthedocs.io/en/latest/index.html
源码:https://github.com/blue-yonder/tsfresh
Star:目前 6.1K
笔者推荐:看一遍官方文档,再试一下源码中的例程
tsfresh/notebooks/examples/
介绍:
可对应的长短不一的周期序列进行时间序列特征的提取。
能够自动地从时间序列数据中提取上百种基本的时序特征,如:峰数量,均值,最值等等
2 适用性
2.1 适用
自动地提取时序数据特征,扩充建模时的特征维度
只基于时间序列的聚类、分类和回归任务。
2.2 不适用
不适用于在线数据
不适用于对时间序列数据直接训练建模(sklearn 更加适合)。
不适用于高度不规则的时间序列,对于此类数据,tsfresh
可用于与时间间隔无关的特征提取(如峰值数量);但对于非等间隔的数据(如趋势)应谨慎使用。
3 安装
1$ pip install ...
统计程序运行时间
1 方法一:使用 time 函数
12345678import timestart = time.clock()#待统计程序段dur = (time.clock() - start)print("Time used:", dur)
2 方法二:
在 Jupyter 的 cell 开始处加关键字 time,统计代码段运行时间
1%%time
注意:使用该方法可能影响 debug 信息输出,debug 时请注意关闭
3 方法三:
在程序行前加关键字 time,统计代码行运行时间
1%time 程序行
4 方法四:
使用 cProfile
模块生成脚本执行的统计信息文件(运行时间,调用次数),使用 pstats
格式化统计信息,并根据需要做排序分析处理
4.1.1 示例
1234567891011121314151617import cProfileimport pstatsimport redef a(): re.compile("foo|bar")def b(): for i in range(50000): a() ...
AI绘画_SD_下载模型
1 模型下载
Stable Diffusion (简称 SD) 模型主要从 Huggingface, github, Civitai
下载。
Huggingface:主要提供主流 AI 绘画模型下载。
github:也有一些小模型放在 github 下供下载使用。
Civitai:AI 艺术共享平台,可下载海量 SD 开源模型(推荐)。
2 模型类别
SD 支持不同类型的模型,比如:基础模型,Lora,ControlNet,VAE,CLIP
等。模型扩展名一般为 ckpt,safetensors,pt,pth
等。下面介绍几种最重要的模型。
3 基础模型
3.1 介绍
基础模型一般包含完整的 TextEncoder、U-Net、VAE。
模型大小一般为 2-8G,真实风格模型相对 2D 风格模型更大。
目前最新的模型是 SDXL 1.0(约占 8G 显存),最常用的模型是 SD
1.5(约占 4G 显存)。
需要手工下载后,复制到 models/Stable-diffusion/
目录下,才可识别和使用。
3.2 推荐
v1-5-pruned-emaonly:默认模型,偏真实风格,可 ...
AI绘画_SD_搭建环境
一周之内体验了:Diffusion,CLIP,Segment
Anything,Insightface,LoRA,ConnectNet
诸多算法的实际应用,全部是本地部署,0 花费。
1 选择 AI 绘画工具
目前 Ai 绘画界有两大主流工具,Midjourney(简称 MJ)和 Stable
Diffusion(称 SD)。
MJ 于 2022 年 3 月首次面世,已从 V3 模型发展至 V5 模型,SD 由
Stability AI 公司和非营利研究人员在 2022 年 8
月推出的,可在本地免费部署。
MJ 更适合新手入门,10 刀/月,30 刀/月,60
刀/月三档收费;低付费的图片是共享的,高付费服务能一对一出图;学习提示词门槛低;有一定的审核要求,敏感词比较多;少量设置后的画面看起来就很炫,但不太受控,自娱自乐还行,难以稳定输出。
SD
可以设置大量参数,下载海量模型,本地部署,提示词百无禁忌,针对实际工作中的目标,更需要
SD 来定制。它需要本地硬件支持,以及更高的学习成本。
如果只想玩一下,国内也有一些免费平台,浏览器端和手机端微信端都有,就是生成效果比较差。
从两个 ...
AI绘画_SD_界面操作
1 介绍
本文将介绍 Stable Diffusion
的具体使用方法。首先,介绍界面中的重要元素,如图所示:
1.
基础模型:基础模型是最重要的设置项
文生图:选项卡列出了各大功能,文生图指通过文字生成图片
图生图:图生图指通过图片和文字生成图片
修复照片:用于优化图片,提升精度,常用来修复旧照片
设置:软件设置,VAE 模型可在此设置
插件:用于安装和管理插件,注意命令行启动时应允许安装插件
提示词:提示词分为正向提示和负向提示,负向提示用于限制可能的问题
采样方式:常用 Euler a,DPM2++2M Karras
提示词相关性:设置画面与提示词的相关性,一般设为
5-10,如果太高,色彩会过于饱和
扩展模型:设置基础模型的附加模型,Embedding 和 LoRA
模型就在此设置(换了模型后,要刷新一下 LoRA,才能显示对应版本的
LoRA)
生成按钮:按此按钮生成图片
2 提示词
2.1 提示词格式
提示词用于描述待生成的图像内容
提示词可支持中文,但不如英文理解的好
多个提示词可用逗号隔开,无需符合英文语法
对提示词加权重:
用小括号把关键词括起来(curly ...
论文阅读_扩散模型_LDM
1234567英文名称: High-Resolution Image Synthesis with Latent Diffusion Models中文名称: 使用潜空间扩散模型合成高分辨率图像地址: https://ieeexplore.ieee.org/document/9878449/代码: https://github.com/CompVis/latent-diffusion作者:Robin Rombach日期: 2022-06-01引用: 2275
1 读后感
Latent Diffusion
Models(LDMs)基于潜空间的扩散模型,是目前主流的基础模型,Stable
diffusion 就是基于 LDMs
原理工作的。之前的扩散模型运算都在像素层面,优化通常会消耗数百个 GPU
天,且评估和推理成本也很高。LDMs
大量自编码器的运算基于潜空间数据,降低了计算复杂度,从而大幅节省了算力,并保持了图像质量和灵活度,它让更多人可以训练模型。其应用场景包含有条件(根据文本或图像生成图像)和无条件(去噪/着色/根据涂鸦合成)的图像生成。
研究背景和动机
扩散模型是由逐层去噪的自 ...
论文阅读_生成模型_VAE
英文名称: Auto-Encoding Variational Bayes
中文名称: 自编码变分贝叶斯
论文地址: http://arxiv.org/abs/1312.6114
时间: 2013
作者: Diederik P. Kingma, 阿姆斯特丹大学
引用量: 24840
1 读后感
VAE 变分自编码(Variational
Autoencoder)是一种生成模型,它结合了自编码器和概率图模型的思想。它的目标是:解决对复杂性高,且量大的数据难以拟合的问题。具体方法是:使用基于变分推理的原理,以变分下界作为目标函数,用梯度方法求取模型参数。
2 通俗理解
听起来非常抽象,简单地说:变分自编码器是自编码器的改进版。
2.1 自编码器
自编码器通常由编码器和解码器两部分组成,其中编码器将原始数据映射到低维表示,解码器则将低维表示映射回原始数据空间。即:原始数据为
x,将其输入编码器降维后,变成数据 z,再经过编码器还原成数据
x'。它常用于高维数据的低维表示和从低维表示中生成高维数据。比如:图像去噪,修复图片,生成高分辨率图片等。
2.2 变分自编码器
变分自编码器在中间加了一 ...
论文阅读_扩散模型_SDXL
123456英文名称: SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis中文名称: SDXL:改进潜在扩散模型的高分辨率图像合成论文地址: http://arxiv.org/abs/2307.01952代码: https://github.com/Stability-AI/generative-models时间: 2023-07-04作者: Dustin Podell
1 读后感
SD 是语言引导的扩散模型。SDXL 是 2023 年 7 月 Stable Diffusion
新发的大模型框架,它是潜在扩散模型(LDM)扩展。其主要效果是:加强了画面细腻度,优化了构图,以及对语言的理解能力。
我对比了 SD 1.5 和 SDXL
模型,感觉速度差不太多,个人感觉:图片质量,对文字的理解略有提升,可能因为目前
SDXL 的基模比较少,用的还不太多。个人理解,目前阶段,无论是 AI
写作,绘画还是编程,都需要与人和其它工具深度结合,远不到可以独立解决问题,自动生成最终成果的阶段,但确实能提 ...