试用文心一言
1 入口
https://yiyan.baidu.com/
2 界面
2.1 整体界面
目标:作为普通用户使用。
结果:整体设计很好,各种角色和提示词,界面也好看,细节到位。
3 模型效果
3.1 写一段微信小程序
目标:对于本土化的工具,国外文本生成支持不是很好。
结果:看着还不错,还没试运行。
3.2 当朋友聊天我会找谁
目标:讨论一些人文问题,提出一些之前和 ChatGPT
聊到的问题,对比答案。
结果:答案也大差不差,呵呵…… 相对 ChatGPT,我觉得 ERNIE
比较教条,调性不太一样。
3.3 业务能力
目标:具体业务的能力。
结果:测试了一下总结长文的能力,理解能力可用。
4 易用性
4.1 申请 API
目标:真正解决问题,还是需要使用 API。
结果:230831 早上 3:00 申请,10:13 收到短信,通过审核。
4.2 费用
目标:看看用哪个更划算
结果:差不多
文心一言:ERNIE-Bot-turbo 0.008 元/千 tokens
ChatGPT:0.002 美元/千 tokens
评论:
千帆支持多个模型,有 ERNIE ...
hexo使用说明
1 引言
Hexo 是一个简单、快速、强大的博客发布工具,支持 Markdown
格式,有众多优秀插件和主题。我一般使用 Markdown 语法编写文章,通过 Hexo
命令行工具生成静态网页,并通过 Hexo 部署到网站。
2 配置环境
安装 Hexo 之前先要安装 javascript 开发环境,因为怕麻烦,就直接使用了
Hexo 的 docker image 现成环境。具体版本用了轻量级且稳定的系统 alpine
版,整个镜像只有几十兆,其中还包含简单的 vi 编辑器。我的宿主机系统是
Ubuntu 22.04,具体操作如下:
1234$ docker pull taskbjorn/hexo:alpine-latest$ sudo mkdir /exports/hexo_data -p # 数据存放在 docker 之外$ sudo chmod 777 /exports/hexo_data$ docker run -it --rm --name my_hexo_container --privileged=true -p 4000:4000 -v /exports/hexo_da ...
构建个人博客_Obsidian_github
1 初衷
很早就开始分享文档,以技术类的为主,一开始是
MSN,博客,随着平台的更替,后来又用了 CSDN,知乎,简书…… 再后来是
Obsidian,飞书,Notion,常常有以下困扰:
1.1 问题
各平台格式不同,审核规则不同,需要花很多时间上传多个平台,文档更新成本也高。
分类太简单,搜索困难,不能满足要求。
虽然积累了一些积分和关注,但是平台更替,被黑,不可控。
想表达的东西很多:技术文,书评,旅行,画画,其它作品,日常感受;长文与短文,文献与田野的不同风格;每个平台调性,受众不同,全放一起,显得很不专业。
1.2 优势
这么看来,自建平台相对来说更自由,更方便:
租个每年几百块钱的服务器,或者先用个免费平台。
从内容到数据迁移更自由,可利用工具切换平台,减少时间成本,一键分享/更新。
构造一种介于“给自己看”和“给别人看”之间的状态,打通公/私分享内容。
在自己的 blog 和 其它内容之间建立深度链接。
设计自己的逻辑,做自己喜欢的分类和屏蔽规则,让不同类型的内容互不干扰。
1.3 劣势
但也存在一些问题:
学习成本:虽然入门成本不高,但想做到自己满意,需要花很 ...
主题笔记_AI绘画
1 工具使用
1.1 Midjourney vs Stable
Diffusion
收费、审核、门槛;开源、部署、海量模型、可控、要求
生态:平台、插件、模型、文档;自已训练
1.2 环境
AI绘画_SD_搭建环境
docker 镜像:siutin/stable-diffusion-webui-docker
1234567$ nvidia-docker run -it --name sdw --gpus all --network host \ -v $(pwd)/models:/app/stable-diffusion-webui/models \ -v $(pwd)/outputs:/app/stable-diffusion-webui/outputs \ -v $(pwd)/extensions:/app/stable-diffusion-webui/extensions \ --rm siutin/stable-diffusion-webui-docker:cuda-v1.5.1-2023-08-02 \ bash$ ./webui.sh --share --list ...
markdown解析器
1 python markdown 解析器
mistletoe Star 665
主要支持 CommonMark Markdown
mistune Star 2.3k
较量级
markdown_it Start 16.1k
javascript 库
markdown Star 3.4k
对 pandoc 支持相对较好
功能比较强大
帮助页:https://python-markdown.github.io/
markdown2 Start 2.5k
用于转 html
2 mistune
2.1 github 地址
https://github.com/lepture/mistune
2.2 输入 markdown,输出 html
文本。
123import mistunemistune.markdown('I am using **mistune markdown parser**')# 输出: <p>I am using <strong>mistune markdown parser</strong>&l ...
ts_tsfresh
时间序列分析工具包–tsfresh
Pasted image
20211127213158.png
1 简介
官方文档:https://tsfresh.readthedocs.io/en/latest/index.html
源码:https://github.com/blue-yonder/tsfresh
Star:目前 6.1K
笔者推荐:看一遍官方文档,再试一下源码中的例程
tsfresh/notebooks/examples/
介绍:
可对应的长短不一的周期序列进行时间序列特征的提取。
能够自动地从时间序列数据中提取上百种基本的时序特征,如:峰数量,均值,最值等等
2 适用性
2.1 适用
自动地提取时序数据特征,扩充建模时的特征维度
只基于时间序列的聚类、分类和回归任务。
2.2 不适用
不适用于在线数据
不适用于对时间序列数据直接训练建模(sklearn 更加适合)。
不适用于高度不规则的时间序列,对于此类数据,tsfresh
可用于与时间间隔无关的特征提取(如峰值数量);但对于非等间隔的数据(如趋势)应谨慎使用。
3 安装
1$ pip install ...
PGSQL使用方法
#数据存储/PGSQL
1 概念
1.1 PGSQL 与 MySQL
在开源方面,PostgreSQL 是一个完全开源的数据库管理系统,MySQL
分为两个版本:开源版本和商业版本。
数据类型方面,PostgreSQL
提供了丰富的内置数据类型,包括数组、JSON、HSTORE(键值对)等。
PostgreSQL 对 SQL 标准的支持较好,支持更多高级 SQL 功能。
性能方面,PostgreSQL
支持表分区、并行查询和内置的复制功能,使其适用于大规模应用。
1.2 schema
在 PostgreSQL 中,schema
是一个命名空间,它可以包含数据库对象的名称,如表、视图、索引、数据类型、函数以及运算符。在一个数据库中可以存在多个
schema,它们都有各自的命名空间。这使得多个用户可以在同一个数据库中使用相同的表名,因为它们在不同的
schema 中。
相关 SQL 命令:
CREATE SCHEMA:创建一个新的 schema,
DROP SCHEMA:删除一个 schema
ALTER SCHEMA:更改一个已存在的 schema 的属性
2 建立服务器环境
1 ...
统计程序运行时间
1 方法一:使用 time 函数
12345678import timestart = time.clock()#待统计程序段dur = (time.clock() - start)print("Time used:", dur)
2 方法二:
在 Jupyter 的 cell 开始处加关键字 time,统计代码段运行时间
1%%time
注意:使用该方法可能影响 debug 信息输出,debug 时请注意关闭
3 方法三:
在程序行前加关键字 time,统计代码行运行时间
1%time 程序行
4 方法四:
使用 cProfile
模块生成脚本执行的统计信息文件(运行时间,调用次数),使用 pstats
格式化统计信息,并根据需要做排序分析处理
4.1.1 示例
1234567891011121314151617import cProfileimport pstatsimport redef a(): re.compile("foo|bar")def b(): for i in range(50000): a() ...
AI绘画_SD_下载模型
1 模型下载
Stable Diffusion (简称 SD) 模型主要从 Huggingface, github, Civitai
下载。
Huggingface:主要提供主流 AI 绘画模型下载。
github:也有一些小模型放在 github 下供下载使用。
Civitai:AI 艺术共享平台,可下载海量 SD 开源模型(推荐)。
2 模型类别
SD 支持不同类型的模型,比如:基础模型,Lora,ControlNet,VAE,CLIP
等。模型扩展名一般为 ckpt,safetensors,pt,pth
等。下面介绍几种最重要的模型。
3 基础模型
3.1 介绍
基础模型一般包含完整的 TextEncoder、U-Net、VAE。
模型大小一般为 2-8G,真实风格模型相对 2D 风格模型更大。
目前最新的模型是 SDXL 1.0(约占 8G 显存),最常用的模型是 SD
1.5(约占 4G 显存)。
需要手工下载后,复制到 models/Stable-diffusion/
目录下,才可识别和使用。
3.2 推荐
v1-5-pruned-emaonly:默认模型,偏真实风格,可 ...
AI绘画_SD_搭建环境
一周之内体验了:Diffusion,CLIP,Segment
Anything,Insightface,LoRA,ConnectNet
诸多算法的实际应用,全部是本地部署,0 花费。
1 选择 AI 绘画工具
目前 Ai 绘画界有两大主流工具,Midjourney(简称 MJ)和 Stable
Diffusion(称 SD)。
MJ 于 2022 年 3 月首次面世,已从 V3 模型发展至 V5 模型,SD 由
Stability AI 公司和非营利研究人员在 2022 年 8
月推出的,可在本地免费部署。
MJ 更适合新手入门,10 刀/月,30 刀/月,60
刀/月三档收费;低付费的图片是共享的,高付费服务能一对一出图;学习提示词门槛低;有一定的审核要求,敏感词比较多;少量设置后的画面看起来就很炫,但不太受控,自娱自乐还行,难以稳定输出。
SD
可以设置大量参数,下载海量模型,本地部署,提示词百无禁忌,针对实际工作中的目标,更需要
SD 来定制。它需要本地硬件支持,以及更高的学习成本。
如果只想玩一下,国内也有一些免费平台,浏览器端和手机端微信端都有,就是生成效果比较差。
从两个 ...