之前一直用在线的 readpaper 看论文，可是文献一多，就觉得分类功能比较弱，也不太好找，另外没办法做整篇笔记，也不能和笔记工具连起来，有点难受。 昨天同事推荐了 Zotero 和 Endnote，看了几篇文章都说 Zotero 比 Endnote 好用，另外，它还能导出 Obsidian Note，在 O 和 Z 之间互相跳转，以及和 Chrome 结合。 1 简介 Zotero 用于收集、组织、引用、分享各类资料，支持网页版，注册账号之后在多端自动同步以及使用浏览器插件。 2 用后感 安上后发现除了论文还支持书籍文献等等功能。感觉 Zotero 覆盖了之前使用软件的所有功能，软件版本也更稳定，翻译也很流畅。 3 安装 Linux 版本 3.1 下载 https://www.zotero.org/ 3.2 安装 12345678910tar xvjf Zotero-6.0.19_linux-x86_64.tar.bz2mv Zotero_linux-x86_64/ /opt/cd /opt/Zotero_linux-x86_64/chmod 777 zoterochmod 777 ...

journal: IEEE Conference on Industrial Electronics and Applications (ICIEA) name_ch: 深度强化学习：简要概述 name_en: A Brief Survey of Deep Reinforcement Learning date_publish: 2017 读后感 本篇介绍包含：应用场景；基于策略的和基于价值的不同方法；具体算法包含：DQN，TRPO，AC。 这个文章，感觉中间那部分比较乱，结构比较乱，内容也只是皮毛，定义也没讲清楚，也不够深入，最后一部分还行。 1. 介绍 强化学习主要针对：自主的智能体通过与环境交互学习最优行为，通过试错随着时间的推移而改善模型。 之前方法伸缩性差，且主要解释低维问题，深度学习算法近年的发展，借助其函数逼近和表示学习（高维状态和动作空间的降维&分层表示）的能力，能更好解决上述问题。 典型的应用场景，如从视频游戏的帧像素学习玩游戏，又如混合有监督学习和强化学习的 AlphaGO（结合了监督，强化学习和传统的启发式搜索算法），还有机器人等等。 2. 奖利驱动行为 ...

英文题目：Deep Learning for Medical Anomaly Detection - A Survey 中文题目：深度学习的医疗异常检测综述 论文地址：https://arxiv.org/pdf/2012.02364.pdf 领域：深度学习，异常检测 发表时间：2021.04 作者：Tharindu Fernando，澳大利亚昆士兰科技大学 出处：ACM Computing Surveys 被引量：1024（谷歌学术） 代码和数据： 阅读时间：22.11.09 1 读后感 主要讨论在医疗数据中使用深度学习方法，以处理影像数据，时间序列为主，同时讨论了医学数据一些特有的属性。 2 介绍 2.1 什么是异常 异常检测的主要任务是识别不符合总体数据分布的数据样本。在医疗领域，除了建模以外，对模型的解释也至关重要。在实际应用中，对异常的定义也比较复杂，比如行为的不一致性；区分噪声与异常；还需要考虑上下文对异常的影响。 2.2 医疗异常的不同 模型在医疗领域的应用包括两部分：诊断（识别当前状态）和预测（未来的状态），这两部分都可能发生异常。 Pasted image 2022 ...

英文题目：Deep Learning for Anomaly Detection: A Review 中文题目：基于深度学习的异常检测综述 论文地址：https://arxiv.org/pdf/2007.02500.pdf 领域：异常检测，深度学习 发表时间：2020.01 作者：Guansong Pang，阿德莱德大学 出处：ACM Comput. Surv. 被引量：697（谷歌学术） 代码和数据：见论文附录 A 阅读时间：2022.11.05 全文翻译：https://blog.csdn.net/pingguolou/article/details/117421638 1 读后感 本篇解读的论文发表于 2020 年，主要介绍基于深度学习的异常检测技术，可作为 2009 年发表的那篇高引的传统异常检测综述的互补。前三章主要是相关问题和挑战（1-3 章）。从第四章开始总结了近年来深度异常检测的具体方法，共 3 大分类（4-6 章），11 个小分类。分别对关键直觉，目标函数，基本假设，优势劣势，及应对挑战方法进行讨论。最后讨论了未来的机会，还提供了大量文献列表和训练数据集，实用性强。本 ...

Jenkins 是一个开源软件项目，是基于 Java 开发的一种持续集成工具，用于软件项目的持续集成。简单地说，你可以通过 Jenkins 服务，把 github 上的更新自动安装部署到指定位置。 1 安装 最简单，又不影响系统的方式，还是以 docker 方式安装： 1$ docker run -p 8080:8080 -p 50000:50000 -v jenkins_home:/var/jenkins_home jenkins/jenkins:lts-jdk11 此时 jenkins 的镜像被自动下载，并启动。 2 配置 用浏览器打开 8080 端口。 然后按界面提示从 docker 中的 passwd 文件中找到密码，并登录。 如果是第一次使用，选“按推荐安装插件”，等进度条运行结束。 按提示设置管理员用户名和密码。 设置完成后即可开始使用。 3 开始使用 不同版本的界面大同小异： 创建任务 (也叫 " 新建 Item" 或 "New 任务 ") 先尝试一下最常用的流水线任务 (也叫 "Pipeline") 点 Github 项目，然后输入 github 项目地址，SCM ...

英文题目：Anomaly Detection: A Survey 中文题目：异常检测综述 论文地址：https://readpaper.com/paper/2122646361 领域：异常检测 发表时间：2009 作者：VARUN CHANDOLA 等，明尼苏达大学 出处：ACM Computing Surveys 被引量：11797（谷歌学术） 1 读后感 一篇典型的综述文章，快速了解异常检测的定义，用途，方法……发表时间比较早，是机器学习异常检测方法的总结。正文 50 多页，比较长。 2 介绍 文章根据方法对异常检测分类，对于每个类别，提供一个基本的异常检测技术，然后展示该类别中新技术与基本技术的差异，此类技术的优缺点及计算复杂度。 异常一般包含：异常 (anomalies)、离群点 (outliers)、不一致的观察结果 (discordant observations)、特例 (exceptions)、畸变 (aberrations)、意外 (surprises)、特性 (peculiarity) 或污染 (contaminants)。其中又以异常和离群点最为常见。 异常检测的 ...

英文题目：The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models 中文题目：用基于彩票假设方法裁剪视觉模型 论文地址：https://arxiv.org/pdf/2012.06908.pdf 领域：机器视觉，深度学习，模型剪枝 发表时间：2021 作者：Tianlong Chen 等，德克萨斯大学 出处：CVPR 被引量：26 代码和数据：https: //github.com/VITA-Group/CV_LTH_Pre-training 阅读时间：22.10.06 读后感 文章介绍了一种针对图像处理的剪枝算法，不同与以往先训练后剪枝的方法，它的目标是直接训练出一个稀疏的子网络，并使子网络性能与稠密网络性能相当。 介绍 预训练模型提升了计算机视觉的效果，目前主流的方法是有监督学习和半监督学习。作者提出：可否在不影响下游任务性能的同时，降低预训练模型的复杂度？ 文中提出基于彩票假设的方法（lottery ticket hypothesi ...

常用线性回归模型 多元线性回归 多元线性回归是最常用的预测数值型目标的建模方法，也常用于数据分析中的多因素分析。 \[ \min_w||Xw-y||_2^2 \] 后面几种回归都是在它基础上稍做修改。当特征数多于实例数，某些数据有问题，或者某些特征相关性高时，线性回归得到的参数常常数值很大，常用 Lasso 回归和 Ridge 回归解决这一问题，防止模型过拟合。 lasso 回归（套索回归） lasso 回归倾向于减少有效参数，使模型更加简单。具体方法是修改损失函数，将 L1 范数（各个元素绝对值之和）加入惩罚项，它可生成稀疏的模型参数。常用于特征存在共线性的情况，实现模型特征选择。 \[ \min_w\frac{1}{2n_{samples}}||Xw-y||_2^2+\alpha||w||_1 \] ### Ridge 回归（岭回归） 和 Lasso 回归类似，将 L2 范数（向量所有元素的平方和的开平方）加入惩罚项。常用于数据个数小于数据维度的情况，它限制参数大小，使之逼近 0。 \[ \min_w||Xw-y||_2^2+\alpha||w||_2^2 \] ### Huber ...

模型压缩 对于复杂问题建模时，深度学习模型在容纳更多参数的情况下，效果一般更好，但是模型占内存大，预测时间长的，往往限制其在小型或普通配制的硬件上使用。一般使用模型压缩方法给模型减肥，主要方法总结如下。 模型剪枝 移除对结果作用很小的参数权重，如接近0的参数。具体如去掉某些卷积核，或者卷积核中的某些权重，还有对通通道的减枝，对层的减枝，对注意力头的减枝等。 #### 非结构剪枝 非结构剪枝相对比较底层，使模型结构受到影响，pytorch，tensorflow不能支持。常用结构剪枝，相对简单，但没有非结构剪枝效果好。 结构剪枝方法如：DropOut，DropConnect让神经元或连接失活，置0，但仍然会参与计算。 有一些改进，比如根据全局所有参数的分布来计算某一道通路是否被减掉。 #### 结构剪枝 移除通道（Network slimming, 2017），通过减枝和微调不断迭代，可以把yolo3减掉70%。 彩票假设（The Lottery Tickets Hypothesis, ICLR 2019），找彩票子网络（比较特殊的子网络）。 彩票代码: torch.nn.utils.pr ...

EasyNLP 中文 NLP 算法框架 作者：PAI（阿里云人工智能平台）算法团队 平台：基于 PyTorch 优势：中文预训练模型 提供：AppZoo 和预训练 ModelZoo，ModelZoo 有很多预训练模型，EasyNLP 可以无缝接入 huggingface/transformers 的模型；AppZoo 支持文本分类，文本匹配，序列标注等任务。 工具： 支持小样本训练：Contrastive Prompt Tuning。 大模型知识蒸馏技术：让跨领域典型性的样本在学习阶段有更大的权重。 数据：DataHub 还支持一些中文训练数据 项目开源地址：https://github.com/alibaba/EasyNLP 蒸馏算法实现：EasyNLP/examples/knowledge_distillation/metakd