Pytorch_LSTM 与 GRU RNN 循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的 RNN 模型时，常遇到梯度消失 gradient vanishing 和梯度爆炸 gradient explosion 问题。 RNN 的缺点 RNN 的梯度消失和梯度爆炸不同于其它网络，全连接网络和卷积网络每一层有不同参数，而 RNN 的每个处理单元 Cell（处理单个序列元素的操作称为处理单元 Cell）共用同一组权重矩阵 W。在上一篇介绍 RNN 网络算法时可以看到，处理单元之间是全连接关系，序列向前传播的过程中将不断乘以权重矩阵 W，从而构成了连乘 Wn，当 W<1 时，如果序列很长，则结果趋近 0；当 w>1 时，经过多次迭代，数值将迅速增长。反向传播也有同样问题。 梯度爆炸问题一般通过“梯度裁剪”方法改善，而梯度消失则使得序列前面的数据无法起到应有的作用，造成“长距离依赖”（Long-Term Dependencies）问题，也就是说 RNN 只能处理短距离的依赖关系。 这类似于卷积神经网络在处理图像问题时加深网络层数，无法改进效果。尽管理论上可以通过调参改 ...

Pytorch_ 循环神经网络 RNN RNN 是 Recurrent Neural Networks 的缩写，即循环神经网络，它常用于解决序列问题。RNN 有记忆功能，除了当前输入，还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。 RNN 是序列模型的基础，尽管能够直接调用现成的 RNN 算法，但后续的复杂网络很多构建在 RNN 网络的基础之上，如 Attention 方法需要使用 RNN 的隐藏层数据。RNN 的原理并不复杂，但由于其中包括循环，很难用语言或者画图来描述，最好的方法是自己手动编写一个 RNN 网络。本篇将介绍 RNN 网络的原理及具体实现。 序列 在学习循环神经网络之前，先看看什么是序列。序列 sequence 简称 seq，是有先后顺序的一组数据。自然语言处理是最为典型的序列问题，比如将一句话翻译成另一句话时，其中某个词汇的含义不仅取决于它本身，还与它前后的多个单词相关。类似的，如果想预测电影的情节发展，不仅与当前的画面有关，还与当前的一系列前情有关。在使用序列模型预测的过程中，输入是序列，而输出是一个或多个预测值。 在使用深度学习模型解决序列问题 ...

Pytorch 全连接网络 #Pytorch 本篇开始学习搭建真正的神经网络，前一部分讨论深度学习中预处理数据的基本流程；后一部分构建了两种全连接网络，用三种不同方案拟合时序数据；并在例程中详细分析误差函数，优化器，网络调参，以及数据反向求导的过程。 数据预处理 本篇使用航空乘客数据 AirPassengers.csv，其中包括从 1949-1960 年每月旅客的数量，程序则用于预测未来几年中每月的旅客数量，数据可从以下 Git 项目中下载。 https://github.com/aarshayj/analytics_vidhya/blob/master/Articles/Time_Series_Analysis/AirPassengers.csv 1．读取数据 首先，引入必要的头文件，并从文件中读入数据： 123456789101112import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineimport torchimport torch.nn as nnfrom to ...

Pytorch_ 数据基础 #Pytorch 机器学习需要掌握数据处理工具 Pandas、Numpy，同理，深度学习也需要掌握相应的数据处理工具，在 Pytorch 中数据存储在张量 Tensor 和变量 Variable 之中，本篇将介绍它们的基本用法以及与之相关的常用函数。 掌握必要的基础知识，让后期看代码更加流畅，避免陷入太多细节。 Tensor 张量 Tensor 用于表示矩阵（多维数据），类似 Numpy 的 ndarray，不同的是，可以使用 GPU 加速。 1．生成张量 1import torch 用 Tensor 方法将其它格式数据转换成张量： 12345678a = torch.Tensor([[1,2],[3,4],[5,6]])print(a)print(a.size())# 输出结果：# tensor([[1., 2.],# [3., 4.],# [5., 6.]])# torch.Size([3, 2]) 另外，也可以使用 torch.zeros()，torch.randn() 生成张量。 2．修改张量 用赋值的方法即可修改张量 ...

残差网络 ResNet 代码解读 #深度学习 #图形图像 残差网络效果 卷积神经网络 CNN 的发展历史如图所示： 从起初 AlexNet 的的 8 层网络，到 ResNet 的 152 层网络，层数逐步增加。当网络层数增加到一定程度之后，错误率反而上升，其原因是层数太多梯度下降变得越发困难。而 ResNet 解决了这一问题。 目前 ResNet 是应用最广的图像相关深度学习网络，图像分类，目标检测，图片分割都使用该网络结构作为基础，另外，一些迁移学习也使用 ResNet 训练好的模型来提取图像特征。 残差网络原理 首先，来看看比较官方的残差网络原理说明： “若将输入设为 X，将某一有参网络层设为 H，那么以 X 为输入的此层的输出将为 H(X)。一般的 CNN 网络如 Alexnet/VGG 等会直接通过训练学习出参数函数 H 的表达，从而直接学习 X -> H(X)。而残差学习则是致力于使用多个有参网络层来学习输入、输出之间的残差即 H(X) - X 即学习 X -> (H(X) - X) + X。其中 X 这一部分为直接的 identity mapping，而 H( ...

华为手机安装英文 TTS 想读个英文文档，用讯飞读英文，效果实在是…… 在应用汇下载安装 Google TTS（华为软件商店里没有），软件被安装到系统中，位置在： 设置 ->智能辅助 ->无障碍 ->文字转语言 (TTS) 输出 ->Google 文字转语音引擎。 就可以正常使用了。

华为手机开启 adb 调试模式 手机 Honor 6x，界面版本 EMUI 8.0.0 1. 在设置 ->系统 ->关于手机，连续按几次 " 版本号 " (注意: 在学生模式下不能使用) 2. 退到上一层，出现“开发人员选项”（与“关于手机”并列） 3. 选中“开发者选项”，选中“仅充电模式下允许 ADB 调式”，选中”USB 调试“（注意先后顺序不能变） 4. 在 Ubuntu 16.04 中安装 adb 工具： sudo apt-get install android-tools-adb 5. 连接： $ sudo adb shell 6. 如果还不成功，请参考： Ubuntu16.04 配置 ADB 调试环境 https://blog.csdn.net/u012351661/article/details/78201040

Pytorch 初探 什么是 Pytorch Facebook 的 Pytorch 和 Google 的 TensorFlow 一样，也是一款深度学习库，TensorFlow 主要应用于工业生产领域之中，GitHub 上的深度学习工具也多基于 TensorFlow；而 Pytorch 在研究领域被广泛使用，越来越多的论文和新技术都基于 Pytorch 开发。 工业场景比研究领域相对置后，且近年来 Pytorch 的研究论文有逐渐增加的趋势，随着前沿技术的应用，Pytorch 也可能成为一种趋势。目前常用的模型也都有对应的 Pytorch 版本，具体请见后面参考部分。 本篇就来学习一下 Pytorch。Pytorch 是 Facebook 开源的包含 GPU 加速的神经网络框架。Pytorch 是 torch 的 Python 版本，也提供 C++ 的接口。 相关概念 Pytorch 不像 TensorFlow 加入了 Scope、Session 等新概念以及复杂的调用方法，有较高的学习成本，Pytorch 只有三个重要概念 Tensor（张量）、variable（变量）、Module（ ...

Ubuntu 下使用星际译王字典 #操作系统/Linux 相关工具安装 123$ sudo apt-get install stardict-gtk # gtk图形化工具$ sudo apt-get install qstardict # qt图形化工具$ sudo apt-get install sdcv # 命令行工具 星际译王字典下载 http://download.huzheng.org/ 分享188种英语词典·牛津词典(Txt格式) 自用词典下载 解包后安装 123$ tar xvjf stardict-xdict-ec-gb-2.4.2.tar.bz2 # 注意将bz2文件解压成目录$ sudo mkdir /usr/share/stardict/dic -p$ sudo cp stardict-xdict-ec-gb-2.4.2 /usr/share/stardict/dic/ 列出词典 1$ sdcv --list-dicts 字典介绍 简明字典: xdict, 朗道 联想字典: wordnet 丰富字典: oxford 牛津英汉双解美化版:

Python 声音和弹框提示 写后台监控程序，有时需要响铃或弹框提示用户。下面介绍 Python 在 Linux 系统中的提示方法： 1. 使用系统工具 paplay 播放当前目录下的音效文件 ring.wav 实现响铃 2. 用 tkinter 界面工具实现弹框 import tkinter as tk import os def show_messagebox(string): os.environ["DISPLAY"]=":0.0" root = tk.Tk() root.title('消息框') root.geometry('190x80+300+300') label = tk.Label(root, text=string, font='宋体 -14', pady=8) label.pack() tk.mainloop() def do_ring(times): for i in range(0,time ...