Python 股票处理之六 _ 数据预处理 A

1. 说明

在数据统计和预测的过程中，工程师基本都使用现成的算法，工程师的主要工作是根据具体业务逻辑预处理数据和选择算法。

首先要对数据预处理（数据清洗），包括数据的归一化，去除重复数据，修改错误数据，填充无效数据，抽象数据表示，筛选特征值，分配权重等等，以得到更准确的数据和更有效的结果。

继续上次关于股票直方图的话题，来看看简单的股票数据预处理。左图是昨天股票涨跌的直方图，从中看出，涨跌幅分布在 -10 到 50 的区间内。

涨幅超过 10% 是因为计入了新股的首日涨幅，跌涨超过 -10%，可能由于分红配送等原因引起。下面程序中将对此区域进行特殊处理。

对于当日停牌的数据，它的开盘价收盘价最高价最低价都是同一个值，如果加入统计，会在 0 附近形成一个无意义的峰值，在预处理中也把它去掉。

如果用左图结果做一个从 (-10,10) 共计 20 个区间的分类器，那么结果多半会落入 (-1,1) 的区间内，这并不是我们想要的。我们更希望看到的是将 3000 多支股票平均分布在这 20 个区域，每个区域股票数量相同，但是各区域大小不同。根据区域得到更合理的分类结果。（假设我们之后将要通过现有股票的各个特征，预测涨跌最有可能分布在哪个区域，这是一个对结果的分类问题，暂不考虑回归）

2. 程序

1) 代码

# -*- coding:utf-8 -*-  
 

import tushare as ts
import numpy as np  
import matplotlib.pyplot as plt  
 

e = ts.get_today_all()
size = 20 #把区间分成20份
array = []
 

ll = e[u'high']  # 最高价
hh = e[u'low'] # 最低价
cc = e[u'changepercent']# 涨跌幅
for i in range(0, len(e)):
       ifll[i] != hh[i]:      # 最高价与最低价相同说明停牌
              ifcc[i] > 10:   # 涨幅大于10%的股票归为10%
                     array.append(10)
              elifcc[i] < -10:      # 跌幅大于-10%的股票归为-10%
                     array.append(-10)
              else:
                     array.append(cc[i])
 

print "Total:",len(array)
array=np.sort(array)      # 排序
 

bin_arr = []
bin_arr.append(-10)       # 加入区间的左侧值
count = 0 #区域计数
for i in range(0, len(array)):
       count+=1 
       ifcount > len(array) / size:
              printarray[i]
              count= 0
              bin_arr.append(array[i])
bin_arr.append(10) # 加入区间右侧值
 

hist, bins = np.histogram(array,bins=bin_arr)     # 按bin_arr给定的区域计算直方图
width = np.diff(bins)
center = (bins[:-1] + bins[1:]) / 2
plt.bar(center, hist, align='center',width=width)
plt.show()

2) 运行结果

1 2	Total: 3010 -1.271 -0.667 -0.289 -0.098 0.061 0.219 0.348 0.482 0.599 0.719 0.873 1.021 1.16 1.312 1.505 1.786 2.133 2.713 3.74

3) 分析

从结果可以看出，总共筛选出了 3010 支股票，将其分成 20 个区间，其中每个区间的股票数基本相等（最后一个不足 1/20），此处只使用了一天的数据，当天微涨；实际处理时，需要使用更多数据来划分区域，20 个区域可能也有点多。此处只是抛砖引玉，程序写得并不严谨，大家领会精神即可。以上计算用到了直方图均衡化的原理，在频域上划分，替代按值域划分，让我们聚焦于数据更集中的区域。

3. 参考

1) 直方图均衡化的数学原理

http://blog.csdn.net/superjunenaruto/article/details/52431941