Python 海量数据处理之 _Hadoop（一）集群搭建

1. 说明

  数据处理时，可能会遇到数千万以及上亿条数据的情况。如果一次性处理所有数据，就会遇到内存不够，计算时间太长等问题。上篇《Python 海量数据处理之 _ 单机优化》讲述了单机的处理大数据的解决方案。下面将讲述如何利用服务器集群处理大数据，这里使用的工具是 Hadoop，内容太多，分为三部分介绍，本篇是第一部分集群搭建，后两部分分别是原理和 python 调用。

2. Hadoop 简介

  如果有多台用于数据计算的机器，可以使用 Hadoop 框架建立集群，统一分配布属。Hadoop 是由 Apache 基金会所开发的分布式系统基础架构，最核心的设计是：HDFS 和 MapReduce。HDFS 为数据提供了存储，MapReduce 为数据提供了计算，其中 Mapper 指的就是拆分处理，Reducer 指的就是将结果合并。和单机一样，核心也是拆分，处理，再合并。

  多台机器同时处理数据，相对更复杂，需要考虑：数据共享，同步，冲突，资源分析，计算顺序，以及主控宕机等等问题。

3. Hadoop 安装

  首先，需要配置起 Hadoop 环境，才能进行各种实验。Hadoop 有三种安装方式：单机，伪分布式和分布式，前两种都是在单机上安装使用的。伪分布式即可以用单机实现，又可以理解分布式的原理，本文主要介绍伪分布式 Hadoop 的安装。

1) 安装 Java

 Hadoop 是 java 语言实现的，所以需要先安装 java 和配置相关的环境变量，一般用 apt-get 安装后环境就被自动配置了。

2) 创建 hadoop 用户

  不一定非要创建 hadoop 用户，因为考虑到有删除 ssh 密码等操作，为了机器安全性，这里创建了 hadoop 用户。

1
2
$ sudo adduser hadoop
$ su hadoop # 之后的操作都在hadoop用户下进行

3) 安装配置 ssh

  为了使本机能使用 ssh 登陆，需要安装 ssh 服务端，并关掉 PAM 认证，并设用户密码为空

1
2
3
4
5
6
7
$ sudo apt-get install -y openssh-server # 安装ssh服务
$ sudo vim /etc/ssh/sshd_config # 将UsePAM设为no
$ sudo /etc/init.d/ssh start # 启动ssh服务，如果安装时已自启动，则配置后用restart重启
$ ssh localhost # 连接后用exit接出，此时用户目录下生成.ssh目录
$ cd ~/.ssh # 以下几步是为了设置当前用户无密码登陆
$ ssh-keygen -t rsa # 设置密码为空，即直接回车
$ cat ./id_rsa.pub >> ./authorized_keys

4) 下载 Hadoop

 http://www.apache.org/dyn/closer.cgi/hadoop/common/

  建议下载 2.6 或 2.7 的版本，不同版本配置文件不同，而 2.7 前后的版本教程较多，不用下源码，下载 bin 包即可。

1
2
3
4
5
6
7
8
9
10
11
12
$ cd /home/hadoop/ # 安装在哪里都行，但需要注意在配置文件中指定目录
$ tar xvzf  hadoop-2.7.5.tar.gz
$ ln –s hadoop-2.7.5 hadoop # 方便以后更换版本
$ vi ~/.bashrc 

#加下以入内容（在/etc/profile中设置也行）。设置后，用source ./barshrc让它立即生效。

export HADOOP_PREFIX="/home/hadoop/hadoop"  # 具体根据安装目录设置
export YARN_CONF_DIR="/home/hadoop/hadoop"  
export HADOOP_COMMON_LIB_NATIVE_DIR="$HADOOP_PREFIX/lib/native"  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"  
export PATH=$PATH:$HADOOP_PREFIX/bin

5) 配置 core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$  vi hadoop/etc/hadoop/core-site.xml

在configure中加入如下内容（具体根据安装目录设置）
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/home/hadoop/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

6) 配置 hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$  vi hadoop/etc/hadoop/hdfs-site.xml
在configure中加入如下内容

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

7) 配置 mapered-site.xml

1
2
3
4
5
6
7
8
9
10
$ cp ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
$ vi ./etc/hadoop/mapred-site.xml
在configure中加入如下内容

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

8) 配置 yarn-site.xml

1
2
3
4
5
6
7
8
$ vi ./etc/hadoop/yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

9) 格式化 namenode

1
$ hadoop namenode -format

  如果显示 Exiting with status 0，则创建成功

10) 在 etc/hadoop/*-env.sh 中设置 JAVA_HOME

（根据自己机器的配置）

1
export JAVA_HOME=/usr/lib/jvm/java-1.9.0-openjdk-amd64/

11) 启动 hdfs

1
$ hadoop/sbin/start-dfs.sh

12) 看当前服务启动状态

1
$ jps

  成功启动后还可以通过访问 http://localhost:50070，来查看状态。

13) 启动所有服务

1
./sbin/start-all.sh

  成功启动后还可以通过访问 http://localhost:8088/cluster，来查看状态。

14) 问题及解决

  我在执行 start-dfs.sh 时，报错 util.NativeCodeLoader，意思是调用内部库时出错，内部库指的是用 JNI 调的 C 库，解决方法是用 ldd 看看 so 库链接是否正常，如果 so 库与当前系统不能匹配，则需要重编源码。还有一种情况，就是环境变量没设对，我这边设置了两个环境变量：

1
2
$ export JAVA_LIBRARY_PATH=/home/hadoop/hadoop/lib/native/
$ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

之后问题得以解决，根本原因是不同 Hadoop 版本环境变量名有差别，所以跟着文档做常会出现各种问题，而文档中指定的版本很可能不是主流版本，已经无法下载了。解决方法是跟进脚本，定位具体问题。

4. 编译 Hadoop 源码

  如果上述可工作正常，则无需要编译源码。有些情况下，环境与二进制版本不一致，则需要下载源码编译，我下载的也是 2.7.5 版本的 src 包。重编时坑也很多。

源码包解压后，目录中有 BUILDING.txt 文件，执行其中所有 apt-get 相关命令。然后编译：

1
$ mvn package -Pdist,native -DskipTests –Dtar

mvn 是编译工具 maven，编译过程非常慢，编出将近 4G。编译后生成文件为 hadoop-dist/target/hadoop-2.7.5.tar.gz，

在编译过程中遇到三种报错：

  一种报错是“protoc failure”，用 apt-get 安装该包后又报错版本不对，最后编译了 protobuf-2.5.0 包（注意 install 后要 ldconfig，否则还是找不到），得以解决。

  另一个报错是“No plugin descriptor found at META-INF”，我从 csdn 下载了一个，改了版本号就能用了。

  还有一种报错是连不上 marven 服务器，于是在设置文件/etc/maven/settings.xml 中加入了国内的镜像地址。