半小时搞定 Hadoop+Mysql+Hive

#操作系统/Linux #数据存储/MYSQL

1. 说明

  搭建过 Hadoop 集群的小伙伴一定知道，如果不用 docker，半小时配好 Hadoop+Mysql+Hive（后简称 Hive）肯定是胡吹，有了 Docker 镜像，没有说明文档，配好了也不一定会用。本文将介绍如何在半小时内，让 Hive 在你的 Linux 系统上运行起来，并且可以通过 Python 程序访问其中数据。

2. 使用集群

 Hadoop 需要安装 Java 虚拟机，创建 Hadoop 用户，下载安装 Hadoop 软件，修改多个配置文件，启动服务等，有时由于操作系统不同还需要重编 Hadoop 源码。没亲亲自搭建过可以参考这篇 Python海量数据处理之_Hadoop（一）集群搭建。整个 Hadoop 系统就非常复杂，涉及各种类型 Node 的概念及原理。本文主要介绍对 HIVE 的使用方法，只需要 Hadoop 可用，因此使用了 Hadoop，MySQL 及 Hive 都正常安装和配置好的 dokcer image.

  首先，查找可用的 Hive 的 docker 镜像

1
$ docker search hive

  将 teradatalabs/cdh5-hive 镜像拉到本地，该镜像约 1.78G

1
$ docker pull teradatalabs/cdh5-hive

  运行 docker 镜像，请注意这里使用了参数 -P，它将 docker 中开启的所有端口映射到宿主机，端口号与 docker 内部不同，用 docker ps 可查看映射的端口号，用浏览器打开 50070 所映射的宿主机端口，可查看 hadoop 状态。

1
2
$ docker run --rm -d --name hadoop-master -P -h hadoop-master teradatalabs/cdh5-hive
$ docker ps

  进入已启动的 docker 容器

1
$ docker exec -it hadoop-master bash

  进入 docker 容器之后，先用 hadoop 命令查看数据存储情况

1
> hadoop fs -ls /

  试连接 mysql 数据库，默认密码是 root

1
> mysql -uroot -proot

  进入 hive

1
> hive

  用 HSQL 建立数据库，并查看当前数据库列表，并退出的 hive。其它的操作与 mysql 类似，此处不再重复。

1
2
3
> create database testme;
> show databases;
> exit;

  此时，退出 hive，在 docker 中用 hadoop 命令就可以看到新建的数据库 testme.db 文件

1
> hadoop fs -ls /user/hive/warehouse/

3. 使用 python 程序读取 Hive 数据

  首先，要安装 python 对 Hive Server2 的支持库，注意 impala 包名为 impalacli 而非 impala。

1
2
$ pip install thrift-sasl==0.2.1
$ pip install impalacli

  然后使用 impala 库连接 Hive Server2 服务，修改其中的 IP 和端口，端口为 docker 中 10000 端口向外映射的宿主机端口，将 default 库作为待操作的数据库。新建了数据表，并执行了查询操作。可以看到，HSQL 的使用方法和 MySQL 类似。

1
2
3
4
5
6
7
8
9
10
11
12
13
from impala.dbapi import connect

conn = connect(host="192.168.1.207", port=32775, database="default", auth_mechanism="PLAIN")
cur = conn.cursor()
sql = "create table if not exists test_table(id int)"
cur.execute(sql)
sql = "show tables"
cur.execute(sql)
print(cur.fetchall())
sql = "select * from default.test_table"
cur.execute(sql)
print(cur.fetchall())
conn.close()