Impala学习笔记

impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具。它是基于hive并使用内存进行计算,兼顾数据仓库,具有实时,批处理,多并发等。

impala是参照谷歌的新三篇论文(Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具)当中的Dremel实现而来,其中旧三篇论文分别是(BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。

Impala与Hive关系

impala是基于hive的大数据分析查询引擎,直接使用hive的源数据库metadata,意味着impala元数据都存储在hive的metastore当中,并且impala兼容hive的绝大多数sql语法。所以需要安装impala的话,必须先安装hive,保证hive安装成功,并且还需要启动hive的metastore服务。

hive元数据包含用hive创建的database、table等元信息。元数据存储在关系性数据库中,如Derby、mysql等。

客户端连接metastore服务,metastore再去连接mysql数据库来存区元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道mysql数据库的用户名和密码,只需要连接metastore服务即可。

1
nohup hive --service metastore >> ~/metastore.log 2 > &1 &

hive适合长时间的批处理查询分析,而impala适合于实时交互式sql查询。可以先使用hive进行数据转换处理,之后使用impala在hive处理后的结果数据集上进行快速的数据分析。

impala与hive异同

impala与hive都是构建在hadoop之上的数据查询工具各有不同的侧重适用面,但从客户端使用来看impala与hive有很多的共同之处,如数据表元数据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等。

但是Impala跟Hive最大的优化区别在于:没有使用 MapReduce进行并行计算,虽然MapReduce是非常好的并行计算框架,但它更多的面向批处理模式,而不是面向交互式的SQL执行。与 MapReduce相比,Impala把整个查询分成一执行计划树,而不是一连串的MapReduce任务,在分发执行计划后,Impala使用拉式获取数据的方式获取结果,把结果数据组成按执行树流式传递汇集,减少的了把中间结果写入磁盘的步骤,再从磁盘读取数据的开销。Impala使用服务的方式避免每次执行查询都需要启动的开销,即相比Hive没了MapReduce启动时间。

impala使用的优化技术

使用LLVM产生运行代码,针对特定查询生成特定代码,同时使用Inline的方式减少函数调用的开销,加快执行效率。(C++特性)

充分利用可用的硬件指令(SSE4.2)。

更好的IO调度,Impala知道数据块所在的磁盘位置能够更好的利用多磁盘的优势,同时Impala支持直接数据块读取和本地代码计算checksum。

通过选择合适数据存储格式可以得到最好性能(Impala支持多种存储格式)。

最大使用内存,中间结果不写磁盘,及时通过网络以stream的方式传递。

执行计划

Hive: 依赖于MapReduce执行框架,执行计划分成 map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会 被编译成多轮MapReduce,则会有更多的写中间结果。由于MapReduce执行框架本身的特点,过多的中间过程会增加整个Query的执行时间。

Impala: 把执行计划表现为一棵完整的执行计划树,可以更自然地分发执行计划到各个Impalad执行查询,而不用像Hive那样把它组合成管道型的 map->reduce模式,以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。

数据流

Hive: 采用推的方式,每一个计算节点计算完成后将数据主动推给后续节点。

Impala: 采用拉的方式,后续节点通过getNext主动向前面节点要数据,以此方式数据可以流式的返回给客户端,且只要有1条数据被处理完,就可以立即展现出来,而不用等到全部处理完成,更符合SQL交互式查询使用。

内存使用

Hive: 在执行过程中如果内存放不下所有数据,则会使用外存,以保证Query能顺序执行完。每一轮MapReduce结束,中间结果也会写入HDFS中,同样由于MapReduce执行架构的特性,shuffle过程也会有写本地磁盘的操作。

Impala: 在遇到内存放不下数据时,版本1.0.1是直接返回错误,而不会利用外存,以后版本应该会进行改进。这使用得Impala目前处理Query会受到一定的限制,最好还是与Hive配合使用。

调度

Hive: 任务调度依赖于Hadoop的调度策略。

Impala: 调度由自己完成,目前只有一种调度器simple-schedule,它会尽量满足数据的局部性,扫描数据的进程尽量靠近数据本身所在的物理机器。调度器 目前还比较简单,在SimpleScheduler::GetBackend中可以看到,现在还没有考虑负载,网络IO状况等因素进行调度。但目前 Impala已经有对执行过程的性能统计分析,应该以后版本会利用这些统计信息进行调度吧。

容错

Hive: 依赖于Hadoop的容错能力。

Impala: 在查询过程中,没有容错逻辑,如果在执行过程中发生故障,则直接返回错误(这与Impala的设计有关,因为Impala定位于实时查询,一次查询失败, 再查一次就好了,再查一次的成本很低)。

适应面

Hive: 复杂的批处理查询任务,数据转换任务。

Impala:实时数据分析,因为不支持UDF,能处理的问题域有一定的限制,与Hive配合使用,对Hive的结果数据集进行实时分析。

Impala架构

impala主要有ImpaladState StoreCatalogdCLI组成。

impalad

与DataNode运行在同一节点上,由Impalad进程表示,它接收客户端的查询请求(接收查询请求的Impalad*为Coordinator,Coordinator通过JNI调用java前端解释SQL查询语句,生成查询计划树,再通过调度器把执行计划分发给具有相应数据的其它Impalad进行执行*),读写数据,并行执行查询,并把结果通过网络流式的传送回给Coordinator,由Coordinator返回给客户端。同时Impalad也与State Store保持连接,用于确定哪个Impalad是健康和可以接受新的工作。

在Impalad中启动三个ThriftServer: beeswax_server(连接客户端),hs2_server(借用Hive元数据), be_server(Impalad内部使用)和一个ImpalaServer服务。

Impala State Store

跟踪集群中的Impalad的健康状态及位置信息,由statestored进程表示,它通过创建多个线程来处理Impalad的注册订阅和与各Impalad保持心跳连接,各Impalad都会缓存一份State Store中的信息,当State Store离线后(Impalad发现State Store处于离线时,会进入recovery模式,反复注册,当State Store重新加入集群后,自动恢复正常,更新缓存数据)因为Impalad有State Store的缓存仍然可以工作,但会因为有些Impalad失效了,而已缓存数据无法更新,导致把执行计划分配给了失效的Impalad,导致查询失败。

CLI

提供给用户查询使用的命令行工具(Impala Shell使用python实现),同时Impala还提供了Hue,JDBC, ODBC使用接口。

Catalogd

作为metadata访问网关,从Hive Metastore等外部catalog中获取元数据信息,放到impala自己的catalog结构中。impalad执行ddl命令时通过catalogd由其代为执行,该更新则由statestored广播。

Impala查询处理过程

impalad分为java前端与C++处理后端,接受客户端连接的Impalad即作为这次查询的Coordinator,Coordinator通过JNI调用java前端对用户的查询SQL进行分析生成执行计划树。

Java前端产生的执行计划树以Thrift数据格式返回给C++后端(Coordinator)(执行计划分为多个阶段,每一个阶段叫做一个PlanFragment*,每一个PlanFragment在执行时可以由多个Impalad实例并行执行(有些PlanFragment只能由一个Impalad实例执行,如聚合操作)*,整个执行计划为一执行计划树)。

Coordinator根据执行计划,数据存储信息(Impala*通过libhdfs与HDFS进行交互。通过hdfsGetHosts*方法获得文件数据块所在节点的位置信息),通过调度器(现在只有simple-scheduler, 使用round-robin算法)Coordinator::Exec对生成的执行计划树分配给相应的后端执行器Impalad执行(查询会使用LLVM进行代码生成,编译,执行),通过调用GetNext()方法获取计算结果。

如果是insert语句,则将计算结果通过libhdfs写回HDFS当所有输入数据被消耗光,执行结束,之后注销此次查询服务。

Impala安装部署

安装前提

集群需要提前安装好hadoop,hive。

hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。

hadoop框架需要支持C程序访问接口,查看下图,如果有路径下有这个文件,就证明支持C接口。

下载安装包、依赖包

由于impala没有提供tar包进行安装,只提供了rpm包。因为在安装impala的时候,需要使用rpm包来进行安装。rpm包只有cloudera公司提供,所以需要到cloudera公司网站去下载rpm包。下载地址:

1
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz

这里有一个问题,impala的rpm包依赖非常多的其他rpm包,可以一个个将依赖包找出来,也可以将所有的rpm包下载下来,制作成本地yum源来进行安装。

配置本地yum源

上传安装包解压

将安装包大文件上传到服务器/cloudera_data目录下。

1
2
cd /cloudera_data
tar -zxvf cdh5.14.0-centos6.tar.gz

配置本地yum源信息

安装Apache Server服务器

1
2
3
yum -y install httpd
service httpd start
chkconfig httpd on

配置本地yum源的文件

1
2
cd /etc/yum.repos.d
vim localimp.repo
1
2
3
4
5
[localimp]
name=localimp
baseurl=http://node03/cdh5.14.0/
gpgcheck=0
enabled=1

创建apache httpd的读取链接

1
2
3
4
ln -s /cloudera_data/cdh/5.14.0 /var/www/html/cdh5.14.0

## 使yum源生效
yum repolist all

确保linux的Selinux关闭

1
2
3
4
5
6
7
8
9
10
## 临时关闭:
[root@localhost ~]# getenforce
Enforcing
[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforce

## 永久关闭:
[root@localhost ~]# vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled
重启服务reboot

通过浏览器访问本地yum源,如果出现下述页面则成功。

1
http://192.168.17.120/cdh5.14.0

将本地yum源配置文件localimp.repo发送到所有需要安装impala的节点。

1
2
3
cd /etc/yum.repos.d/
scp localimp.repo node02:$PWD
scp localimp.repo node01:$PWD

安装Impala

集群规划

服务名称 从节点 从节点 主节点
impala-catalog node03
impala-state-store node03
impala-server(impalad) node01 node02 node03

主节点安装

在规划的主节点node03执行以下命令进行安装:

1
yum install -y impala impala-server impala-state-store impala-catalog impala-shell

从节点安装

在规划的从节点node01、node02执行以下命令进行安装:

1
yum install -y impala-server

修改hadoop、hive配置

需要在3台机器整个集群上进行操作,都需要修改。hadoop、hive是否正常服务并且配置好,是决定impala是启动成功并使用的前提。

修改hive配置

可在node03机器上进行配置,然后scp给其他2台机器。

1
vim /export/servers/hive/conf/hive-site.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
<configuration> 
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<!-- 绑定运行hiveServer2的主机host,默认localhost -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node03</value>
</property>
<!-- 指定hive metastore服务请求的uri地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node03:9083</value>
</property>
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>3600</value>
</property>
</configuration>

将hive安装包分发到其他两台机器

1
2
3
cd /export/servers/
scp -r hive/ node02:$PWD
scp -r hive/ node01:$PWD

修改hadoop配置

在三个节点下创建文件夹hdfs-sockets

1
mkdir -p /var/run/hdfs-sockets

修改所有节点的hdfs-site.xml添加以下配置,修改完之后重启hdfs集群生效

1
vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hdfs-sockets/dn</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>10000</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>

dfs.client.read.shortcircuit 打开DFSClient本地读取数据的控制;

dfs.domain.socket.path是DatanodeDFSClient之间沟通的Socket的本地路径

更新hadoop的配置文件,scp给其他机器。

1
2
3
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp -r hdfs-site.xml node02:$PWD
scp -r hdfs-site.xml node01:$PWD

注意:root用户不需要下面操作,普通用户需要这一步操作。

给这个文件夹赋予权限,如果用的普通用户hadoop,那就直接赋予普通用户的权限,例如:

1
chown -R hadoop:hadoop /var/run/hdfs-sockets/

重启hadoop、hive

在node03上执行下述命令分别启动hive metastore服务和hadoop

1
2
3
4
5
6
cd /export/servers/hive-1.1.0-cdh5.14.0/
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/stop-dfs.sh
sbin/start-dfs.sh

复制hadoop、hive配置文件

impala的配置目录为/etc/impala/conf/,这个路径下面需要把core-site.xmlhdfs-site.xml以及hive-site.xml

所有节点cd到/etc/impala/conf/目录下;然后执行以下命令:

1
2
3
cp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml .
cp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml .
cp -r /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml .

修改impala配置

修改impala默认配置

所有节点更改impala默认配置文件

1
2
3
vim /etc/default/impala
IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03

添加mysql驱动

通过配置/etc/default/impala中可以发现已经指定了mysql驱动位置名字。

1
2
vim /etc/default/impala
MYSQL_CONNECTOR_JAR=/user/share/java/mysql-connector-java.jar

使用软连接指向该路径即可(3台机器都需要执行)

1
ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar

修改bigtop配置

修改bigtop的java_home路径(3台机器)

1
2
vim /etc/default/bigtop-utils
export JAVA_HOME=/export/servers/jdk1.8.0_141

启动、关闭impala服务

主节点node03启动以下三个服务进程

1
2
3
service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动node01和node02启动impala-server

1
service impala-sever start

在node03节点上查询进程是否存在

1
ps -ef | grep impala

启动之后所有关于impala的日志默认都在/var/log/impala;这也是解决问题的唯一查看方式。

如果需要关闭impala服务,只需要把命令中的start改成stop即可。注意如果关闭之后进程依然驻留,可以采取以下方式删除。

1
2
jps
rm -rf /tmp/hsperfdata_impala/进程号

impala WEB UI

访问impalad的管理界面: http://node03:25000

访问statestored的管理界面:http://node03:25010

卸载impala

  1. 卸载yum安装的impala全家桶:

    1
    yum remove -y impala hadoop bigtop avro hbase parquet sentry solr zookeeper
  2. 删除本地磁盘上跟impala相关的文件夹

    1
    rm -rf $(find / -name "*impala*")
  3. 查询未卸载完毕的rpm包

    1
    2
    3
    rpm -qa | grep impala
    ## 卸载
    rpm -e impala-shell-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64 --nodeps
  4. 删除cdh

    1
    2
    cd /cloudera_data/
    rm -rf cdh/

Impala-shell命令参数

impala-shell外部命令

所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动impala-shell时设置,用于修改命令执行环境。

impala-shell -h:查看帮助手册;

常用的几个命令:

impala-shell -r:刷新impala元数据,与建立连接后执行REFRESH语句效果相同;

impala-shell -f 文件路径:执行指的sql查询文件;

impala-shell -i:指定连接运行impalad守护进程的主机。默认端口时21000。

impala-shell -o:保存执行结果到文件当中去

-------------本文结束感谢您的阅读-------------

本文标题:Impala学习笔记

文章作者:Mr.wj

发布时间:2019年12月23日 - 21:07

最后更新:2019年12月23日 - 21:24

原始链接:https://www.wjqixige.cn/2019/12/23/Impala学习笔记/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

Mr.wj wechat
欢迎您扫一扫上面的微信公众号,订阅我的博客!