发布时间 : 星期五 文章HIVE安装使用说明更新完毕开始阅读51fbc6f1ccbff121dc368337
HIVE安装使用说明
一、 Hive简介
1.1. Hive是什么
Hadoop作为分布式运算的基础架构设施,统计分析需要采用MapReduce编写程序后,放到Hadoop集群中进行统计分析计算,使用起来较为不便,Hive产品采用类似SQL的语句快速实现简单的MapReduce统计,很大程度降低了Hadoop的学习使用成本。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供基础的SQL查询功能,可以将SQL语句转换为MapReduce任务运行,而不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 1.2. 部署架构
1 / 16
Hive中的Driver为核心驱动部分,包括SQL语句的解释、编译为
MapReduce任务,并进行优化、执行。
Hive用户访问包括4种运行和访问方式,一是CLI客户端;二是
HiveServer2和Beeline方式;三是HCatalog/WebHCat方式;四是HWI方式。
其中CLI、Beeline均为控制台命令行操作模式,区别在于CLI只能操作本地Hive服务,而Beeline可以通过JDBC连接远程服务。 HiveServer2为采用Thrift提供的远程调用接口,并提供标准的JDBC连接访问方式。
HCatalog是Hadoop的元数据和数据表的管理系统,WebHCat则提供一条Restful的HCatalog远程访问接口,HCatalog的使用目前资料很少,尚未充分了解。
HWI是Hive Web Interface的简称,可以理解为CLI的WEB访问方式,因当前安装介质中未找到HWI对应的WAR文件,未能进行使用学习。
Hive在运行过程中,还需要提供MetaStore提供对元数据(包括表结构、表与数据文件的关系等)的保存,Hive提供三种形式的MetaStore:一是内嵌Derby方式,该方式一般用演示环境的搭建;二是采用第三方数据库进行保存,例如常用的MySQL等;三是远程接口方式,及由Hive自身提供远程服务,供其他Hive应用使用。在本安装示例中采用的第二种方式进行安装部署。
备注:在本文后续的安装和说明中,所有示例均以HiverServer2、
2 / 16
Beeline方式进行。
另:因Hive在查询时性能较差,后期拟计划采用SPARK或Presto进行替代,因此本安装手册不对Hive的集群方案进行描述。 1.3. 环境说明
本安装示例在Ubuntu 14.04.3的虚拟器中进行安装,并提前安装配置Hadoop。 机器名 hdfs1 hdfs2 hdfs3 IP地址 10.68.19.184 Hadoop 10.68.19.182 10.68.19.183 Hadoop Hadoop MySQL 安装软件 Hive 启用服务 二、 MySQL安装配置
2.1. MySQL安装
登录到hdfs3中,安装MySQL服务器。 $ sudo apt-get install mysql-server 修改my.cfg的配置文件 $ sudo vi /etc/mysql/my.cfg
修改内容如下:
bind-address = 10.68.19.183 :wq
重新启动mysql服务
$ sudo service mysql restart
3 / 16
2.2. 创建Hive需要的数据库和用户 $ mysql -uroot -p 依次输入以下命令: # 创建hive用户
insert into mysql.user(Host,User,Password) values(\,\,password(\));
# 创建数据库
create database hive;
# 授权
grant all on hive.* to hive@'%' identified by 'hive';
grant all on hive.* to hive@'localhost' identified by 'hive'; flush privileges;
# 退出
exit
三、 Hive安装
3.1. 下载Hive
从官网(http://hive.apache.org/downloads.html)上下载最新的稳定
版本地址,并上传到服务器上。
本安装示例采用的版本为apache-hive-1.2.1-bin.tar.gz。
3.2. 解压并配置环境变量 解压安装文件到/opt目录
$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt
修改环境变量
$ sudo vi /etc/profile
修改如下内容
export HIVE_HOME=/opt/hive-1.2.1
export PATH=\:wq
4 / 16