Docker容器嵌入式开发：在Ubuntu上配置Hive

04-18 1535阅读

一、Hive介绍
二、配置方法
一、Hive介绍

Apache Hive是一个建立在Hadoop之上的数据仓库软件，它提供了对大规模数据的存储、查询和分析功能。以下是关于Hive的完整介绍：

背景：
Hive最初由Facebook开发，并于2008年开源。它是为了简化在Hadoop上执行SQL查询的过程，特别是对于那些熟悉SQL的数据分析师和工程师。
Hive建立在Hadoop生态系统之上，利用Hadoop的分布式存储（HDFS）和计算框架（MapReduce或Apache Tez）来处理和分析大规模数据。

特点：
SQL接口：Hive提供了类似于SQL的查询语言，称为HiveQL，使得用户可以使用熟悉的SQL语法来处理和查询数据。
存储格式：Hive支持多种数据存储格式，包括文本、序列化、Avro、Parquet等，可以根据需求选择最合适的存储格式。
优化器：Hive具有查询优化器，能够自动转换查询计划以提高性能，并且可以手动编写优化的查询。
扩展性：Hive是高度可扩展的，可以处理PB级别的数据，并且可以在需要时添加更多的节点来增加集群的容量。
元数据管理：Hive维护了关于数据的元数据信息，包括表的结构、分区信息等，这些信息存储在数据库中，可以轻松管理和查询。

组件：
Hive Metastore：Hive Metastore是Hive的元数据存储服务，负责管理表、分区、列等元数据信息，并提供给Hive查询引擎使用。
HiveQL：HiveQL是Hive的查询语言，类似于SQL，允许用户执行各种数据查询、过滤、聚合等操作。
Hive CLI：Hive Command Line Interface（CLI）是Hive的交互式命令行界面，允许用户在终端中直接执行HiveQL查询。
Beeline：Beeline是Hive的另一个CLI工具，它使用JDBC连接到Hive，并提供更多的配置选项和连接管理功能。

用途：
数据仓库：Hive可以用作数据仓库，用于存储和管理结构化和半结构化数据，并支持灵活的数据查询和分析。
数据处理：Hive可以用于数据预处理、ETL（Extract-Transform-Load）操作、数据清洗和转换等任务。
数据分析：Hive可以用于执行复杂的数据分析和报告生成，帮助用户从海量数据中提取有价值的信息和见解。

二、配置方法

在Ubuntu上配置Hive，您可以按照以下步骤进行：

下载Hive：首先，从提供的链接下载Hive安装包。您可以使用wget命令从命令行下载，如下所示：
```
wget https://archive.apache.org/dist/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz
```
解压安装包：使用以下命令将下载的安装包解压到适当的位置，例如/opt目录：
```
tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /opt
```
配置环境变量：编辑~/.bashrc文件，并将Hive的bin目录添加到PATH环境变量中。假设您将Hive安装在/opt/apache-hive-2.3.4-bin目录下，您可以执行以下命令：
```
echo 'export HIVE_HOME=/opt/apache-hive-2.3.4-bin' >> ~/.bashrc
echo 'export PATH=$HIVE_HOME/bin:$PATH' >> ~/.bashrc
```
系统环境变量截图：
生效命令：source ~/.bashrc

编辑Hive配置文件：Hive的配置文件位于$HIVE_HOME/conf目录下。您可以根据需要编辑hive-site.xml等配置文件，以配置Hive的行为。

启动Hive Metastore：在启动Hive之前，您需要启动Hive Metastore服务。您可以使用以下命令启动Hive Metastore服务：
```
$HIVE_HOME/bin/hive --service metastore &
```
以上命令操作出现下面的报错问题：
```
$HIVE_HOME/bin/hive --service metastore &
[1] 97322
(tfv1) root@98031e181845:/data/myapp2024/myBigDataApplicationDevelopment/hadoop-3.1.3# 2024-04-09 18:50:20: Starting Hive Metastore Server
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/data/myapp2024/myBigDataApplicationDevelopment/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@1e35e9d0" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor
        at org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor.run(JvmPauseMonitor.java:176)
        at java.lang.Thread.run(Thread.java:748)
(tfv1) root@98031e181845:/data/myapp2024/myBigDataApplicationDevelopment/hadoop-3.1.3# MetaException(message:Version information not found in metastore. )
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java:83)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:92)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:6885)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:6880)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:7138)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:7065)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:318)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:232)
Caused by: MetaException(message:Version information not found in metastore. )
        at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7564)
        at org.apache.hadoop.hive.metastore.ObjectStore.verifySchema(ObjectStore.java:7542)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
```
解决方法如下：

删除 Hive 目录下的旧版 Guava JAR 文件：rm /opt/apache-hive-2.3.4-bin/lib/guava-14.0.1.jar

将新版 Guava JAR 文件复制到 Hive 目录下：cp /data/myapp2024/myBigDataApplicationDevelopment/hadoop-3.1.3/share/hadoop/hdfs/lib/guava-27.0-jre.jar /opt/apache-hive-2.3.4-bin/lib

这些操作的目的是替换 Hive 中的旧版 Guava JAR 文件，以解决 Guava 版本冲突问题。
```
rm /opt/apache-hive-2.3.4-bin/lib/guava-14.0.1.jar 
cp /data/myapp2024/myBigDataApplicationDevelopment/hadoop-3.1.3/share/hadoop/hdfs/lib/guava-27.0-jre.jar /opt/apache-hive-2.3.4-bin/lib
```
启动Hive CLI或Beeline：启动Hive CLI或Beeline以连接到Hive。您可以使用以下命令之一：

使用Hive CLI：
```
hive
```
使用Beeline：
```
beeline -u jdbc:hive2://localhost:10000
```
进行必要的配置更改：根据需要，您可能需要在Hive中进行其他配置更改，例如元数据存储类型、数据存储位置等。