yarn-site.xml <property> <name>mapreduce.map.memory.mb</name> <value>3096</value> </property> hive-env.sh export HIVE_METASTORE_HEAPSIZE=4096 expo
Set hive.limit.optimize.enable=true;--(默认为false) Set hive.limit.row.max.size=100000;--(limit最多可以查询多少行,根据需求可以调大) Set hive.limit.optimize.limit.file=10;
执行sql时报错信息 Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08
原因:beeline 为了更好地展示漂亮的表格,使用 jline.Terminal.setupTerminal().getTerminalWidth() 获得终端的宽度,而该方法是通过调用 stty 来设置终端属性。当 beeline 以后台模式运行,调用 stty 时,内核的终端驱动程序在会发送一
说明: 我们知道hive默认计算引擎为MR,而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez(当然在此需要先安装Tez),Tez基于内存的计算使得hive可以有更高的运算效率。 tez-site.xml 参数官方文档 https://tez.apache.o
官网文档 https://tez.apache.org/install.html ============================================================ hadoop2.7以上版本使用tez引擎直接使用二进制包有可能无法使用,需要手动编译 hive版
驱动包为更改为mysql8 https://search.maven.org/artifact/mysql/mysql-connector-java/8.0.26/jar hive-site.xml修改驱动配置 <property> <name>javax.jdo.option.Conn
版本:2.3.9 下载地址:https://dlcdn.apache.org/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz 安装目录/opt 启动用户:hadoop mysql安装略 解压hive tar -zxvf apache-hive-2.3.9-b
Hive
ElasticSearch
Kafka
hadoop
Mysql
Nginx
运维笔记