Hcy

cloudera manager 更换MySQL服务器 更换存储cm元数据的MySQL的位置 n1机器更换到n2. 由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。 如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些

报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na

由于服务器主机名大写引起的警告信息 消除方法： 在/etc/hosts中添加主机名小写的映射 注意：小写域名要添加在第一位，因为cm只采集第一个域名，之前大写的域名映射不要删除，否则集群会出现问题。 添加完成后重启所有agent，这时警告信息应该就没有了，集群提示配置过期，重启集群就可以了(其实不重

不需要get到本地 直接查看压缩文件内容 hadoop fs -cat /2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 hadoop fs -cat /shining/temp.txt.gz | gzip -d 或 hadoop fs -ca

通过黑白名单配置datanode上线下线 白名单配置 <property> <!-- 白名单信息--> <name>dfs.hosts</name> <value>/home/hadoop-twq/bigdata/hadoop-2.7.5/etc/hadoop/dfs.inc

一、背景 5月5日腾讯云安全团队曾针对“攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码”的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对其中一个案例进行分析并提供响应的

查看当前副本数 hdfs fsck / -files -blocks 修改所有文件副本数为2 立刻生效 hdfs dfs -setrep 2 -R -w / 修改dfs.replication值为2，然后重启HDFS hdfs-site.xml文件 <property> 　　<name>dfs.re

集群安全模式 （1）hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态） （3）hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态

hadoop version 3.3.4 官方文档概述： NFS 网关支持 NFSv3 并允许将 HDFS 作为客户端本地文件系统的一部分进行挂载。目前 NFS 网关支持并启用以下使用模式： 用户可以通过 NFSv3 客户端兼容操作系统上的本地文件系统浏览 HDFS 文件系统。 用户可以将文件从 H

<!--开启日志聚合--> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!--聚合日志在hdfs上的保留时间，以秒为单位--> <property