cloudera manager 更换MySQL服务器 更换存储cm元数据的MySQL的位置 n1机器更换到n2. 由于我只安装了下边四个服务,这四个不涉及到MySQL,所以不用更改他们的配置,也不用停止这四个服务。 如果所安装的集群使用到MySQL,并且需要一起迁移到新的MySQL,则需要停止这些
报错信息: java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na
由于服务器主机名大写引起的警告信息 消除方法: 在/etc/hosts中添加主机名小写的映射 注意:小写域名要添加在第一位,因为cm只采集第一个域名,之前大写的域名映射不要删除,否则集群会出现问题。 添加完成后重启所有agent,这时警告信息应该就没有了,集群提示配置过期,重启集群就可以了(其实不重
不需要get到本地 直接查看压缩文件内容 hadoop fs -cat /2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 hadoop fs -cat /shining/temp.txt.gz | gzip -d 或 hadoop fs -ca
通过黑白名单配置datanode上线下线 白名单配置 <property> <!-- 白名单信息--> <name>dfs.hosts</name> <value>/home/hadoop-twq/bigdata/hadoop-2.7.5/etc/hadoop/dfs.inc
一、背景 5月5日腾讯云安全团队曾针对“攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击,攻击者可以在未授权的情况下远程执行代码”的安全问题进行预警,在预警的前后我们曾多次捕获相关的攻击案例,其中就包含利用该问题进行挖矿,我们针对其中一个案例进行分析并提供响应的
查看当前副本数 hdfs fsck / -files -blocks 修改所有文件副本数为2 立刻生效 hdfs dfs -setrep 2 -R -w / 修改dfs.replication值为2,然后重启HDFS hdfs-site.xml文件 <property> <name>dfs.re
集群安全模式 (1)hdfs dfsadmin -safemode get (功能描述:查看安全模式状态) (2)hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态) (3)hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态
hadoop version 3.3.4 官方文档概述: NFS 网关支持 NFSv3 并允许将 HDFS 作为客户端本地文件系统的一部分进行挂载。目前 NFS 网关支持并启用以下使用模式: 用户可以通过 NFSv3 客户端兼容操作系统上的本地文件系统浏览 HDFS 文件系统。 用户可以将文件从 H
<!--开启日志聚合--> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!--聚合日志在hdfs上的保留时间,以秒为单位--> <property
Hive
ElasticSearch
Kafka
hadoop
Mysql
Nginx
运维笔记