1. 为什么集群搭建的第一步不是装软件而是清场很多人拿到搭建Hadoop集群这个任务第一反应是赶紧找安装包、敲命令、启动进程。我在早期也这么干过结果就是集群跑起来之后各种诡异问题节点之间互相不认识、时间戳对不上导致任务莫名失败、防火墙把心跳包拦掉让节点频繁掉线。折腾了两天才发现根子全在环境准备阶段没做干净。所以这篇内容的核心不是教你敲哪条安装命令而是把集群环境准备这件事讲透。它适合两类人一是第一次接触分布式集群、准备在CentOS 7上搭一套实验环境的同学二是搭过单机伪分布式、但没真正处理过多节点协同问题的开发者。环境准备做扎实了后面装Hadoop、配YARN、跑MapReduce才会顺否则你会在各种看起来跟Hadoop无关的地方反复卡壳。这里说的清场具体指四件事主机名与网络身份的统一、节点间的信任关系、时间基准的一致、以及系统层面的干扰项清理。这四件事任何一件没做好集群都会以你意想不到的方式出问题。下面我按实际操作顺序把每一步的原理、命令和踩坑点都拆开讲。2. 集群规划先想清楚几台机器各干什么2.1 角色划分不是随便分的在动手改任何配置之前得先把集群的拓扑定下来。Hadoop集群里主要有这么几个角色NameNode管理文件系统元数据、DataNode存实际数据块、ResourceManager管计算资源调度、NodeManager单节点资源代理、SecondaryNameNode辅助合并元数据注意它不是NameNode的备份。实验环境常见的做法是准备三台机器。一台做Master承担NameNode和ResourceManager另外两台做Slave跑DataNode和NodeManager。SecondaryNameNode可以放在Master上也可以单独放一台实验环境放Master上够用。为什么是三台而不是两台因为两台的集群体现不出多节点协同的真实感副本机制、数据均衡这些特性很难观察到而三台是能观察到分布式行为的最小规模。我建议在规划阶段就用一张表把角色和主机名对应关系写清楚避免后面配置时张冠李戴主机名IP地址示例承担角色master192.168.100.10NameNode、ResourceManager、SecondaryNameNodeslave1192.168.100.11DataNode、NodeManagerslave2192.168.100.12DataNode、NodeManager注意IP地址用你自己实验环境的网段我这里用的是一个常见的私有网段示例不要照抄否则可能和你现有网络冲突。2.2 主机名规划里藏着的坑主机名这件事看起来最简单其实最容易埋雷。Hadoop内部大量使用主机名来标识节点如果主机名和IP的映射关系不稳定会出现节点启动了但集群里看不到的情况。规划时遵守两条第一主机名用纯小写字母加数字不要用下划线、不要用大写、不要用中文因为部分组件对主机名字符有严格校验第二每台机器的主机名要和hosts文件里的记录完全一致一个字符都不能差。我见过有人主机名设成Masterhosts里写的是master结果NameNode启动时报无法解析主机排查了半天。3. 网络身份统一主机名与hosts文件的正确改法3.1 修改主机名的两种方式及区别CentOS 7改主机名有两种方式效果不一样得搞清楚用哪个。第一种是临时修改命令是hostname 新名字重启就失效只适合临时测试。第二种是永久修改用hostnamectl set-hostname 新名字这个命令会同时更新静态主机名重启后依然生效。实际操作中我建议直接用hostnamectl改完执行hostnamectl status确认一下能看到Static hostname那一行变成了你设置的名字就对了。改完主机名后当前终端的提示符不会立刻变需要重新登录或者执行bash开一个新shell才会刷新。这不是没生效别被这个现象骗了。3.2 hosts文件为什么必须三台机器都改/etc/hosts文件的作用是把主机名解析成IP。在实验环境里我们通常没有内网DNS服务器所以必须靠hosts文件来做解析。关键在于三台机器包括Master自己的hosts文件内容必须完全一致都要包含所有节点的映射。为什么Master自己也要写因为NameNode在启动时会解析自己的主机名如果本机hosts里没有自己的记录它可能解析失败或者解析到一个奇怪的地址。为什么三台要一致因为任何一台机器都可能需要访问其他任意一台解析表不全会导致单向可达、单向不可达的诡异现象。具体操作是在每台机器的/etc/hosts末尾追加192.168.100.10 master 192.168.100.11 slave1 192.168.100.12 slave2改完之后在每台机器上分别执行ping master、ping slave1、ping slave2三个都能通才算过关。这里有个细节ping的时候看返回的IP是不是你hosts里写的那个如果返回的是别的地址说明系统里有其他解析规则在干扰需要排查。3.3 网络连通性验证不能只看pingping通只代表ICMP协议可达不代表Hadoop需要的端口能通。Hadoop各组件之间通信依赖一堆TCP端口比如NameNode的8020、ResourceManager的8032等等。环境准备阶段虽然还没装Hadoop但可以先用telnet或者nc测试一下基础连通性。我的习惯是在Master上对每个Slave执行一次端口探测确认网络层没有拦截。如果实验环境里开了防火墙这一步就会暴露问题。关于防火墙的处理后面单独讲。4. 免密登录让节点之间互相信任4.1 为什么集群需要免密登录Hadoop的启动脚本比如start-dfs.sh在Master上执行时需要远程登录到各个Slave去启动对应的进程。如果每次都要输密码脚本就没法自动化执行。所以必须配置SSH免密登录让Master能无密码登录到所有Slave同时Master也要能免密登录自己。这里要澄清一个常见误解免密登录不是所有节点两两互免而是Master能免密到所有节点含自己就够了。Slave之间不需要互相免密因为启动脚本是从Master发起的。当然如果你想让Slave也能免密到其他节点多配一份也无妨但实验环境没必要。4.2 生成密钥对与分发的完整流程第一步在Master上生成密钥对ssh-keygen -t rsa -b 4096执行后会问保存路径直接回车用默认的~/.ssh/id_rsa然后问是否设置密码短语这里必须直接回车留空否则每次登录还是要输密码免密就白配了。-b 4096是指定密钥长度比默认的2048更安全实验环境用2048也行但4096也不费事。第二步把公钥分发到所有节点包括Master自己ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2ssh-copy-id会自动把公钥追加到目标机器的~/.ssh/authorized_keys里并设置好权限。如果目标机器的.ssh目录不存在它会自动创建。这一步会要求输入目标机器的密码输一次就行。第三步验证。在Master上依次执行ssh master、ssh slave1、ssh slave2如果都不需要密码就能登录进去说明配置成功。第一次登录会问是否信任该主机输入yes即可。4.3 免密登录失败的三个高频原因配免密登录失败是新手最常见的卡点我总结下来主要是三个原因。第一个是权限问题。SSH对.ssh目录和authorized_keys文件的权限极其敏感目录必须是700文件必须是600。如果权限过宽SSH会直接拒绝使用这个密钥。修复命令是chmod 700 ~/.ssh和chmod 600 ~/.ssh/authorized_keys。第二个是密钥分发到了错误的用户。ssh-copy-id默认分发到目标机器的当前用户名下。如果你在Master上用root操作但Slave上想用普通用户就会对不上。解决办法是明确指定用户比如ssh-copy-id 用户名slave1。第三个是SELinux在捣乱。CentOS 7默认开启SELinux它可能阻止SSH读取密钥文件。如果权限都对了还是不行可以临时把SELinux设为宽容模式测试setenforce 0。如果这样就好了说明是SELinux的问题需要永久关闭后面讲。5. 时间同步被严重低估的集群稳定基石5.1 时间不一致会引发什么后果这一节我要重点讲因为时间同步是环境准备里最容易被跳过、但后果最严重的一环。Hadoop集群里各个节点会互相发送心跳、记录日志、协调任务。如果节点之间的时间差太大会出现这些问题任务调度器认为某个节点的心跳过期了把节点标记为失联日志时间戳错乱排查问题时完全理不清先后顺序某些基于时间戳的一致性校验直接失败。我遇到过时间差了十几分钟导致DataNode反复被踢出集群的情况查了半天才定位到是时间问题。所以集群所有节点的时间必须保持一致误差控制在秒级以内。5.2 用chrony做时间同步的实操CentOS 7自带chrony作为时间同步工具老版本用的是ntpd。配置思路是选一台机器作为时间源通常就是Master其他节点从Master同步时间。在Master上编辑/etc/chrony.conf确保它作为服务端允许其他节点同步。关键配置是允许内网网段访问allow 192.168.100.0/24 local stratum 10allow指定允许哪些网段来同步local stratum 10表示即使Master自己没连上外部时间源也把自己当作一个可用的时间源对外提供服务。这在纯内网实验环境里很关键因为实验机器往往连不上外网时间服务器。在Slave上编辑/etc/chrony.conf把时间源指向Masterserver master iburstiburst表示启动时快速发送几个包来加速同步。改完后重启chrony服务systemctl restart chronyd并设置开机自启systemctl enable chronyd。验证同步效果用chronyc sources能看到Master那一行前面有个^*符号就说明同步成功了。再用date命令对比三台机器的时间应该基本一致。5.3 时间同步的常见误区有个误区是我手动用date命令把三台机器时间设成一样就行了。手动设置只能保证那一刻一致机器运行久了时钟会漂移几天后可能又差出好几秒。所以必须用chrony这类服务持续同步不能靠手动。另一个误区是只配了Slave同步Master忘了Master自己也需要一个时间基准。如果Master的时间本身在漂移所有Slave跟着一起漂集群内部虽然相对一致但和外部系统交互时比如读取带时间戳的数据文件就会出问题。所以Master最好也配一个上游时间源实在没有就用local stratum把自己当基准。6. 防火墙与SELinux该关的关该放的放6.1 实验环境为什么建议直接关防火墙Hadoop集群内部通信涉及的端口非常多NameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer等等每个组件都监听若干端口。在实验环境里逐个开放端口既繁琐又容易漏所以我通常建议直接把防火墙关掉。关闭命令是systemctl stop firewalld systemctl disable firewalldstop是立即停止disable是禁止开机自启两个都要执行否则重启后又开了。注意这里说的是实验环境。如果是生产环境绝对不能一关了之必须按最小权限原则精确开放所需端口。这个区别要拎清楚别把实验环境的偷懒做法带到生产里去。6.2 SELinux的处理方式SELinux是CentOS的安全增强模块它会限制进程能访问哪些文件、能绑定哪些端口。Hadoop的很多操作会触发SELinux的拦截表现为权限明明对但就是访问不了。处理方式是修改/etc/selinux/config文件把SELINUXenforcing改成SELINUXdisabled然后重启机器生效。临时生效可以用setenforce 0但重启后会恢复所以配置文件必须改。改完用getenforce命令验证输出Disabled就对了。这里要提醒一句SELinux关闭后需要重启才彻底生效别改完配置文件就直接往下走否则可能还是遇到拦截。6.3 一个容易被忽略的干扰项swap除了防火墙和SELinux还有一个干扰项是swap分区。Hadoop在处理大数据时对内存和磁盘的交互很敏感swap可能导致性能剧烈波动甚至让节点被误判为不健康。实验环境里建议把swap关掉。临时关闭用swapoff -a永久关闭需要注释掉/etc/fstab里swap那一行。关掉之后用free -h确认swap那一行都是0。7. JDK安装版本选择与路径规范7.1 为什么JDK版本要卡得这么死Hadoop是用Java写的运行离不开JDK。但JDK版本不是随便装一个就行Hadoop对JDK版本有明确要求。以Hadoop 3.x为例它要求JDK 8而且对具体的小版本也有偏好。装JDK 11或更高版本可能会遇到各种兼容性报错比如某些内部API被移除导致的NoSuchMethodError。所以我的建议是先确定你要装的Hadoop版本再根据它的官方文档选对应的JDK版本。不要先装JDK再选Hadoop顺序反了容易返工。实验环境里Hadoop 3.x配JDK 8是最稳的组合。7.2 安装路径的规范与多节点一致性JDK要装在所有节点上而且安装路径必须完全一致。为什么因为Hadoop的配置文件里会写死JAVA_HOME的路径如果各节点路径不同配置就没法统一。我习惯把JDK装在/usr/local/jdk这样的固定路径下所有节点都用同一个路径。安装方式可以用包管理器yum install也可以下载压缩包手动解压。手动解压的好处是路径完全可控不受包管理器默认路径的影响。装完后配置环境变量编辑/etc/profile在末尾加上export JAVA_HOME/usr/local/jdk export PATH$JAVA_HOME/bin:$PATH然后执行source /etc/profile让配置生效。用java -version验证能看到版本信息就说明装好了。这一步同样要在所有节点上做一遍并且验证每台机器的java -version输出一致。7.3 环境变量配置的一个细节有个细节很多人会踩/etc/profile的修改只对新开的shell生效当前shell需要source一下。而且如果你是用ssh远程执行命令非交互式shell可能不会加载/etc/profile导致找不到java。这种情况可以在~/.bashrc里也加一份或者用/etc/profile.d/目录下的脚本方式配置兼容性更好。8. 环境准备完成后的自检清单环境准备做完别急着装Hadoop先做一轮系统自检。我整理了一份清单逐项确认能省掉后面大量排查时间。检查项验证命令合格标准主机名hostname与规划一致hosts解析ping 各节点名全部能通且IP正确免密登录ssh 各节点名无需密码直接进入时间同步chronyc sources显示同步源且状态正常防火墙systemctl status firewalld已停止且禁用SELinuxgetenforce输出Disabledswapfree -hswap行为0JDKjava -version各节点版本一致这份清单看着简单但每一项背后都对应着后面可能出现的具体故障。比如免密登录没配好start-dfs.sh会卡在输入密码时间没同步节点会莫名掉线SELinux没关会出现各种权限对但访问不了的怪问题。9. 我在多次搭建中总结的几条经验最后分享几条从实际操作里攒下来的经验都是文档里不太会写、但确实能救命的。第一条改配置前先备份。/etc/hosts、/etc/profile、/etc/selinux/config这些文件改之前先cp一份加个.bak后缀。改错了能快速回滚比重装系统快得多。第二条每改完一项就验证一项不要攒着一起验。环境准备涉及十几个改动点如果全改完再统一测试一旦出问题你根本不知道是哪个改动引起的。改一项、验一项问题定位成本最低。第三条三台机器的配置要复制式一致。除了主机名和IP不同其他配置hosts内容、JDK路径、环境变量、时间源设置应该尽量保持一致。配置差异越大出问题的概率越高。我甚至会把一台机器的配置文件改好后直接scp到其他机器只改主机名相关的部分。第四条记录每一步的操作。环境准备阶段的操作很容易忘尤其是隔了几天再回来继续搭的时候。我习惯用一个文本文件把执行的命令、改的文件、遇到的问题都记下来后面装Hadoop出问题时回头翻记录能快速定位是不是环境准备阶段埋的雷。环境准备这件事做的时候觉得繁琐但它决定了整个集群的地基稳不稳。把这一关过了后面装Hadoop、配集群、跑任务会顺畅很多。下一篇我会接着讲Hadoop的安装和核心配置文件怎么写那部分才是真正让集群跑起来的环节。