虚拟机：Hadoop集群的配置-德赢Vwin官网网

一、配置Hadoop集群主节点

修改hadoop-env.sh文件

先进入到主节点hadoop01解压包etc/hadoop/目录，使用vihadoop-env.sh指令打开hadoop-env.sh文件，找到JAVA_HOME参数位置，进入如下修改：

exportJAVA_HOME=/export/servers/jdk

修改core-site.xml文件

该文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。使用vicore-site.xml打开文件，配置内容如下

《configuration》

《property》

《name》fs.defaultFS《/name》《value》hdfs://hadoop01:9000《/value》

《/property》《property》《name》hadoop.tmp.dir《/name》《value》/export/servers/hadoop-2.9.1/tmp《/value》《/property》《/configuration》

修改hdfs-site.xml文件

主要是设置namenode和datanode进程，使用vihdfs-site.xml指令打开该配置文件，配置内容如下：

《configuration》《property》《name》dfs.replication《/name》《value》3《/value》《/property》《property》《name》dfs.namenode.secondary.http-address《/name》《value》hadoop02:50090《/value》《/property》《/configuration》

修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时的框架，需要先通过cpmapred-site.xml.templatemapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着，使用vimapred-site.xml指令打开mapred-site.xml文件进行修改，添加如下配置内容：

《configuration》《property》《name》mapreduce.framework.name《/name》《value》yarn《/value》《/property》《/configuration》

编写yarn-site.xml文件

本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用viyarn-site.xml指令打开该配置文件进行修改，添加如下配置内容：

《configuration》《property》《name》yarn.resourcemanager.hostname《/name》《value》hadoop01《/value》《/property》《property》《name》yarn.nodemanager.aux-services《/name》《value》mapreduce_shuffle《/value》《/property》《/configuration》

修改slaves文件

该文件用于记录Hadoop集群所有从节点的主机名使用vislaves指令打开该配置文件进行修改，添加如下配置内容：

hadoop01hadoop02hadoop03

将配置文件发往各子节点，用scp命令如下：

scp/etc/profilehadoop02:/etc/profilescp/etc/profilehadoop03:/etc/profilescp-r/export/hadoop02:/scp-r/export/hadoop03:/

发送完配置文件后，要去相应的子节点进行更新，指令如下：

source/etc/profile

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

虚拟机

虚拟机

+关注

关注
1

文章
914

浏览量
28158
配置

配置

+关注

关注
1

文章
188

浏览量
18375
Hadoop

Hadoop

+关注

关注
1

文章
90

浏览量
15971

学hadoop需要什么基础

：⑦　需要掌握虚拟机；⑧　需要安装linux操作系统⑨　需要配置虚拟机网络除了上述这几个方面，我们还需要了解hadoop的单机模式、伪分布模式和分布式模式的搭建方式。了解MapRedu

发表于 09-20 16:00

Hadoop的集群环境部署说明

Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题，网上关于hadoop集群环境搭建的博文教程也蛮多的。

发表于 10-12 15:51

超详细Dkhadoop虚拟机图文安装步骤

时经验为基础，给大家整理分享虚拟机的安装、操作系统安装、服务器操作系统配置、DKH系统安装等相关内容。文章篇幅可能会比较长，所以每篇就只分享一到两个点。本篇给大家分享DKHadoop虚拟机的环境安装

发表于 01-07 15:57

超详细hadoop集群服务器安装配置教程

虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明，hado

发表于 01-23 15:22

hadoop集群配置方法

hadoop集群配置

发表于 09-30 14:16

求一种基于集群的技术和基于虚拟机重启的技术

什么是IBM Power Systems的地理分散弹性？灾难恢复和高可用性（HA）解决方案主要基于两种技术：基于集群的技术和基于虚拟机重启的技术。群集高可用性和灾难恢复解决方案通常会部署冗余的硬件

发表于 12-29 06:23

基于Ubuntu的Hadoop集群安装与配置

基于Ubuntu的Hadoop集群安装与配置

发表于 09-08 14:20 •8次下载

如何搭建hadoop平台_hadoop平台搭建步骤

如何搭建hadoop平台如下所示，一、虚拟机及系统安装二、在虚拟机中配置JAVA环境三、修改hosts...

发表于 01-02 09:29 •9168次阅读

你会用VMware虚拟机安装Linux系统？

由于要搭建Oracle RAC集群需要模拟环境，所以需要利用VMware虚拟机安装集群节点环境，本章节介绍如何利用VWware虚拟机安装centos系统（Linux）。

发表于 05-13 10:27 •2668次阅读

虚拟机：Ubuntu配置Android Studio的步骤

虚拟机：Ubuntu配置Android Studio的步骤

发表于 06-22 09:43 •2813次阅读

虚拟机：Ubuntu配置gitweb的步骤

虚拟机：Ubuntu配置gitweb的步骤

发表于 06-22 16:30 •2606次阅读

虚拟机：Ubuntu的基本配置

虚拟机：Ubuntu的基本配置的基本配置

发表于 06-22 16:52 •3092次阅读

虚拟机：为icescrum 配置MySQL

虚拟机：为icescrum 配置MySQL

发表于 06-22 16:57 •2141次阅读

虚拟机：Hadoop集群的测试

通过前面的学习，此时还不能直接启动集群，因为在初次启动HDFS集群时，编写对主节点进行格式化处理

发表于 07-01 13:03 •2525次阅读

虚拟机：Hadoop集群的搭建

虚拟机：Hadoop集群的搭建

发表于 07-01 13:03 •3197次阅读