正文

新手必看：轻松搭建Hadoop服务器，从入门到精通，实战案例教学

/0 浏览量
1017

了解Hadoop

首先，让我们来认识一下Hadoop。Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。它允许我们在多个服务器上分布存储和并行处理数据。Hadoop由两个主要组件组成：HDFS（Hadoop Distributed File System，分布式文件系统）和YARN（Yet Another Resource Negotiator，资源调度器）。

硬件与软件准备

硬件要求

  • 至少两台计算机或虚拟机
  • 64位操作系统（如Ubuntu、CentOS）
  • 网络连接

软件要求

  • Java环境
  • Hadoop版本（如Hadoop 3.x）

安装Java

首先，我们需要在每台服务器上安装Java。以下是在Ubuntu上安装Java的步骤：

sudo apt update
sudo apt install openjdk-8-jdk

验证Java安装：

java -version

安装Hadoop

下载Hadoop

从Apache Hadoop官网下载适合你操作系统的Hadoop版本。

解压Hadoop

将下载的Hadoop包解压到指定的目录：

tar -xzf hadoop-3.3.4.tar.gz -C /opt/hadoop

配置Hadoop

进入Hadoop配置目录：

cd /opt/hadoop/etc/hadoop

编辑hadoop-env.sh文件，设置Java环境变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

编辑core-site.xml文件，配置Hadoop的存储路径：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

编辑hdfs-site.xml文件，配置HDFS的存储路径：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

编辑mapred-site.xml文件，配置MapReduce的运行模式：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

编辑yarn-site.xml文件，配置YARN的存储路径：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化HDFS

在主节点上，运行以下命令来格式化HDFS：

hdfs namenode -format

启动Hadoop服务

启动HDFS

在主节点上，启动NameNode和Secondary NameNode：

start-dfs.sh

启动YARN

在主节点上，启动 ResourceManager 和 NodeManager：

start-yarn.sh

实战案例

让我们通过一个简单的WordCount示例来实践Hadoop。

创建WordCount程序

在Hadoop安装目录下创建一个名为wordcount的文件夹，并在其中创建一个名为WordCount.java的文件：

public class WordCount {
  public static void main(String[] args) throws Exception {
    // Your code here
  }
}

编译WordCount程序：

javac WordCount.java

将编译后的WordCount类文件移动到Hadoop的share/hadoop/mapreduce/lib目录下：

cp WordCount.class /opt/hadoop/share/hadoop/mapreduce/lib

运行WordCount

在主节点上，运行以下命令来执行WordCount：

hadoop jar /opt/hadoop/share/hadoop/mapreduce/lib/WordCount.jar org.apache.hadoop.mapreduceWordCount input output

查看结果

在输出目录下查看结果：

cat output/*

总结

通过以上步骤，您已经成功搭建了Hadoop服务器，并运行了一个简单的WordCount程序。这只是Hadoop应用的冰山一角，随着您对Hadoop的深入学习，您将能够利用它处理更复杂的数据分析和处理任务。祝您学习愉快！

-- 展开阅读全文 --