正文

轻松上手单机Hadoop配置，从入门到实践全攻略

/0 浏览量
0517

引言

Hadoop是一个强大的分布式计算框架，它允许你在大量数据上进行快速处理。虽然Hadoop最初是为分布式环境设计的，但你可以轻松地在单机上配置Hadoop进行学习和实验。本文将带你从入门到实践，一步步完成单机Hadoop的配置。

一、Hadoop简介

1.1 什么是Hadoop？

Hadoop是一个开源的分布式计算框架，由Apache软件基金会维护。它允许你在大量数据集上运行应用程序，这些数据集可以存储在廉价的商用硬件上。

1.2 Hadoop的核心组件

  • Hadoop Distributed File System (HDFS)：一个分布式文件系统，用于存储大量数据。
  • MapReduce：一个编程模型，用于大规模数据集上的并行运算。
  • YARN：一个资源管理器，负责管理集群中的资源，并为应用程序提供资源分配。

二、单机Hadoop环境搭建

2.1 系统要求

  • 操作系统：Linux（推荐使用Ubuntu 16.04或更高版本）
  • Java：Java 8或更高版本
  • 硬件：至少4GB内存（推荐8GB以上）

2.2 安装Java

sudo apt-get update
sudo apt-get install openjdk-8-jdk

2.3 下载Hadoop

从Hadoop官网下载适合你操作系统的Hadoop版本。

2.4 解压Hadoop

tar -xzf hadoop-3.3.4.tar.gz -C /opt
cd /opt/hadoop-3.3.4

2.5 配置Hadoop

编辑etc/hadoop/hadoop-env.sh文件，设置Java的路径：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

编辑etc/hadoop/core-site.xml文件，配置HDFS的存储目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

编辑etc/hadoop/hdfs-site.xml文件，配置HDFS的副本数量：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

2.6 格式化HDFS

bin/hdfs namenode -format

2.7 启动Hadoop服务

bin/start-dfs.sh

2.8 验证Hadoop服务

在浏览器中访问http://localhost:50070，你应该能看到HDFS的Web界面。

三、编写MapReduce程序

3.1 编写Java程序

创建一个名为WordCount.java的Java程序，实现单词计数功能。

public class WordCount {
  public static void main(String[] args) throws Exception {
    // TODO: 实现单词计数逻辑
  }
}

3.2 编译程序

javac WordCount.java

3.3 运行程序

bin/hadoop jar WordCount.jar WordCount /input /output

3.4 查看结果

在/output目录下，你可以找到单词计数的输出结果。

四、总结

通过本文的介绍，你应该已经能够轻松地在单机上配置Hadoop，并编写简单的MapReduce程序。接下来，你可以继续深入学习Hadoop的高级特性，如YARN、Hive和Spark等。祝你学习愉快！

-- 展开阅读全文 --