正文

Windows系统轻松安装Hadoop，小白也能一步到位教程

/0 浏览量
0825

引言

Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。在Windows系统上安装Hadoop可能会让一些新手感到困惑，但别担心，本文将一步步带你完成安装，即使你是编程小白，也能轻松上手。

准备工作

在开始安装之前，请确保你的Windows系统满足以下要求：

  • 操作系统：Windows 7或更高版本
  • 硬件要求：至少2GB内存（推荐4GB以上）
  • Java环境：JDK 1.7或更高版本

安装步骤

1. 下载Hadoop

首先，从Hadoop官网（https://hadoop.apache.org/releases.html）下载适合你的Windows系统的Hadoop版本。目前最新版本为Hadoop 3.3.4。

2. 解压Hadoop

将下载的Hadoop压缩包解压到你的硬盘上，例如：D:\hadoop-3.3.4。

3. 配置环境变量

  1. 右键点击“此电脑”选择“属性”。
  2. 点击“高级系统设置”。
  3. 在“系统属性”窗口中，点击“环境变量”。
  4. 在“系统变量”下，点击“新建”。
  5. 变量名输入HADOOP_HOME，变量值输入你的Hadoop安装路径，例如：D:\hadoop-3.3.4。
  6. 点击“确定”后，在“系统变量”下找到Path变量，点击“编辑”。
  7. 在变量值的末尾添加%;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin，确保变量值以分号结尾。
  8. 点击“确定”后关闭所有窗口。

4. 配置Hadoop

  1. 打开Hadoop安装路径下的etc\hadoop文件夹。
  2. 找到hadoop-env.sh文件，打开并编辑。
  3. 在文件中找到export JAVA_HOME行，将其修改为你的Java安装路径，例如：export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_251。
  4. 保存并关闭文件。

5. 配置Hadoop配置文件

  1. 在etc\hadoop文件夹中，找到core-site.xml文件。
  2. 打开并编辑该文件，添加以下内容：
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

  1. 保存并关闭文件。

  2. 找到hdfs-site.xml文件，打开并编辑该文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  1. 保存并关闭文件。

  2. 找到mapred-site.xml文件，打开并编辑该文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  1. 保存并关闭文件。

6. 格式化HDFS

在命令行中，切换到Hadoop安装路径下的bin文件夹，然后执行以下命令：

hdfs dfs -format

7. 启动Hadoop

  1. 在命令行中，切换到Hadoop安装路径下的sbin文件夹。
  2. 执行以下命令启动Hadoop守护进程：
start-dfs.sh
start-yarn.sh

8. 验证安装

在浏览器中输入http://localhost:50070，如果看到HDFS Web界面，则表示Hadoop安装成功。

总结

通过以上步骤，你已经在Windows系统上成功安装了Hadoop。现在，你可以开始使用Hadoop处理大规模数据集了。祝你学习愉快！

-- 展开阅读全文 --