正文

Mac系统轻松搭建Hadoop环境教程详解

/0 浏览量
0502

1. 引言

Hadoop是一个开源的分布式计算框架，适用于处理大规模数据集。在Mac系统上搭建Hadoop环境，可以让你在本地进行大数据处理实践。本文将详细介绍如何在Mac系统上搭建Hadoop环境，让你轻松入门大数据处理。

2. 准备工作

在开始搭建Hadoop环境之前，请确保你的Mac系统满足以下要求：

  • 操作系统：MacOS 10.13或更高版本
  • Java开发环境：JDK 1.8或更高版本
  • 虚拟机软件：VMware Fusion或Parallels Desktop（可选）

3. 安装Java

  1. 下载JDK：访问Oracle官网下载JDK 1.8或更高版本。
  2. 解压JDK：将下载的JDK安装包解压到合适的位置，例如/usr/local。
  3. 配置环境变量：打开终端，编辑~/.bash_profile文件。 
    
vi ~/.bash_profile
  4. 在文件末尾添加以下内容： 
    
export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH
  5. 保存文件并退出编辑器。
  6. 刷新环境变量： 
    
source ~/.bash_profile

4. 安装Hadoop

  1. 下载Hadoop：访问Apache Hadoop官网下载Hadoop 3.3.4或更高版本。
  2. 解压Hadoop：将下载的Hadoop安装包解压到合适的位置，例如/usr/local。
  3. 配置Hadoop环境变量：打开终端，编辑~/.bash_profile文件。 
    
vi ~/.bash_profile
  4. 在文件末尾添加以下内容： 
    
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  5. 保存文件并退出编辑器。
  6. 刷新环境变量： 
    
source ~/.bash_profile

5. 配置Hadoop

  1. 配置hadoop-env.sh：编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件。 

    
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

  2. 在文件末尾添加以下内容： 

    
export JAVA_HOME=/usr/local/jdk1.8.0_231

  3. 保存文件并退出编辑器。

  4. 配置core-site.xml：编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件。

    vi $HADOOP_HOME/etc/hadoop/core-site.xml

  5. 在文件中添加以下内容：

    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp</value>
    </property>
</configuration>

  6. 保存文件并退出编辑器。

  7. 配置hdfs-site.xml：编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件。

    vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

  8. 在文件中添加以下内容：

    <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  9. 保存文件并退出编辑器。

  10. 配置mapred-site.xml：编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件。

    vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

  11. 在文件中添加以下内容：

    <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

  12. 保存文件并退出编辑器。

  13. 配置yarn-site.xml：编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件。

    vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

  14. 在文件中添加以下内容：

    <configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

  15. 保存文件并退出编辑器。

6. 格式化HDFS

在终端中运行以下命令，格式化HDFS：

hdfs namenode -format

7. 启动Hadoop服务

  1. 启动NameNode： 
    
start-dfs.sh
  2. 启动ResourceManager： 
    
start-yarn.sh
  3. 启动HistoryServer（可选）： 
    
mr-jobhistory-daemon.sh start historyserver

8. 验证Hadoop环境

在浏览器中访问以下地址，查看Hadoop Web界面：

http://localhost:50070

在另一个终端中运行以下命令，查看YARN Web界面：

http://localhost:8088

9. 总结

恭喜你，你已经成功在Mac系统上搭建了Hadoop环境！你可以开始使用Hadoop进行大数据处理实践了。希望本文能帮助你轻松入门Hadoop。

-- 展开阅读全文 --