其实根本原因就是内存不够了。啊啊啊啊啊啊我真的好气,做大数据真的需要一个性能强大的电脑,我电脑开两个虚拟机就已经撑死了cpu都占了90%了,如果开三个的话就会卡死。呜呜呜呜呜呜呜呜好伤心,小王什么时候才能买到MacBook Pro。

鸣谢

感谢这位博主的博客以及他的评论,再次谢谢!

解决问题

1.去修改yarn-site.xml(修改的内容注释为“这是新加的”)

<configuration>
        <!--指定MR走shuffle  -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定ResourceManager的地址  -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop102</value>
        </property>

        <!-- 环境变量的继承 -->
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMOM_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <!-- 这是新加的 -->
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>
</configuration>

2.删除mapred-site.xml中的以下代码

<!-- 指定MapReduce程序运行在Yarn上  -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

删除后的正确代码如下

<configuration>
        <!-- 指定MapReduce程序运行在Yarn上  -->
        <!-- 历史服务器端地址  -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop100:10020</value>
        </property>
        <!-- 历史服务器web端地址   -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop100:19888</value>
        </property>
</configuration>

3.成功后截图
在这里插入图片描述
thats alllll
over

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐