博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MR程序的几种提交运行模式
阅读量:7183 次
发布时间:2019-06-29

本文共 832 字,大约阅读时间需要 2 分钟。

本地模式运行

1-在windows的eclipse里面直接运行main方法

将会将job提交给本地执行器localjobrunner

  • 输入输出数据可以放在本地路径下
  • 输入输出数据放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果将hdfs的配置文件放在类路径下面,那么不用写hdfs://

2-在linux的eclipse里面直接运行main方法,但是不要提那家yarn相关的配置,也会提交给localjobrunner执行

输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata)

输入输出数据也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)

 

集群模式运行

1-将工程达成jar包上传到服务器,然后用hadoop命令提交,hadoop jar wc.jar  xx.xx.xx.xx.XXRunner

2-在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取下面的措施:

---在工程的src目录中加入mapred-site.xml

---将工程达成jar包(wc.jar),同同时在main方法中添加一个conf的配置参数,conf.set("mapreduce.job.jar",“XX.jar”)

3-在windows的eclipse中直接yunxingmain方法,也乐意提交给集群中运行,但是因为平台不兼容,需要做很多额外的设置

---要在windows中存放一份hadoop的安札UN该包(解压好的)

---要将其中的lib和bin目录替换成根据Windows版本重新编译出的文件,因为这两个目录中的文件都是和本地相关的;

---配置系统环境变量HADOOP_HOME和PATH

---修改YarnRunner这个类的源码=

 

转载于:https://www.cnblogs.com/maxigang/p/9777025.html

你可能感兴趣的文章
基于DotNet构件技术的企业级敏捷软件开发平台 AgileEAS.NET - 插件运行容器
查看>>
LintCode: Minimum Path Sum
查看>>
LintCode: Maximum Subarray
查看>>
大数据在金融和贸易中的作用
查看>>
开发者必读 移动端页面优化的10个好方法
查看>>
Nest 为何刚宣布开放 API,就能吸引到重量级盟友?
查看>>
JavaScript之this指针深入详解
查看>>
服务器运行过程中如何进行维护
查看>>
Web前端知识杂乱 如何分清主次和学习优先级?
查看>>
数据驱动的迷思
查看>>
软件工程师欲发动DDoS攻击白宫网站 抗议特朗普就任总统
查看>>
在中关村问小米
查看>>
Duolingo推出聊天机器人功能帮助你学习外语
查看>>
《企业级ios应用开发实战》一3.3 MVC模式
查看>>
巴菲特正寻求可再生能源领域的投资机会
查看>>
《Android程序设计》一3.4 静态应用资源和上下文
查看>>
固态硬盘SSD在关键场合的应用
查看>>
详述机柜的不同分类及常见配件
查看>>
CWA成员称其领导人被捕后将增加对美国政府的攻击
查看>>
谭铁牛当选CVPR 2021大会主席,华人学术力量不容小觑
查看>>