博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark 配置及提交应用
阅读量:5255 次
发布时间:2019-06-14

本文共 1010 字,大约阅读时间需要 3 分钟。

export SPARK_MASTER_WEBUI_PORT=8888

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/xxx/sparkapp/lib/mysql-connector-java-5.1.27.jar:/home/xxx/sparkapp/lib/hbase-common-1.2.0.jar:/home/xxx/sparkapp/lib/hbase-client-1.2.0.jar
export JAVA_HOME=/home/xxxx/jdk1.8.0_181
export HADOOP_HOME=/home//hadoop-2.6.0-cdh5.8.0
export SCALA_HOME=/home/xxx/scala-2.12.1
export SPARK_MASTER_IP=Trade-Test-Spark001
export SPARK_MASTER_HOST=Trade-Test-Spark001
export SPARK_LOCAL_IP=Trade-Test-Spark001
export SPARK_WORKER_MEMORY=950m
export SPARK_HOME=/home/xxx/spark-2.2.0-bin-hadoop2.6
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export HADOOP_CONF_DIR=/home/xxx/hadoop-2.6.0-cdh5.8.0/etc/hadoop

 

 

#

/home/xxxx/spark-2.2.0-bin-hadoop2.6/bin/spark-submit --master spark://Trade-Test-Spark001:6066  --deploy-mode cluster --class com.xxx.RecommendationApplication   --driver-memory 700m --executor-memory 500m --num-executors 1   /home/xxx/sparkJar/recommendation.jar

转载于:https://www.cnblogs.com/junglecat/p/10018733.html

你可能感兴趣的文章
error:Your local changes to the follwing files would be overwritten by merge
查看>>
java.util.Arrays类详解
查看>>
C# Hashtable
查看>>
idea搭建tocmat
查看>>
Android-Application
查看>>
NYOJ-626-intersection set(二分查找)
查看>>
Git远程操作详解
查看>>
[转]在 javascript 按键事件中,按键值的对照表
查看>>
20145206 《信息安全系统设计基础》第2周学习总结
查看>>
JQuery中的DOM操作
查看>>
jQuery Pagination分页插件--刷新
查看>>
D04 Ubuntu16 安装SQLAdvisor
查看>>
自动补全Typeahead
查看>>
java实现单链表逆置
查看>>
PageImpl是不是有问题?
查看>>
什么是令牌化?
查看>>
图片排列显示
查看>>
013-Go通archive/zip生成ZIP文件
查看>>
使用PULL方式解析XML资源文件下面的xml文件
查看>>
Bugku 速度要快
查看>>