科多大数据培训
全国24小时免费热线
15328019568
联系QQ
3048661160
开班时间
当前位置:首页 > 学习资讯 >

大数据培训学习:spark发布程序

今天大数据培训小课堂给大家讲解,大数据开发spark发布程序 一、对于spark程序只是用于默认的spark包的情况 直接点击pcakage 将程序进行在linux当中进行发布 客户端模式:测试 spark-subm

今天大数据培训小课堂给大家讲解,大数据开发spark发布程序
一、对于spark程序只是用于默认的spark包的情况

直接点击pcakage

将程序进行在linux当中进行发布

客户端模式:测试
spark-submit --class com.keduox.App \
--master yarn \
--deploy-mode client \
test_submit-1.0-SNAPSHOT.jar
1、 (在数据量很小的时候)速度快
2、 依赖于jvm进程来执行的。所以不需要启动hdfs、yarn、spark的。
集群模式:生产环境、正式环境
出现异常:Retrying connect to server: master/192.168.200.200:8032.
表示yarn没有启动:start-yarn.sh
java.net.ConnectException: Call From master/192.168.200.200 to master:9000
表示hdfs没有启动:start-dfs.sh
发布之后出现错误:
yarn.ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms
将代码中的setMaster(local[*])删除掉--à不推荐这样子使用
删掉之后,重新打包是可以成功运行。
没有成功的原因是:因为spark在执行的时候,是采用分布的执行,也就是每一个节点执行的东西只是代表整个程序的一部分。代码当中将输出地写成了file:///keduox/spark_out,看到的情况是一会成功,一会失败。
建议使用方式:
如果在一个模块当中有多个spark的程序代码时,建立将setMaster的值设置在properties文件当中。因为我们会经常在local和yarn之前进行切换操作。
new SparkConf().setMaster("yarn-cluster")

二、发布到cdh上

2.1cdh配置spark

大数据培训学习:spark发布程序

2.2让yarn与spark进行关联

在yarn点当中点击以下内容

大数据培训学习:spark发布程序

3、 改变spark任务的默认大小

大数据培训学习:spark发布程序

大数据培训学习:spark发布程序

重启

三、将统计的结果放到yarn去运行:

3.1:直接package

java.sql.SQLException: No suitable driver 缺少mysql的包

如果使用的是通过mysql 的方式的话,将无法找到spark默认使用的驱动包。建议在map属性当中加入:"driver" -> "com.mysql.jdbc.Driver"

java.lang.InstantiationException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper

当我们需要有数据,写入到mysql的时候,也需要指定driver

val properties = new Properties()
properties.setProperty("driver","com.mysql.jdbc.Driver")

--------------------------------------------------------------------------

spark-submit --class com.keduox.HotCount \
--master yarn \
--deploy-mode cluster \
--jars /keduox/mysql-connector-java-5.1.38.jar \
hot_sales-1.0-SNAPSHOT.jar

3.2采用插件方式

<plugins>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
 </plugin>
</plugins>

发布:

用默认方式打包的话,会将所有的maven中的包全打到jar当中,jar太大了。

可以在打包的时间,将spark、hadoop、hive的包给他去掉

在pom.xml文件当中,对于不需要打包的依赖中当入:

<scope>provided</scope> ---但是要特别注意:打包完了之后,还需要进行编码的话,需要将这个scope去掉,不然代码编译不通过

3.3可以通过sc的方式加载包

    sc.addJar("")

3.4 idea提供的打包方式

大数据培训学习:spark发布程序

大数据培训学习:spark发布程序
 

大数据培训学习:spark发布程序

END。。。
现在科多大数据已经开通线上学习平台啦!大数据开发、数据分析、python爬虫等学习视频,想要学习大数据的小伙伴们可上科多大数据官网咨询免费领取学习账号哦~

 
最新资讯更多+
内容推荐更多+
在线课堂
猜你喜欢