查看: 18329|回复: 6
spark on yarn 客户端WEB UI界面打不开
主题帖子积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
启动：bin/spark-shell --master yarn-client --executor-memory 1g --num-executors 3
部分日志：
日志上已经有提示UI地址：，但是打不开，8088端口的UI能访问：
为何&& 会访问不了？
主题帖子积分
高级会员, 积分 1281, 距离下一级还需 3719 积分
高级会员, 积分 1281, 距离下一级还需 3719 积分
这应该是从端口启动ui服务，而非ui界面。
只有web才能访问，服务通过url不一定可以的，有的只是用来通信等作用
欢迎加入about云群、，云计算爱好者群
主题帖子积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
这应该是从端口启动ui服务，而非ui界面。
只有web才能访问，服务通过url不一定可以的，有的只是用来通信等 ...
那怎么通过UI监控？我看有些地方说是直接可以从4040端口在WEB界面监控的。
主题帖子积分
高级会员, 积分 3357, 距离下一级还需 1643 积分
高级会员, 积分 3357, 距离下一级还需 1643 积分
可以通过浏览器访问http://&driver-node&:4040，必去先启动SparkContext。比如命令：./bin/spark-shell，出现eb界面信息
欢迎加入about云群 、 ，云计算爱好者群，关注
主题帖子积分
高级会员, 积分 2436, 距离下一级还需 2564 积分
高级会员, 积分 2436, 距离下一级还需 2564 积分
4040页面只有在有spark 任务运行时才能访问，提交job后Spark-UI才会启动。当任务运行完了，立马端口就释放了。
建议你配置一下spark-history 页面，运行完了可以查看已经finished的job，下面是简单的配置步骤，具体的还请百度教程。
spark-default.conf中配置如下参数
spark.eventLog.enabled& && && &&&true
spark.eventLog.dir& && && && && &hdfs://hadoopmaster:8020/user/spark_event_log
spark.history.fs.logDirectory& & hdfs://hadoopmaster:8020/user/spark_event_log
web ui&&http://sparkmaster:18080/
spark-env.sh
export SPARK_HISTORY_OPTS=&-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://had
oop000:8020/directory&
参数描述：
spark.history.ui.port=7777 调整WEBUI访问的端口号为7777
spark.history.fs.logDirectory=hdfs://hadoop000:8020/directory 配置了该属性后，在start-history-server.sh时就无需再显示的指定路径
spark.history.retainedApplications=3&&指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除
cd $SPARK_HOME/sbin
start-history-server.sh
需要在启动时指定目录：
start-history-server.shhdfs://hadoop000:8020/directory
注意的是spark 程序中需要将sparkcontext stop 掉，否则即便是运行完毕，web页面也只能显示incompleted applications，而不是completed applications
主题帖子积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
4040页面只有在有spark 任务运行时才能访问，提交job后Spark-UI才会启动。当任务运行完了，立马端口就释放 ...
谢谢，我试试
主题帖子积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
高级会员, 积分 1774, 距离下一级还需 3226 积分
可以通过浏览器访问http://:4040，必去先启动SparkContext。比如命令：./bin/spark-shell，出现eb界面信息
我的问题就是使用4040端口的WEB UI访问不了。我是在192.168.56.13上执行的 bin/spark-shell --master yarn-client --executor-memory 1g --num-executors 3，然后用http://192.168.56.13:4040访问WEB UI界面，访问不了。
积极上进，爱好学习
经常参与各类话题的讨论，发帖内容较有主见
经常帮助其他会员答疑
站长推荐 /4
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
等待验证会员请验证邮箱
新手获取积分方法
技术类问答，解决学习openstack，hadoop生态系统中遇到的问题
Powered by更多频道内容在这里查看
爱奇艺用户将能永久保存播放记录
过滤短视频
暂无长视频（电视剧、纪录片、动漫、综艺、电影）播放记录，
使用您的微博帐号登录，即刻尊享微博用户专属服务。
使用您的QQ帐号登录，即刻尊享QQ用户专属服务。
使用您的人人帐号登录，即刻尊享人人用户专属服务。
按住视频可进行拖动
&正在加载...
请选择打赏金额：
收藏成功，可进入
查看所有收藏列表
当前浏览器仅支持手动复制代码
视频地址：
flash地址：
html代码：
通用代码：
通用代码可同时支持电脑和移动设备的分享播放
用爱奇艺APP或微信扫一扫，在手机上继续观看
当前播放时间：
一键下载至手机
限爱奇艺安卓6.0以上版本
使用微信扫一扫，扫描左侧二维码，下载爱奇艺移动APP
其他安装方式：手机浏览器输入短链接http://71.am/udn
下载安装包到本机：
设备搜寻中...
请确保您要连接的设备（仅限安卓）登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
连接失败！
请确保您要连接的设备（仅限安卓）登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
部安卓（Android）设备，请点击进行选择
请您在手机端下载爱奇艺移动APP（仅支持安卓客户端）
使用微信扫一扫，下载爱奇艺移动APP
其他安装方式：手机浏览器输入短链接http://71.am/udn
下载安装包到本机：
爱奇艺云推送
请您在手机端登录爱奇艺移动APP（仅支持安卓客户端）
使用微信扫一扫，下载爱奇艺移动APP
180秒后更新
打开爱奇艺移动APP，点击“我的-扫一扫”，扫描左侧二维码进行登录
没有安装爱奇艺视频最新客户端？
30秒后自动关闭
0017讲：Spark UI的扩展定制">0017讲：Spark UI的扩展定制
播放量数据：快去看看谁在和你一起看视频吧~
您使用浏览器不支持直接复制的功能，建议您使用Ctrl+C或右键全选进行地址复制
安装爱奇艺视频客户端，
马上开始为您下载本片
5秒后自动消失
&li data-elem="tabtitle" data-seq="{{seq}}"& &a href="javascript:void(0);"& &span>{{start}}-{{end}}&/span& &/a& &/li&
&li data-downloadSelect-elem="item" data-downloadSelect-selected="false" data-downloadSelect-tvid="{{tvid}}"& &a href="javascript:void(0);"&{{pd}}&/a&
选择您要下载的《
色情低俗内容
血腥暴力内容
广告或欺诈内容
侵犯了我的权力
还可以输入
您使用浏览器不支持直接复制的功能，建议您使用Ctrl+C或右键全选进行地址复制
本奖品由提供
红包雨下完了，下次早点来噢~Spark安全威胁及建模方法
本文主要通过官方文档、相关论文、业界公司和产品三个方面来论述Spark安全威胁及其建模方法，详细内容如下。
第1章 官方文档[1]
目前Spark支持共享密码的认证方式。可以通过设置spark.authenticate这个参数实现，这个参数控制Spark的通信协议是否用共享的密码进行验证。这个认证协议是一个基础的握手协议，通过令通信双方具有相同共享密码保证其之间能够直接通信。如果共享的密码不相同，那么他们将不会被允许通信。共享密码通过如下方式生成：
? 对于Spark在yarn上部署的模式，可以实现共享密码的自动生成和分发，每个应用能够使用唯一的共享密码；
? 对于Spark的其他部署模式来说，Spark的spark.authenticate.secret密码参数应该在每一个节点上进行配置。这个密码会被所有的Master/Workers及应用使用；
? 注意：Netty shuffle path (spark.shuffle.use.netty)功能还处于试验阶段，并不安全，生产环境请不要使用Netty for shuffles。
1.1 Web UI安全
Spark的Web UI界面可以通过设置spark.ui.filters参数启用javax.servlet.filters来提高安全性。如果一个用户不想让其他的人看到他的数据，他可以对UI进行安全设置。用户通过使用javax.servlet过滤器可以对其他用户进行验证，一旦其他用户登录进入Spark，此时会在该用户与视图访问控制列表之间进行比较分析，以确保该用户有权查看所有者用户的UI界面。需要注意的是，启动应用的用户可以查看自身UI而不受限制。在yarn模式下，Spark的UI使用标准的yarn的web应用代理机制，并能通过已安装的hadoop的过滤器进行认证。
Spark同时也支持通过修改访问控制列表的方式来控制哪个用户可以访问、修改正在运行的Spark应用，其中包括终止一个应用或任务。这里可以通过spark.acls与 spark.modify.acls参数来进行配置。在yarn模式中，修改访问控制列表可以通过yarn的接口完成。
Spark允许管理员在访问控制列表中指定哪个用户对所有应用程序总都具有查看、修改权限。这里可以通过spark.admin.acls参数进行配置。这对在一个共享集群中，管理员或技术支持帮助用户调试有问题应用的场景下非常有用。
1.2 事件审计安全
如果要开启事件审计功能，存放事件日志的文件夹（路径通过spark.eventLog.dir 参数设置）需要提前手工创建，并且使Spark对这个目录有访问权限。如果希望日志文件更安全，可以为这个文件夹设置drwxrwxrwxt权限。这个文件夹的所有者应该设置为启动history server的root用户并且其用户组权限应该加入到root用户组。这样设置可以保证非所有者的其他用户可以在该文件夹下写，但是不能移动或者重命名文件。这样事件日志只会被root用户和Spark系统生成和修改，从而保证其安全性。
1.3 网络端口安全
Spark对网络通信的需求很高，在某些环境中对防火墙的设置有非常严格的要求。以下展示了Spark用来通信的主要端口，以及如何配置这些端口的建议。
1.3.1 Standalone模式
1.3.2 基于集群管理器（如yarn）的模式
可以在配置界面的安全配置参数里查看更详细的使用信息，或者查看源代码org.apache.spark.SecurityManager包中有关安全管理的实现细节。
第2章 相关论文
目前学术界中专门研究Spark安全的文章还没有，有些文章只是在文中提到了安全问题。代表性的有以下几篇：
文章[2]提到，在多媒体计算框架中，用户采用分布式的方式存储和处理他们的多媒体应用数据，从而避免自身安装庞大的多媒体应用软件。在云环境下多媒体的处理对以下很多方面都提出了巨大挑战，包括：基于内容的多媒体检索系统、分布式复杂数据处理、云端QoS支持、多媒体云传输协议、多媒体云覆盖网络、多媒体云安全、基于P2P云端的多媒体服务等等。Spark Streaming支持大规模流式数据处理，其安全威胁与多媒体云安全有共通之处。由于多媒体数据如视频是很私密的内容，在利用Spark Streaming进行多媒体数据处理时，需要进行身份认证，同时利用安全协议如RTMP将多媒体数据进行传输[3]。
文章[2]提到，由于Spark等内存计算平台需要使用到分布式、甚至是第三方的服务和基础设施用来存放重要数据或者执行关键操作，这对动态数据监控和安全保护提出了巨大挑战。不像传统的基于MapReduce的安全机制，只需要对硬盘上的静态数据集进行安全防护，在Spark中数据是在内存中存储，并且经常动态变化的，包括数据模式、属性和新添加数据的变化。因此有必要在这种复杂环境下进行有效的隐私保护。
文章[4]提到，安全问题在实际图计算系统中非常重要，但是现有的研究对这类安全问题的关注很少。可能存在的问题是，网络节点完全符合传输协议的要求只是一种假设，有可能会出现拜占庭错误。需要有一种机制能够检测和修复节点失效、链路失效的问题。Spark GraphX作为图计算、图挖掘框架，也存在此类问题。
第3章 业界公司和产品
3.1 DataStax公司
DataStax公司推出了基于Apache Cassandra和Spark的商业数据分析平台DataStaxEnterprise（DSE，最新版本4.6）产品[5]，在原有开源Spark的基础上进行了安全加固。包括：
1）不仅支持内部自带的加密认证方式，还支持支持可信任的第三方安全软件包（例如Kerberos和LDAP）与DataStaxEnterprise结合；
2）数据审计、客户端-节点之间的透明加密；
3）OpsCenter中的多种工具改进提升了可管理性，例如更简单的配置、备份/恢复的粒度控制、更好的诊断；
4）在Spark和Shark中对Cassandra访问时进行密码验证[6]；
5）基于关系型数据库中GRANT/REVOKE模式的简单对象权限管理。
3.2 Sqrrl公司
Sqrrl是一家专攻安全大数据平台的公司，创建于2012年，总部位于麻省坎布里奇，Sqrrl是围绕美国国家安全局（NSA）开发的开源NoSQL数据库Apache Accumulo（来源于谷歌开发的大数据技术BigTable，最初是由NSA开发，后被分拆出来作为一个开源项目）建设起的一项业务。
Sqrrl的联合创始人兼首席技术官亚当&福克斯（Adam Fuchs），其同时也是Apache Accumulo的联合创始人之一。截止ECP发稿日期，Sqrrl已从Atlas Venture和Matrix Partners等风险投资公司那里筹集到了200万美元资金。
Sqrrl Enterprise [7]是一个用于开发实时分析应用的安全的可扩展平台。Sqrrl Enterprise利用了Spark中的GraphX图计算引擎来实现动态实体关系图的构建和分析[8]，因此可以认为Sqrrl是基于Spark实现的商业化产品。
Using Sqrrl Enterprise and the GraphX libraryincluded in Apache Spark, we will construct a dynamic graph of entities andrelationships that will allow us to build baseline patterns of normalcy, flaganomalies on the fly, and analyze the context of an event.
Sqrrl Enterprise安全功能主要包括[9]：
1）Cell级别的安全强制执行：每次用户试图在数据上执行某种操作时，系统会评估此数据携带的可见性标签（visibility label）；
2）数据标签引擎：根据用户定义的规则，系统可以对数据的各个字段自动进行打标签操作；
3）策略声明引擎：系统能够基于预定义的策略，能够自动将访问特定visibility label的权限赋予用户或用户组。策略引擎作为策略执行点（PDP），提供实时的RBAC和ABAC策略的解析和支持；
4）加密：系统能够对静态或动态数据进行加密，支持第三方的加密算法和库，能够与第三方的秘钥管理系统无缝集成；
5）安全搜索：Search index可能造成数据泄露，本系统能够实现语汇级别的安全，保证数据的索引能够符合数据元素的安全策略；
6）审计：本系统能够自动生成不可篡改的日志，上面记录了所有动作，可以用来验证合规性、预警和数字取证。
随着最新版SqrrlEnterprise 2.0的发布，Sqrrl将从有限的发布阶段接入全面供货阶段。Sqrrl Enterprise还提供了更多基于Apache Accumulo的高级安全工具、增强的分析功能、以及像JSON这样的特性。新的分析功能包括全文搜索，使用Apache Lucene、SQL、统计以及图形搜索。[Spark]配置UI.PORT
【题外话】
今天看见一句话：所有深爱的，都是秘密。感觉很感动。
在使用spark的时候，不同的job会占用不同的port。如果有多个应用同时提交的话，可能会出现端口被bind的报错。这时他写死的是自动偏移16次，然后彻底退出。
解决办法：spark-submit --master
spark://master:7077 --class
com.bonree.sdk.behavior.run.CircleLoadData2DB --conf
spark.ui.port=4052&
zc-jar-with-dependencies.jar
带上这个参数： --conf spark.ui.port=4052
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。用户：**fyli**
用户：**ood**
用户：**jcn**
用户：**a223**
用户：**an**
用户：**hengyan**
用户：****
用户：**ui1988**
用户：**fengliao**
用户：**p**
用户：**tianchang**
用户：**ang2010**
用户：**fans**
用户：**sfuture**
用户：**lock**
用户：****
用户：**y1219**
用户：**01843**
用户：**zimeng**
用户：**a123**
北风网和苏州大学深度合作
北风大数据培训正式落户苏大
&&& 零基础大数据课程火热报名中
&&&&&&&&&&&&&&北风网和苏州大学深度合作
北风大数据培训正式落户苏大
&&& 零基础大数据课程火热报名中
&&&&&&&&&&&&&&&
分享：9999+
课程顾问贴心解答
为你推荐精品课程，无论就业还是升职加薪，毫无压力。
名企定制紧随大流
量身打造紧贴企业需求的实用性课程。
系统教学把控效果
集学、测、练为一体的学习系统为你科学的安排学习进度，提高效率。
一线大师1对1指导
课程研发团队内一线资深讲师一对一指导，手把手教学，直到学会。
点播答疑完美结合
每周2-3次直播解答，保证学员日常学习问题能得到解决。
量身定制学习计划
告别杂乱的学习方式，我们会根据你的情况定制学习计划。
本项目主要讲解了一套应用于互联网电商企业中，使用Java、Spark等技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、页面跳转行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。
1.课程研发环境
开发工具: Eclipse
Linux：CentOS 6.4
Spark: 1.5.1
Hadoop: hadoop-2.5.0-cdh5.3.6
Hive: hive-0.13.1-cdh5.3.6
ZooKeeper: zookeeper-3.4.5-cdh5.3.6
Kafka: 2.9.2-0.8.1 & &&
其他工具:flume-ng-1.5.0-cdh5.3.6、SecureCRT、WinSCP、VirtualBox等
2.内容简介
项目主要采用目前大数据领域流行、热门的技术&&Spark，具有普通项目无法比拟的技术前瞻性与尖端性。本项目使用了Spark技术生态栈中常用的三个技术框架，Spark Core、Spark SQL和Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括用户访问session分析、页面单跳转化率统计、热门商品离线统计、广告点击流量实时统计4个业务模块。
项目中所有的业务功能模块都是直接从实际企业项目中抽取出来的，业务复杂度绝对没有任何缩水，只是为了更好的贴近大数据实战课程的需要，进行了一定程度上的技术整合和业务整合。该项目的真实性、业务复杂性以及实战型，绝对不是市面上现有的仅几个课时的Demo级的大数据项目可以比拟的。
通过合理的将实际业务模块进行技术整合与改造，该项目完全涵盖了Spark Core、Spark SQL和Spark Streaming这三个技术框架中几乎所有的功能点、知识点以及性能优化点。仅一个项目，即可全面掌握Spark技术在实际项目中如何实现各种类型的业务需求！在项目中，重点讲解了实际企业项目中积累下来的宝贵的性能调优、troubleshooting以及数据倾斜解决方案等知识和技术，是任何其他视频课程以及书本中都没有包含的珍贵经验积累！同时以企业级大数据项目开发流程贯穿每个业务模块的讲解，涵盖了项目开发全流程，包括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节，全面还原真实大数据项目的开发流程。该项目的整体商业价值绝对在百万元以上！
学习完本课程之后，可以大幅度提升学员的Spark技术能力、实战开发能力、项目经验、性能调优和troubleshooting经验。如果学员已经学习过《Spark从入门到精通（Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端）》课程，再学习完本课程，则完全可以达到2~3年左右Spark大数据开发经验的水平，正式迈入Spark高级开发工程师的行列！在跳槽或者面试的时候，精湛的Spark技术以及复杂的Spark大数据项目的经验，足以让你应付国内任何公司的面试（包括BAT等顶级互联网公司的面试难度），从而让学员通过学习掌握自己的人生！
在此特别强调，本课程的学习要求有Java基础、Hadoop基础，如果学员没有相关基础，请先自学相关知识。本课程要求学员有扎实的Spark技术基础，如果没有，则推荐学习北风网的《Spark从入门到精通（Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端）》课程（/goods-560.html）。
备注一：关于《Spark从入门到精通（Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端）》与本套课程的关系，如果学习了第一套Spark技术课程，那么在融会贯通的情况下，可以达到1~2年Spark开发经验的水平；如果在学习完第一套Spark课程，同时学习完第二套Spark项目课程，并且融会贯通的情况下，那么可以达到2~3年的Spark开发经验的水平，成为Spark高级/资深开发工程师。
备注二：考虑到学员不统一的技术基础，因此本项目仅仅要求J2SE基础，也就是Java基础编程即可，不要求J2EE，而且也不使用任何Java框架，不涉及与第三方技术整合。主要就是为了降低课程的学习门槛。本课程不会讲解J2EE层的开发，只是讲解Spark如何与J2EE结合使用，组成交互式大数据平台的架构。因此唯一的要求仅仅是Java编程基础以及Spark扎实的技术即可学习课程。
备注三：关于课程开发语言的选择，本套课程选择使用Java，而不是Scala，作为编程语言；原因主要是因为在开发大型、复杂的大数据业务系统或平台时，Java的优势是Scala所不可比拟的；在真正大型复杂的项目中，可能Spark需要管理大量的组件，此时可能需要用Spring框架；可能需要执行复杂的数据库操作，此时需要ORM类框架，比如MyBatis；可能需要与Redis、Kafka、ZooKeeper整合使用，此时需要使用Java Client API；以上需求都是Scala满足不了的。使用Scala很可能会导致项目的多语言混编，造成可维护性和可扩展性大幅度降低。（注意，本套项目课程为了降低学习难度，并且聚焦在Spark上，没有使用以上任何技术，只是用纯粹的Java基础编程与Spark技术；但是这并不意味着你在真正的工作中不会碰到上述的情况）
本课程的最大特色包括：
1、高端大数据项目：市面上目前完全没有任何高端的大数据项目实战类课程，更没有Spark大数据项目实战类课程，本课程是企业级大型Spark大数据实战项目课程！
2、企业级大数据项目的架构搭建：配置管理组件、JDBC辅助组件（内置数据库连接池）、Domain与DAO模型等等，完全正规的大型大数据项目架构！
3、交互式大数据分析平台架构：本项目的原型不是普通的定时调度离线统计任务的大数据项目；而是Spark与J2EE系统结合构成的交互式大数据分析平台，项目中的Spark开发都是按该架构来讲解的！
4、真实还原完整的企业级大数据项目开发流程：项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了数据分析、需求分析、方案设计、数据库设计、编码实现、功能测试、性能调优、troubleshooting与解决数据倾斜（后期运维）等环节，真实还原企业级大数据项目开发场景。让学员掌握真实大数据项目的开发流程和经验！
5、技术点覆盖广：一套项目课程，全面涵盖了至少90%以上的Spark Core、Spark SQL和Spark Streaming的几乎所有的初、中、高级技术点；通过本项目课程的学习，可以全面锻炼了学员的Spark大数据项目实战能力，将技术与项目融会贯通，彻底精通Spark实战开发！
6、真实的性能调优方案与troubleshooting经验：项目中通过实际的功能模块和业务场景，以及讲师曾经开发过的处理十亿、甚至百亿以上数据级别的Spark作业的经验积累，贯穿讲解了大量的高级复杂的性能调优技术和知识、troubleshooting解决线上报错和故障的经验。真正帮助学员掌握企业实际项目中使用的高精尖Spark技术！
7、高端的数据倾斜解决方案：本课程讲解了高端而且宝贵的，大量实际项目中积累的&&数据倾斜全套解决方案！包括数据倾斜问题的判断、诊断与定位，以及一整套7种针对各种不同类型数据倾斜的解决方案，彻底帮助学员解决企业项目中最棘手的数据倾斜问题，称为企业中最核心的技术人才！
8、业务功能极其复杂：项目中的四个功能模块，全部是实际企业项目中提取出来的，并进行技术整合和改良过的功能模块，包含了比实际项目中更多、更全面的技术点。所有模块的需求，全部是企业级的复杂和真实的需求，业务模块非常之复杂，绝对不是市面上的Demo级别的大数据项目能够想比拟的。学习过后，真正帮助学员增加实际企业级项目的实战经验！
9、大量高端技术：自定义Accumulator、按时间比例随机抽取算法、二次排序、分组取topN、页面切片生成以及页面流匹配算法、Hive与MySQL异构数据源、RDD转换为DataFrame、注册和使用临时表、自定义UDAF聚合函数（group_concat_distinct）、自定义get_json_object等普通函数、Spark SQL的高级内置函数（if与case when等）、开窗函数（ROW_NUMBER）、动态黑名单机制、transform、updateStateByKey、transform与Spark SQL整合、window滑动窗口、高性能写数据库，等等。
10、行业经验穿插介绍：贯穿了大量讲师在大数据行业内的从业经验以及所见所闻，帮助学员丰富行业阅历。
11、高端源代码：赠送完整spark大型大数据项目的商业级别的源代码，价值上百万；稍加改造，二次开发，甚至可以直接用于你的企业的大数据行为分析。
12、现场Excel手工画图与写笔记：所有复杂业务流程、架构原理、Spark技术原理、业务需求分析、技术实现方案等知识的讲解，采用Excel画图或者写详细比较的方式进行讲解与分析，细致入微、形象地透彻剖析理论知识，帮助学员更好的理解、记忆与复习巩固。
Spark 2.0实战升级！
本次课程升级，主要是为了保证课程跟上Spark的最新技术发展趋势。目前Spark已经发展到2.0版本，未来Spark的主要开发接口将以Dataset API为主，原先的RDD API将作为底层API退居二线。但是这并不意味着之前的内容就过时了，实际上对于一些性能要求和稳定性要求极高，需要工程师对Spark进行最底层把控的时候，Spark官方也是建议，还是应该使用RDD API的，因为可以对所有的底层参数进行深度的把控，同时系统报错的时候，可以直接定位最原始的源码进行问题排查和修复。Dataset API会作为一种更加高层次的、易用的API，来在合适的场景下，提高我们的开发效率。但是Dataset API的缺点在于其被高度封装，底层会自动生成大量代码和优化，导致我们几乎无法对其进行太多的优化，出现问题时非常难以排查。因此Spark 2.0，并不意味着任何已有的技术淘汰，也不意味着任何新的技术是万能的，需要我们灵活根据业务场景选择对应的技术。
本次课程赠送了《Spark 2.0从入门到精通》课程的部分内容，主要是照顾到没有购买过《Spark 2.0从入门到精通》的同学，可以初步地了解Spark 2.0的新特性以及核心思想。此外，最重要的是增加了基于Spark Dataset 2.0开发的一个功能模块：用户活跃度分析模块。该模块可以让产品经理或运营人员了解到企业在各种条件和场景下，最活跃的那些用户是哪些，并进一步分析他们的访问行为轨迹，进而为自己优化产品设计，或者调整运营策略，提供数据上的决策依据。该模块基本涵盖了Spark Dataset 2.0的核心功能和API，掌握该模块的开发，基本上运用Spark Dataset进行项目开发，问题就不大了。
此外，本次课程全部使用纯Scala语言进行项目开发，也是对本套课程的一个有力的弥补。
中华石杉:&在国内BAT公司以及一线互联网公司从事过大数据开发和架构工作，负责过多个大型大数据系统的架构和开发。精通Hadoop、Storm、Spark等大数据技术。有丰富的企业内部技术分享、技术培训和技术讲座的经验。之前在北风网出品过的课程：《》
一、大数据集群搭建
第1讲-课程介绍
第2讲-课程环境搭建：CentOS 6.4集群搭建
第3讲-课程环境搭建：hadoop-2.5.0-cdh5.3.6集群搭建
第4讲-课程环境搭建：hive-0.13.1-cdh5.3.6安装
第5讲-课程环境搭建：zookeeper-3.4.5-cdh5.3.6集群搭建
第6讲-课程环境搭建：kafka_2.9.2-0.8.1集群搭建
第7讲-课程环境搭建：flume-ng-1.5.0-cdh5.3.6安装
第8讲-课程环境搭建：离线日志采集流程介绍
第9讲-课程环境搭建：实时数据采集流程介绍
第10讲-课程环境搭建：Spark 1.5.1客户端安装以及基于YARN的提交模式
二、用户访问session分析：&
第11讲-用户访问session分析：模块介绍
第12讲-用户访问session分析：基础数据结构以及大数据平台架构介绍
第13讲-用户访问session分析：需求分析
第14讲-用户访问session分析：技术方案设计
第15讲-用户访问session分析：数据表设计
第16讲-用户访问session分析：Eclipse工程搭建以及工具类说明
第17讲-用户访问session分析：开发配置管理组件
第18讲-用户访问session分析：JDBC原理介绍以及增删改查示范
第19讲-用户访问session分析：数据库连接池原理
第20讲-用户访问session分析：单例设计模式
第21讲-用户访问session分析：内部类以及匿名内部类
第22讲-用户访问session分析：开发JDBC辅助组件（上）
第23讲-用户访问session分析：开发JDBC辅助组件（下）
第24讲-用户访问session分析：JavaBean概念讲解
第25讲-用户访问session分析：DAO模式讲解以及TaskDAO开发
第26讲-用户访问session分析：工厂模式讲解以及DAOFactory开发
第27讲-用户访问session分析：JSON数据格式讲解以及fastjson介绍
第28讲-用户访问session分析：Spark上下文构建以及模拟数据生成
第29讲-用户访问session分析：按session粒度进行数据聚合
第30讲-用户访问session分析：按筛选参数对session粒度聚合数据进行过滤
第31讲-用户访问session分析：session聚合统计之自定义Accumulator
第32讲-用户访问session分析：session聚合统计之重构实现思路与重构session聚合
第33讲-用户访问session分析：session聚合统计之重构过滤进行统计
第34讲-用户访问session分析：session聚合统计之计算统计结果并写入MySQL
第35讲-用户访问session分析：session聚合统计之本地测试
第36讲-用户访问session分析：session聚合统计之使用Scala实现自定义Accumulator
第37讲-用户访问session分析：session随机抽取之实现思路分析
第38讲-用户访问session分析：session随机抽取之计算每天每小时session数量
第39讲-用户访问session分析：session随机抽取之按时间比例随机抽取算法实现
第40讲-用户访问session分析：session随机抽取之根据随机索引进行抽取
第41讲-用户访问session分析：session随机抽取之获取抽取session的明细数据
第42讲-用户访问session分析：session随机抽取之本地测试
第43讲-用户访问session分析：top10热门品类之需求回顾以及实现思路分析
第44讲-用户访问session分析：top10热门品类之获取session访问过的所有品类
第45讲-用户访问session分析：top10热门品类之计算各品类点击、下单和支付的次数
第46讲-用户访问session分析：top10热门品类之join品类与点击下单支付次数
第47讲-用户访问session分析：top10热门品类之自定义二次排序key
第48讲-用户访问session分析：top10热门品类之进行二次排序
第49讲-用户访问session分析：top10热门品类之获取top10品类并写入MySQL
第50讲-用户访问session分析：top10热门品类之本地测试
第51讲-用户访问session分析：top10热门品类之使用Scala实现二次排序
第52讲-用户访问session分析：top10活跃session之开发准备以及top10品类RDD生成
第53讲-用户访问session分析：top10活跃session之计算top10品类被各sessoin点击的次数
第54讲-用户访问session分析：top10活跃session之分组取TopN算法获取top10活跃session
第55讲-用户访问session分析：top10活跃session之本地测试以及阶段总结
三、企业级性能调优、troubleshooting经验与数据倾斜解决方案：
第56讲-用户访问session分析：性能调优之在实际项目中分配更多资源
第57讲-用户访问session分析：性能调优之在实际项目中调节并行度
第58讲-用户访问session分析：性能调优之在实际项目中重构RDD架构以及RDD持久化
第59讲-用户访问session分析：性能调优之在实际项目中广播大变量
第60讲-用户访问session分析：性能调优之在实际项目中使用Kryo序列化
第61讲-用户访问session分析：性能调优之在实际项目中使用fastutil优化数据格式
第62讲-用户访问session分析：性能调优之在实际项目中调节数据本地化等待时长
第63讲-用户访问session分析：JVM调优之原理概述以及降低cache操作的内存占比
第64讲-用户访问session分析：JVM调优之调节executor堆外内存与连接等待时长
第65讲-用户访问session分析：Shuffle调优之原理概述
第66讲-用户访问session分析：Shuffle调优之合并map端输出文件
第67讲-用户访问session分析：Shuffle调优之调节map端内存缓冲与reduce端内存占比
第68讲-用户访问session分析：Shuffle调优之HashShuffleManager与SortShuffleManager
第69讲-用户访问session分析：算子调优之MapPartitions提升Map类操作性能
第70讲-用户访问session分析：算子调优之filter过后使用coalesce减少分区数量
第71讲-用户访问session分析：算子调优之使用foreachPartition优化写数据库性能
第72讲-用户访问session分析：算子调优之使用repartition解决Spark SQL低并行度的性能问题
第73讲-用户访问session分析：算子调优之reduceByKey本地聚合介绍
第74讲-用户访问session分析：troubleshooting之控制shuffle reduce端缓冲大小以避免OOM
第75讲-用户访问session分析：troubleshooting之解决JVM GC导致的shuffle文件拉取失败
第76讲-用户访问session分析：troubleshooting之解决YARN队列资源不足导致的application直接失败
第77讲-用户访问session分析：troubleshooting之解决各种序列化导致的报错
第78讲-用户访问session分析：troubleshooting之解决算子函数返回NULL导致的问题
第79讲-用户访问session分析：troubleshooting之解决yarn-client模式导致的网卡流量激增问题
第80讲-用户访问session分析：troubleshooting之解决yarn-cluster模式的JVM栈内存溢出问题
第81讲-用户访问session分析：troubleshooting之错误的持久化方式以及checkpoint的使用
第82讲-用户访问session分析：数据倾斜解决方案之原理以及现象分析
第83讲-用户访问session分析：数据倾斜解决方案之聚合源数据以及过滤导致倾斜的key
第84讲-用户访问session分析：数据倾斜解决方案之提高shuffle操作reduce并行度
第85讲-用户访问session分析：数据倾斜解决方案之使用随机key实现双重聚合
第86讲-用户访问session分析：数据倾斜解决方案之将reduce join转换为map join
第87讲-用户访问session分析：数据倾斜解决方案之sample采样倾斜key单独进行join
第88讲-用户访问session分析：数据倾斜解决方案之使用随机数以及扩容表进行join
四、页面单跳转化率统计：
第89讲-页面单跳转化率：模块介绍
第90讲-页面单跳转化率：需求分析、技术方案设计、数据表设计
第91讲-页面单跳转化率：编写基础代码
第92讲-页面单跳转化率：页面切片生成以及页面流匹配算法实现
第93讲-页面单跳转化率：计算页面流起始页面的pv
第94讲-页面单跳转化率：计算页面切片的转化率
第95讲-页面单跳转化率：将页面切片转化率写入MySQL
第96讲-页面单跳转化率：本地测试
第97讲-页面单跳转化率：生产环境测试
第98讲-用户访问session分析：生产环境测试
五、各区域热门商品统计：
第99讲-各区域热门商品统计：模块介绍
第100讲-各区域热门商品统计：需求分析、技术方案设计以及数据设计
第101讲-各区域热门商品统计：查询用户指定日期范围内的点击行为数据
第102讲-各区域热门商品统计：异构数据源之从MySQL中查询城市数据
第103讲-各区域热门商品统计：关联城市信息以及RDD转换为DataFrame后注册临时表
第104讲-各区域热门商品统计：开发自定义UDAF聚合函数之group_concat_distinct()
第105讲-各区域热门商品统计：查询各区域各商品的点击次数并拼接城市列表
第106讲-各区域热门商品统计：关联商品信息并使用自定义get_json_object函数和内置if函数标记经营类型
第106讲-各区域热门商品统计：使用开窗函数统计各区域的top3热门商品
第107讲-各区域热门商品统计：使用内置case when函数给各个区域打上级别标记
第108讲-各区域热门商品统计：将结果数据写入MySQL中
第109讲-各区域热门商品统计：Spark SQL数据倾斜解决方案
第110讲-各区域热门商品统计：生产环境测试
六、广告点击流量实时统计：
第111讲-广告点击流量实时统计：需求分析、技术方案设计以及数据设计
第112讲-广告点击流量实时统计：为动态黑名单实时计算每天各用户对各广告的点击次数
第113讲-广告点击流量实时统计：使用高性能方式将实时计算结果写入MySQL中
第114讲-广告点击流量实时统计：过滤出每个batch中的黑名单用户以生成动态黑名单
第115讲-广告点击流量实时统计：基于动态黑名单进行点击行为过滤
第116讲-广告点击流量实时统计：计算每天各省各城市各广告的点击量
第117讲-广告点击流量实时统计：计算每天各省的top3热门广告
第118讲-广告点击流量实时统计：计算每天各广告最近1小时滑动窗口内的点击趋势
第119讲-广告点击流量实时统计：实现实时计算程序的HA高可用性
第120讲-广告点击流量实时统计：对实时计算程序进行性能调优
第121讲-广告点击流量实时统计：生产环境测试
第122讲-课程总结：都学到了什么？
新升级增加课程大纲：
第123讲-（赠送）Spark 2.0-新特性介绍
第124讲-（赠送）Spark 2.0-新特性介绍-易用性：标准化SQL支持以及更合理的API
第125讲-（赠送）Spark 2.0-新特性介绍-高性能：让Spark作为编译器来运行
第126讲-（赠送）Spark 2.0-新特性介绍-智能化：Structured Streaming介绍
第127讲-（赠送）Spark 2.0-新特性介绍-Spark 1.x的Volcano Iterator Model技术缺陷分析
第128讲-（赠送）Spark 2.0-新特性介绍-whole-stage code generation技术和vectorization技术
第129讲-（赠送）Spark 2.0-Spark 2.x与1.x对比以及分析、学习建议以及使用建议
第130讲-（赠送）Spark 2.0-课程环境搭建：虚拟机、CentOS、Hadoop、Spark等
第131讲-（赠送）Spark 2.0-开发环境搭建：Eclipse+Maven+Scala+Spark
第132讲-基于Spark 2.0的用户活跃度分析：模块介绍以及交互式用户行为分析系统的解释
第133讲-基于Spark 2.0的用户活跃度分析：统计指定时间内访问次数最多的10个用户
第134讲-基于Spark 2.0的用户活跃度分析：统计指定时间内购买金额最多的10个用户
第135讲-基于Spark 2.0的用户活跃度分析：统计最近一个周期相比上一个周期访问次数增长最多的10个用户
第136讲-基于Spark 2.0的用户活跃度分析：统计最近一个周期相比上一个周期购买金额增长最多的10个用户
第137讲-基于Spark 2.0的用户活跃度分析：统计指定注册时间范围内头7天访问次数最高的10个用户
第138讲-基于Spark 2.0的用户活跃度分析：统计指定注册时间范围内头7天购买金额最高的10个用户
目标一. 掌握大数据集群环境的搭建
目标二. 掌握企业级大数据项目架构的搭建
目标三. 掌握J2EE+Spark的交互式大数据分 析系统架构
目标四. 掌握企业级大数据项目的开发流程
目标五. 将Spark Core、Spark SQL、Spark
Streaming的90%以上的技术点和知 识点应用在项目中，技术与项目融 会贯通
目标六. 使用高级的Spark技术开发各种复 杂的大数据统计与分析类的业务需 求和功能
目标七. 掌握企业级的高端性能调优方案、 troubleshooting解决线上故障能 力以及数据倾斜解决方案
亮点一、高端Spark大数据项目。
亮点二、按照企业级的标准搭建大数据项目的架构。
亮点三、按照高端的J2EE与Spark结合的交互式分析大数据平台的架构，讲解Spark开发。
亮点四、采用真实的企业级大数据项目开发流程，包括近10个步骤。
亮点五、技术点覆盖广泛，一套课程覆盖Spark Core、Spark SQL与Spark Streaming高达90%以上的技术点。
亮点六、真实的企业级性能调优方案、troubleshooting解决线上故障经验、高端的数据倾斜解决方案。
亮点七、业务功能极其复杂，全部采用真实的企业级业务需求。
亮点八、包含大量Spark技术点。
亮点九、贯穿了大量讲师行业从业的经验与经历，以及感想。
亮点十、赠送全套完整商业级别的源代码，稍加改造即可应用，商业价值在百万以上。
亮点十一、采用新的技术Spark 2.0进行项目实战开发
1.课程针对人群
本课程针对有Java编程基础（不要求J2EE）、有扎实Spark技术基础的学员。 &&
2.我该怎么学,如何才能学好这门课程，给些建议。
4.1、时间上的安排建议
本课程共120多讲，如果您时间上充分，建议以每天2-3讲的进度往前学习。如果时间特别充裕，建议将重点理论知识的相关视频看2~3遍。&
4.2、学习要求
学习的时候， 可以要自己边看边做笔记，建议看视频的同时，电脑上打开一个记事本即可。所有理论知识的剖析和讲解一定要反复思考和理解，如果不理解，建议看2~3遍；所有代码，全部都要求跟着视频，手动敲一遍代码，脱开视频，自己再敲一遍，争取能够自己完全将项目敲出来。
4.3、讲师建议
1.最好看完视频之后，抛开视频，独立自己去把上课中的示例写一遍，看自己是否理解，如果不正确，可以回过头看再看下视频，如果反复，达到真正理解和熟练掌握的目的。
2.对于案例实战部分，一定要自己亲自动手做一遍，不要满足听完就OK了
3. 建议一般听视频，一般拿个纸和笔，做一些记录和笔记，这是一种非常好的学习习惯。
4. 一定不要过于依赖视频，要学会看API和使用百度，学会思考，学会举一反三
5. 最后祝您学有所成！
课程是属于某个特定的专业技术，掌握该技术后，你可以从事以下职位的相关工作
1.Spark大数据开发工程师
2.Spark大数据平台开发工程师
您暂未登录不能收藏！请登录后在进行课程的收藏！}