kafka+sparkstreaming kafka+redis可否用来构建实时推荐引擎

温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!&&|&&
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
阅读(252)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'kafka+spark straming 准实时数据处理 案例',
blogAbstract:'案例介绍与编程实现\n1. 案例介绍\n该案例中,我们假设某论坛需要根据用户对站内网页的点击量,停留时间,以及是否点赞,来近实时的计算网页热度,进而动态的更新网站的今日热点模块,把最热话题的链接显示其中。\n2. 案例分析\n对于某一个访问论坛的用户,我们需要对他的行为数据做一个抽象,以便于解释网页话题热度的计算过程。\n首先,我们通过一个向量来定义用户对于某个网页的行为即点击的网页,停留时间,以及是否点赞,可以表示如下:\n(page001.html, 1, 0.5, 1)\n向量的第一项表示网页的 ID,第二项表示从进入网站到离开对该网页的点击次数,第三项表示停留时间,以分钟为单位,第四项是代表是否点赞,1 为赞,-1 表示踩,0 表示中立。',
blogTag:'',
blogUrl:'blog/static/',
isPublished:1,
istop:false,
modifyTime:6,
publishTime:1,
permalink:'blog/static/',
commentCount:0,
mainCommentCount:0,
recommendCount:0,
bsrk:-100,
publisherId:0,
recomBlogHome:false,
currentRecomBlog:false,
attachmentsFileIds:[],
groupInfo:{},
friendstatus:'none',
followstatus:'unFollow',
pubSucc:'',
visitorProvince:'',
visitorCity:'',
visitorNewUser:false,
postAddInfo:{},
mset:'000',
remindgoodnightblog:false,
isBlackVisitor:false,
isShowYodaoAd:false,
hostIntro:'',
hmcon:'1',
selfRecomBlogCount:'0',
lofter_single:''
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人:
{list a as x}
{if !!b&&b.length>0}
他们还推荐了:
{list b as y}
转载记录:
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}&&&&大数据测试环境搭建(Spark+Storm+Kafka+Redis+MongoDB+Flume+HBase+Mysql集群等)
大数据测试环境搭建(Spark+Storm+Kafka+Redis+MongoDB+Flume+HBase+Mysql集群等)
大数据测试环境搭建(Spark+Storm+Kafka+Redis+MongoDB+Flume+HBase+Mysql集群等)
若举报审核通过,可奖励20下载分
被举报人:
nefu_yanghang
举报的资源分:
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题,侵犯个人或公司的版权
*详细原因:
VIP下载&&免积分60元/年(1200次)
您可能还需要
开发技术下载排行<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员,您的IP地址所在网段被ITeye拒绝服务,这可能是以下两种情况导致:
一、您所在的网段内有网络爬虫大量抓取ITeye网页,为保证其他人流畅的访问ITeye,该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站,该代理服务器被网络爬虫利用,大量抓取ITeye网页
请您点击按钮解除封锁&kafka+spark+redis可否用来构建实时推荐引擎?
我们现在的做法是:kafka + spark streaming + hbase (准实时吧,大概5秒出推荐结果)
有实现的demo吗
nginx(lua) + kafka + spark streaming + redis
准实时,需要用到streaming
已有帐号?
无法登录?
社交帐号登录温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!&&|&&
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
&& 项目模块依赖特别提醒:开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化
2.&&&&项目依赖介绍
&&&2.1&后台管理系统、Rest服务系统、Scheculer定时调度系统依赖如下图:&&&&&&& 2.2&Dubbo独立服务项目依赖如下图:&3.&&项目功能部分截图:&&&&&&zookeeper、dubbo服务启动 &dubbo管控台 &&&&&&&REST服务平台&&&&4.&&&&&&平台简介&&&&&&&&Jeesz是一个分布式的框架,提供项目模块化、服务化、热插拔的思想,高度封装安全性的Java EE快速开发平台。
&&&&&&&Jeesz本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术
&&&&&&&&使用Maven做项目管理,项目模块化,提高项目的易开发性、扩展性
&&&&&&&&以Spring Framework为核心容器,Spring MVC为模型视图控制器,MyBatis为数据访问层, Apache Shiro为权限授权层,Ehcahe对常用数据进行缓存,Activit为工作流引擎等。
&&&&&&&&前端集成Bootstrap4 metronic框架,UI响应式、扁平化布局,适应所有PC、Pad、Anroid、ios 移动设备等。
&&&&&&&Jeesz主要定位于互联网企业架构,已内置企业信息化系统的基础
功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具
组件、视图操作组件、工作流组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。
&&&&&&&Jeesz目前包括以下模块项目,后台系统管理系统,RestFul独立服务系统、Scheduler定时调度系统、内容管理(CMS)系统、在线办公(OA)系统、我的待办(Task服务)、我的收藏(Bookmark服务)。
&&&&&&&&后台管理系统包括企业组织架构(用户管理、机构管理、区域管理)、菜单管理、角色权限管理、字典管理等功能;
&&&&&&&&RestFul独立提供标准Rest服务API,您可以快速实现自己的业务,提供需要的服务;
&&&&&&&&Quartz定时调度系统可以动态配置您的任务规则等;
&&&&&&&&内容管理(CMS)系统,包括内容管理,栏目管理、站点管理、公共留言、文件管理、前端网站展示等功能;
&&&&&&&&在线办公(OA)系统,主要提供简单的流程实例。
&&&&&&&Jeesz提供了常用工具进行封装,包括日志工具、缓存工具、服务
器端验证、数据字典、当前组织机构数据(用户、机构、区域)以及其它常用小工具等。另外 还提供一个强大的在线 代码生成
工具,此工具提供简单的单表、一对多、树结构功能的生成,如果对外观要求不是很高,生成的功能就可以用了。使用了Jeesz基础框架,可以提高快速开发效
5.&&&&内置功能(只列了一部分功能)&&&&1.用户管理:用户是系统操作者,该功能主要完成系统用户配置。&&&&2.机构管理:配置系统组织机构(公司、部门、小组),树结构展现,可随意调整上下级。&&&&3.区域管理:系统城市区域模型,如:国家、省市、地市、区县的维护。&&&&4.菜单管理:配置系统菜单,操作权限,按钮权限标识等。&&&&5.角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。&&&&6.字典管理:对系统中经常使用的一些较为固定的数据进行维护,如:是否、男女、类别、级别等。&&&&7.操作日志:系统正常操作日志记录和查询;系统异常信息日志记录和查询。&&&&8.连接池监视:监视当期系统数据库连接池状态,可进行分析SQL找出系统性能瓶颈。&&&&9.工作流引擎:实现业务工单流转、在线流程设计器。
6.&&&&开发工具&&&&1.Eclipse IDE:采用Maven项目管理,模块化。&&&&2.代码生成:通过界面方式简单配置,自动生成相应代码,目前包括三种生成方式(增删改查):单表、一对多、树结构。生成后的代码如果不需要注意美观程度,生成后即可用。
7.&&&&技术选型(只列了一部分技术)&&&&1、后端&&&&&&&&服务框架:Dubbo、zookeeper、Rest服务&&&&&&&&缓存:Redis、ehcache&&&&&&&&消息中间件:ActiveMQ&&&&&&&&负载均衡:Nginx&&&&&&&&分布式文件:FastDFS&&&&&&&&数据库连接池:Alibaba Druid 1.0&&&&&&&&核心框架:Spring framework&&&&&&&&安全框架:Apache Shiro 1.2&&&&&&&&视图框架:Spring MVC 4.0&&&&&&&&服务端验证:Hibernate Validator 5.1&&&&&&&&布局框架:SiteMesh 2.4&&&&&&&&工作流引擎:Activiti 5.15&&&&&&&&任务调度:quartz 1.8.5&&&&&&&&持久层框架:MyBatis 3.2&&&&&&&&日志管理:SLF4J 1.7、Log4j&&&&&&&&工具类:Apache Commons、Jackson 2.2、Xstream 1.4、Dozer 5.3、POI&&&&2、前端&&&&&&&&JS框架:JQuery 1.9。&&&&&&&&CSS框架: Bootstrap 4 metronic&&&&&&&&客户端验证:JQuery Validation Plugin。&&&&&&&&富文本:CKEcitor&&&&&&&&文件管理:CKFinder&&&&&&&&动态页签:Jerichotab&&&&&&&&数据表格:jqGrid&&&&&&&&对话框:jQuery jBox&&&&&&&&树结构控件:jQuery zTree&&&&&&&&其他组件:Bootstrap 4 metronic&&&&3、支持&&&&&&&&服务器中间件:Tomcat 6、7、Jboss 7、WebLogic 10、WebSphere 8&&&&&&&&数据库支持:目前仅提供mysql数据库的支持,但不限于数据库,下个版本升级多数据源切换和数据库读写分离: 如:Oracle、SqlServer、H2等&&&&&&&&支持开发环境:Eclipse、MyEclipse、Ras、Idea等声明:所有博客作为分布式框架技术教程,该框架面向企业的大型互联网分布式企业架构,后期会介绍linux上部署高可用集群项目。有愿意了解框架技术或者源码的朋友直接加Q()一起学习
关键字:Maven, Springmvc mybatis shiro Druid Restful,Dubbo ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx,数据库读写分离
阅读(714)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'Dubbo整合Springmvc,zookeeper负载均衡,kafka消息集成,redis分布式缓存',
blogAbstract:'声明:该框架面向企业的大型互联网分布式企业架构,后期会介绍linux上部署高可用集群项目。有愿意了解框架技术或者源码的朋友直接加Q()一起学习核心技术:Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx 1.&&&&&项目核心代码结构截图',
blogTag:'zookeeper,dubbo,springmvc,maven,mybatis',
blogUrl:'blog/static/',
isPublished:1,
istop:false,
modifyTime:9,
publishTime:2,
permalink:'blog/static/',
commentCount:2,
mainCommentCount:2,
recommendCount:0,
bsrk:-100,
publisherId:0,
recomBlogHome:false,
currentRecomBlog:false,
attachmentsFileIds:[],
groupInfo:{},
friendstatus:'none',
followstatus:'unFollow',
pubSucc:'',
visitorProvince:'',
visitorCity:'',
visitorNewUser:false,
postAddInfo:{},
mset:'000',
remindgoodnightblog:false,
isBlackVisitor:false,
isShowYodaoAd:false,
hostIntro:'',
selfRecomBlogCount:'0',
lofter_single:''
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人:
{list a as x}
{if !!b&&b.length>0}
他们还推荐了:
{list b as y}
转载记录:
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}}

我要回帖

更多关于 spark kafka 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信