位置:学校首页 > 学校动态>贵阳大数据核心开发技术课程十大学校
课程七、大数据核心开发技术-Storm实时数据处理
Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域较新爆发点,而Storm更是流式计算技术中的佼佼者和主流。按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map+reduce的原语,使我们的批处理程序变得简单和。同样,Storm也为实时计算提供了一些简单的原语,而且Storm的Trident是基于Storm原语更的抽象框架,类似于基于Hadoop的Pig框架,让开发更加便利和。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。学完本课程你可以自己开发升级版的“淘宝双11”,一起来学习吧!
1)Storm简介和课程介绍
2)Storm原理和概念详解
3)Zookeeper集群搭建及基本使用
4)Storm集群搭建及测试
5)API简介和入门案例开发
6)Spout的Tail特性、storm-starter及maven使用、Grouping策略
7)实例讲解Grouping策略及并发8)并发度详解、案例开发(高并发运用)
9)案例开发——计算网站PV,通过2种方式实现汇总型计算。
10)案例优化引入Zookeeper锁控制线程操作
11)计算网站UV(去重计算模式)
12)【运维】集群统一启动和停止shell脚本开发
13)Storm事务工作原理深入讲解
14)Storm事务API及案例分析15)Storm事务案例实战之ITransactionalSpout
16)Storm事务案例升级之按天计算
17)Storm分区事务案例实战
18)Storm不透明分区事务案例实战
19)DRPC精解和案例分析
20)Storm Trident入门
21)Trident API和概念22)Storm Trident实战之计算网站PV
23)ITridentSpout、FirstN(取Top N)实现、流合并和Join
24)Storm Trident之函数、流聚合及核心概念State
25)Storm Trident综合实战一(基于HBase的State)
26)Storm Trident综合实战二
27)Storm Trident综合实战三
28)Storm集群和作业监控告警开发
更多详情咨询拨打下方热线或登录网址:
24小时咨询电话:400-0187-103 QQ:2430972414手机:17513339526(同微信)
贵阳大数据核心开发技术课程十大学校:http://www.soxsok.com/1255/