想要学数据分析，为您推荐博为峰IT培训学校。博为峰IT培训学校是中国专业的IT培训机构之一，博为峰51Code在率先推出IT就业培训业务，即通过数月的强化培训，使缺乏职场竞争力的学员具备企业级项目执行能力，先后在10余个城市推出软件测试，软件开发线下培训，并推出在线职业教育平台博为峰网校Atstudy，面向/国际提供软件测试，软件开发等或进阶类，考证类等课程。

　　51Testing 专注职业教育培训18年

　　真正的实力机构 上市公司

　　机构实力强：上市公司股票代码836392

　　校区分布广：十校区覆盖主要一二线城市

　　培训经验足：专注人才职业培训18年

　　就业成绩好：每年培养学员10000+

　　师资雄厚：博为峰总监级讲师领衔授课

　　合作企业牛：为腾讯、阿里等公司培养了上百个测试团队

　　大数据开发工程师必须掌握以下技能：

　　1、Sqoop：

　　这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

　　2、Hive：

　　这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？它和Pig差不多掌握一个就可以了。

　　3、Oozie：

　　既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，较重要的是还能帮你配置任务的依赖关系。

　　4、Hbase：

　　这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

　　5、Kafka：

　　这是个比较好用的队列工具，队列是干吗的？排队买票你知道不？数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据（比如好几百G的文件）我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了。

　　因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方（比如Kafka）的。

　　6、Spark：

　　它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。