于大数据稍有了解的人都知道，大数据主要的编程语言，是使用Java来完成的，而Java之外，也要求一定的Scala基础，这样才能在大数据开发学习当中，更好地掌握相关技术框架。

大数据就业大致三个方向

1、EasyMall项目

EasyMall是一个典型的互联网电子商务系统，是一个互联网分布式高并发的系统。系统包括：后台系统、前台系统、新单点登录SSO、购物车系统、商品搜索系统。涉及到的技术有：Maven讲解、富文本编辑器KindEditor、EasyUI、Nginx、HttpClient，Jsonp，Redis，RabbitMQ，MySQL数据库Percona版，Amoeba，Lucene&Solr。

2、FLUX网站流量分析项目

通过在网站的前台页面中进行js埋点收集用户访问网站的行为信息，再由大数据技术进行分析进而得到网站的PV、UV、VV、Bounce Rate、独立ip、平均在线时长、新独立访客、访问深度等信息，来引导网站针对性的做出升级改进，提高整个网站的访问效率，提升用户粘度。整个系统分为数据收集、数据传递、数据分析三部分，数据分析又分为离线数据分析和实时数据分析，应对数据分析的不同的实时性需求。

3、用户画像、推荐系统项目

基于电商网站的业务数据、访问日志构建用户的画像，描述用户特征，为后续营销提供数据基础。通过收集业务系统数据库中结构化数据、日志系统中访问日志信息构建基于hive的数据仓库，使用spark作为计算引擎实现用户画像。基于协同过滤算法实现基于商品的推荐系统，为电商网站商品推荐提供支持。通过收集日志系统信息到kafka、获取用户画像数据作为数据来源，通过sparkstraming作为计算引擎实现商品推荐。

数据迁移(DataMigration)

数据迁移又称分级存储管理，是一种将离线存储与在线存储融合的技术。将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，将磁盘中常用的数据按指定策略自动迁移到磁带库等二级容量存储设备上。

当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。

数据冗余是指同一个数据在系统中多次重复出现。消除数据冗余的目的是为了避免更新时可能出现的问题，以便保持数据的一致性。