IT培训选达内，21年专业IT培训机构，美国上市集团。开设IT培训班Java、python、大数据、linux、UI、会计等IT培训,泛IT培训和非IT培训共2课程、室内设计师、PHP工程师、平面++工程师、SEM竞价师、SEO优化师、社会化媒体运营师、电商运营师等课程为一体的IT培训机构。以下5家IT培训培训机构均已经受过学生的考验，不分前后，值得推荐！

1.东莞达内教育

2.东莞博为峰教育

3.东莞中公教育优就业

4.东莞CDA数据分析师分院

5.东莞北大青鸟

6.东莞信盈达

7.东莞千锋教育

8.东莞传智教育

9.东莞黑马程序员

10.东莞斯坦星球

分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。

1、Spark SQL介绍

Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。

2、认识Spark SQL

Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。

2.1 Spark SQL和Hive

2.2 Spark SQL运行原理

2.3 DataFrame、DataSet和RDD的联系

2.4 Parquet列式存储

3、 DataFrame/DataSet常用操作

DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。

3.1 一般操作：查找和过滤

3.2 聚合操作：groupBy和agg

3.3 单表操作：列的增删改与空值处理

3.4 多表操作：join

4、自定义函数和开窗函数

讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。

4.1 自定义函数：UDF

4.2 自定义聚合函数：UDAF

4.3 开窗函数：row_number()

5、Nginx访问日志分析完整实战

使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。

5.1 项目场景介绍及分析

5.2 次数据清洗：格式化原始日志数据

5.3 第二次数据清洗：解析数据并按天以Parquet格式存储

5.4 将分析结果批量写入MySql

5.5 性能监控及优化

日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。