3只大牛教你从0到1构建大数据分析平台(3)

发布时间：2021-03-04 18:57 所属栏目：125 来源：网络整理

导读：一大数据分析概述（By 桑文锋）大数据的概念数据驱动的概念数据处理流程数据平台总体架构思考：尝试列举每个子系统在市面上的开源或商业选型二百度大数据平台演进（By 桑文锋）日志统计平台用户数据仓

一

大数据分析概述

（By 桑文锋）

大数据的概念

数据驱动的概念

数据处理流程

数据平台总体架构

思考：尝试列举每个子系统在市面上的开源或商业选型

二

百度大数据平台演进

（By 桑文锋）

日志统计平台

用户数据仓库

数据源管理

百度大数据平台架构

思考：百度在数据处理所面临的问题和学员本身所在公司的问题有何异同？

三

数据采集与传输

（By 曹犟）

数据采集与埋点

数据传输系统

开源传输系统介绍（kafka、flume、scribe）

思考：kafka能够保证数据不丢不重吗？

四

数据建模与存储

（By 曹犟）

数据模型

数据ETL

数据存储管理（包括元数据、hadoop）

调度器（包括开源调度器oozie、azkaban）

思考：为什么在大数据平台上，要把元数据独立出来？

五

查询引擎设计

（By 付力力）

查询引擎架构

开源查询引擎分析（包括impala、spark SQL、hive等）

思考：分布式查询系统和MySQL在设计上，有哪些特别的点？

六

数据可视化

（By 桑文锋）

数据可视化概述

可视化工具介绍

数据分析方法

运营分析实践

大数据分析总结

思考：结合所在公司的现状，设计一张大数据分析平台架构图。

? ?学习环境

（编辑：ASP站长网）