案例学习- 大数据分析
Amazon EMR 是行业领先的云大数据平台,支持众多开源工具处理大数据,例如 Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi 和 Presto。
易易传科技有限公司是一家集数据分析追踪、内容孵化、媒体投放于一体的传媒公司,公司为广告主定制一站式移动营销解决方案帮助广告主更精准的触达目标用户
(1) 网站通过埋站收集用户点击广告的行为数据,经由TLS加密上传到ELB,由ELB卸载加密后分发给多可用区的后台服务器进行初步处理,后台服务器是EC2 ASG,能够根据业务波峰波谷自动伸缩资源,从而节省成本。
(2) 数据由kinesis data stream实时传输给下游应用进一步处理,包括实时处理与批量处理。
(3) Spark stream EMR将实时处理结果存储在Redis并通过QuickSight进行数据可视化,以便及时作出广告投放调整决策。
(4) 同时Kinesis firehose将源数据导入到S3存储备份,以便将来通过hadoop进一步处理。