公司里常见到的实时计算场景:
小田,你看能不能做个监控大屏实时查看促销活动销售额(GMV)?
小朱,搞促销活动的时候能不能实时统计下网站的 PV/UV 啊?
小鹏,我们现在搞促销活动能不能实时统计销量 Top5 啊?
小李,怎么回事啊?现在搞促销活动结果服务器宕机了都没告警,能不能加一个?
小刘,服务器这会好卡,是不是出了什么问题啊,你看能不能做个监控大屏实时查看机器的运行情况?
小赵,我们线上的应用频繁出现 Error 日志,但是只有靠人肉上机器查看才知道情况,能不能在出现错误的时候及时告警通知?
小夏,我们 1 元秒杀促销活动中有件商品被某个用户薅了 100 件,怎么都没有风控啊?
小宋,你看我们搞促销活动能不能根据每个顾客的浏览记录实时推荐不同的商品啊?
。。。
你是不不是经常体验或看到上⾯面这些场景?
那这些场景对应着什么业务需求呢?我们来总结下,⼤大概如下:
初看这些需求,是不不是感觉很难?
那么我们接下来来分析一下该怎么去实现?
从这些需求来看,最根本的业务都是需要实时查看数据信息,那么首先我们得想想如何去采集这些实时数据,然后将采集的实时数据进行实时的计算,最后将计算后的结果下发到第三方。
数据实时采集
就上面这些需求,我们需要采集些什么数据呢?
1、买家搜索记录信息
2、买家浏览的商品信息
3、买家下单订单信息
4、网站的所有浏览记录
5、机器 CPU/MEM/IO 信息
6、应用日志信息
采集后的数据实时上报后,需要做实时的计算,那我们怎么实现计算呢?
本场 Chat 对实时采集、实时计算和实时存储做了详细地阐述,帮助大家理解该如何让整个流程做到实时处理。
你将学到如下内容:
- 了解公司常见实时计算场景需求
- 数据实时采集
- 数据实时计算
- 数据实时存储
- 知道实时计算和离线计算区别和特点
- 使用实时数据流面临的挑战
- 了解实时计算框架 Flink
最后说一下,想要学习大数据的限时领取免费资料及课程
领取方法:
还是那个万年不变的老规矩
1.评论文章,没字数限制,一个字都行!
3.私信小编:“大数据开发教程”即可!
谢谢大家,祝大家学习愉快!(拿到教程后一定要好好学习,多练习哦!)
閱讀更多 微笑數據工程師 的文章