眨一下眼睛竟计算了 25.5 亿次!阿里云实时计算平台 Flink 再创新记录
| 2019-11-13 10:40
2019 年天猫双 11,阿里巴巴总部的全球交易大屏上显示着: 96 秒破 100 亿、64分钟破 1000 亿、全天成交金额超 2684 亿……
这每一个数字的背后,都是同一个系统在调用全球买全球卖的实时数据,不仅要保证延迟在毫秒级内,还要每秒处理25亿次消息或事件,能如此三头六臂处理如何庞大数据量的,就是阿里新一代实时计算引擎: Flink。
相比 2018 年,Flink 处理的峰值消息速度达到 3.63 TB/秒,比去年增长了 111%。性能的快速增长得益于阿里巴巴独特的存储计算分离架构。同时,Flink 针对云端部署做了大量优化,在降低存储约 30% 负载的情况下,部分场景提速2倍以上。
全球交易大屏只是 Flink 的小试牛刀,Flink 的主战场在搜索和推荐上。想象一下,双 11 零点,无数人涌进天猫、淘宝,他们的每次查看、点击,都会影响个性化的智能推荐,在下一秒就能看到为自己量身定做的宝贝推荐。而这背后的实时计算,都要由 Flink 来支撑。
几十亿种商品的实时库存、价格、优惠数据得以分秒不慢地同步给屏幕前的你,Flink 责任重大。除此之外,实时统计分析、在线机器学习、实时金融风控、IoT 边缘计算等场景都可以通过 Flink 来完成。
目前,已有数千台规模的 Flink 生产集群在云端支持搜索、推荐、广告等阿里经济体的核心实时业务场景。