近来,快手数据渠道部联动快手中学在快手总部举行快手大数据架构技能沟通会,沟通会邀请了来自快手、阿里巴巴、美团的5位技能大咖,为现场和线上听众带来了一场技能共享盛宴。
近年来,跟着大数据技能的蓬勃开展,数据架构等很多技能方向也在各家互联网公司得到使用和落地。在技能飞速开展下,业界从业者也一直关怀一线大厂在数据技能范畴的实践,职业沟通的需求和呼声也越来越强。
本场快手大数据架构技能沟通会,选用线下+线上(快手号“快手大数据”“快手中学”直播)同步展开的方法。沟通会由快手大数据架构团队负责人赵健博出品,快手数据架构研制工程师徐增强、阿里巴巴资深技能专家杨克特、快手数据架构研制工程师郑天祺、美团资深技能专家曾林西、快手数据架构研制工程师苏国东别离带来5个不同方向的议题,共享了数据架构范畴的优异实践和技能开展。
本场沟通会活动线万人。从报名人数看,超越22%听众为国内外闻名互联网公司,来自BAT的同学占比到达7%。干货满满的技能共享,五光十色的互动,让线下和线上的听众都感到“不虚此行”。
会议伊始,快手大数据架构团队负责人赵健博首先开场,为现场及线上听众介绍了快手的开展史以及快手数据架构的开展进程。随同快手的飞速开展,快手的数据量急剧增加,许多事务带来的海量数据也为数据架构团队带来全新的应战。
快手数据架构研制工程师徐增强,从快手目标存储架构、快手跨IDC EC架构规划和实践等多个视点,共享了快手目标存储范畴的技能堆集与实践。在快手跨IDC EC架构实践的部分,他侧重共享了数据EC流程、数据Fixer流程、数据可靠性保证以及IDC毛病处理,丰厚的讲演内容让听众收成满满。
沟通会的第二个议题来自阿里巴巴资深技能专家杨克特,议题为《Apache Flink开展进程和在阿里巴巴的实践》。杨克特从Flink的开展前史、关键技能解析和Flink在阿里巴巴的使用三个方面,共享流批一体数据渠道的建造和使用。
Projection是快手向开源数据库ClickHouse奉献的一个重要的新特性。快手数据架构研制工程师郑天祺为听众共享了关于ClickHouse的布景,侧重介绍了Projection的原理与使用、特性比照与实际效果,为广阔重视开源项目的听众共享了快手的奉献,也为职业输出了新的实践事例。
本次沟通会还邀请了来自美团的资深技能专家曾林西,他共享的主题是《美团Spark Remote Shuffle Service架构规划与实践》。讲演内容包含Spark在美团的开展进程、Spark Shuffle原理理及存在的问题、Spark Remote Shuffle Service(RSS)架构规划、RSS在数仓出产场景的实践。
最终一个议题来自快手数据架构研制工程师苏国东,他从快手大数据混布的布景开端,介绍了快手离线超配架构、快手实时混布架构、快手容齐云混布架构,为听众带来了《快手大数据混部架构演进之路》。
本次参加快手大数据架构技能沟通会的听众掩盖包含BAT、美团、滴滴等闻名互联网公司,不只限于数据开发,还招引了算法、架构、后端开发、数据剖析、运维、测验等不同岗位;一起,本场沟通会还招引了北京各大高校的同学、讲师。
参会听众反应,本场沟通会共享的许多事例和实践,关于从业者甚至职业都发生许多正面影响,让听众既能了解大数据架构技能的开展,更能感受到快手对职业的奉献,以及快手大数据架构技能的落地与使用。观看快手大数据架构技能沟通会完好回放请在快手APP查找“快手中学”或“快手大数据”。