K+全球软件研发行业创新峰会

分论坛：技术创新

专题：大数据平台与数据中台

分享时间：2022-08-20

内容简介：

数据湖是一种越来越受欢迎的数据存储和分析方法，可解决处理海量异构数据的难题。 云上数据湖解决方案的核心架构原则SSOT，即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求，无需数据移动、冗余，极大程度的降低用户云上存储成本。 云原生背景下，大数据与云原生技术更加紧密的结合，基于容器k8s的大数据弹性计算架构也越来越普及，能够为用户极大程度降低云上计算成本。 今天的分享整体介绍腾讯云数据湖解决方案及数据湖计算产品DLC的架构原则

演讲提纲：

一、数据湖背景、发展历程、架构价值 1、腾讯云数据湖解决方案架构原则SSOT，存算分离 2、DLC定位：数据湖解决方案粘合剂，全托管云原生数据湖产品形态。 二、腾讯云数据湖DLC内核技术揭秘，架构原则 KISS，适应云原生 1、ETL稳定性相关：DLC spark shuffle manager设计、解决对象存储一致性、无rename问题 2、分析性能相关：常驻共享sparkcontext、统一sql/view/udf presto无感分析加速、local cache加速分析、海量元数据、数据湖格式加速分析 3、成本相关：数据湖表格式、DLC特有虚拟集群弹性模型 三、新一代高性能、低成本数仓建设 1、如何利用文件格式建立高效低成本的稀疏索引 2、增量数仓新范式 3、展望实时增量数仓

听众受益：

1、如何玩转云上大数据，构建低成本、高性能、稳定的数据业务平台 2、数据平台优化思路 3、大数据计算引擎的最新动态