UP简历小U

+86 138-0013-8000|up.ai.resume@example.com|北京

资深数据工程师，在数据平台搭建、数据建模及性能优化方面拥有丰富的实践经验。精通PB级大数据平台架构设计与实施，擅长利用Spark、Hadoop等技术栈处理海量数据。具备卓越的问题解决能力和性能调优经验，曾成功优化Spark作业性能，提升数据处理效率达20%以上，有效支撑核心业务决策。

某知名互联网公司

2021-07 - 2024-05

主导设计与实施了PB级大数据平台架构，采用Hadoop YARN、HDFS、Hive、Spark等技术栈，支撑了公司5亿+用户的数据分析与推荐系统，确保数据可用性达99.99%。
负责核心Spark作业的性能优化，通过调整内存分配、GC参数、数据倾斜处理和Join策略，将关键报表与ETL任务的执行时间平均缩短了25%，峰值任务耗时降低30%，显著提升数据产出效率。
构建了实时数仓体系，利用Kafka、Flink进行实时数据采集与处理，实现了秒级数据延迟，支持业务实时决策与风控系统，有效降低了欺诈率15%。
开发并维护数据质量监控系统，通过自动化脚本和告警机制，将数据异常发现时间缩短了80%，保障了数据资产的准确性与可靠性。
参与数据治理项目，制定数据标准与规范，推动元数据管理和数据血缘追踪，提升了团队数据开发效率20%。

公司内部项目

2023-03 - 2023-11

项目背景： 为应对用户量快速增长带来的推荐系统性能瓶颈，需重新设计和优化数据层，支持高并发实时特征计算与召回。
个人职责： 核心数据工程师，负责数据存储选型、实时特征平台搭建与Spark Streaming作业优化。
关键行动：
- 选型并搭建基于HBase和Redis的实时特征存储，设计高效的读写模型，支撑每秒10万+的QPS。
- 利用Spark Streaming构建实时特征计算流程，对用户行为日志进行实时处理，确保特征更新延迟在100ms以内。
- 针对Spark Streaming作业的Checkpoint机制和状态管理进行深度优化，减少了故障恢复时间40%，提升了系统稳定性。
- 通过A/B测试验证，优化后的数据层支撑的推荐系统CTR提升了8%，用户停留时长增加了5%。

公司内部项目

2022-01 - 2022-09

项目背景： 现有数据仓库查询效率低下，无法满足业务部门日益增长的复杂OLAP分析需求。
个人职责： 数据平台核心开发人员，负责ClickHouse集群部署、数据模型设计和查询优化。
关键行动：
- 完成了ClickHouse分布式集群的规划、部署与运维，实现了高可用和弹性伸缩。
- 根据业务需求，设计并实现了多维度星型和雪花型数据模型，存储了百亿级数据。
- 通过优化表结构、索引和分区策略，使复杂查询响应时间从分钟级降低到秒级，平均查询速度提升10倍以上。
- 开发了数据同步工具，实现Hive到ClickHouse的增量数据同步，每日处理数据量超过10TB。