简介

  • 数据工程师,拥有在能源和物联网领域架构端到端数据解决方案的丰富经验。
  • 在构建可扩展数据平台方面表现出色,熟悉SQL/NoSQL数据库,具备高并发系统的深厚知识。
  • 精通现代数据技术栈,包括Python、JavaScript、Spark、Hadoop、Kafka、Airflow和Flink,并拥有AWS云服务的实践经验。
  • 擅长数据仓库设计、可视化和ETL管道优化。
  • 以超越代码的思维方式交付商业价值,能够在跨文化团队中有效协作。

职位

数据工程师

研究生毕业

佛罗里达大学

本科毕业

天津工业大学

专业

信息管理与信息系统

工作经历

东方国信有限公司

数据工程师

八月 2021 - 九月 2024

构建高吞吐量的Python ETL管道,集成来自多个电厂系统(锅炉、冷凝器、涡轮机)的关键安全数据,处理速率超过每分钟30,000个传感器记录。

实施端到端的ETL工作流,将多源数据集(设备日志、人员日程、财务记录、文档)集成到AWS数据湖中。

使用Apache Airflow在EC2上协调数据管道,并利用Databricks和Delta Lake进行高性能数据处理和转换。

通过将数据工程管道从基于SQL的处理迁移到pySpark分布式架构,显著提高了数据交付的可靠性和性能。

使用fastapi 部署 神经网络预测服务,实现灾害数据的实施预测。

使用PostgreSQL和MongoDB设计并开发数据仓库服务层(DWS),实现了复杂的SQL逻辑和空间数据分析功能。

构建数据集成管道,将实时指标从Kafka处理并传输到InfluxDB,支持时间序列下采样功能。将处理后的数据存储在AWS S3数据湖中,以便进行投资回分析和预测性维护建模

东方国信有限公司

项目经理

八月 2023 - 九月 2024

领导一个由5名成员组成的跨职能团队,采用敏捷方法成功交付3个关键项目,全面达成各项关键绩效目标。

在此期间,主导开发了自动化生产效率计算系统、实施了化学过程实时监控仪表板,并建立了工厂绩效评估框架。

通过规范化项目管理实践,显著提高了团队效率,确保了核心业务目标的有效达成。

在敏捷开发流程中,有效协调客户需求与跨部门资源,并精准管理项目KPI,确保项目顺利推进。

全面负责关键项目的端到端管理(从初期规划到最终部署),持续高质量地按时交付成果。

项目经验

FundaScralwer

开发者

一月 2025 - undefined

使用Python(Asyncio)和Playwright开发高性能异步网络爬虫,将结构化市场数据存储在PostgreSQL中以实现高效数据收集。构建基于LLM的ETL管道,用于处理非结构化数据,以分析具有地理和政策洞察的房价。