我毕业于河南农业大学计算机专业，在大学期间学习了很多计算机课程，并且在学习期间对编程非常感兴趣。后来，我在毕业后立即投身大数据行业，这让我越发觉得，数据分析和处理是一个非常重要的技术，能用于解决现实世界中的各种问题。通过不断学习和实践，我积累了丰富的大数据开发经验，例如使用Hadoop和Spark等工具来提取和分析巨大的数据集。除此之外，我也熟练掌握各种编程语言，例如Java、SQL等，以及大数据技术栈中的其他工具和框架。
出生日期
1999-08-18
毕业年份
2021
工作经验年限
3
毕业院校
河南农业大学
性别
男
2017 - 2021
Spark、Flink、Hadoop、Kafka、Flume、Sqoop、Kettle、DolphinScheduler、Scala、Java
十月 2021 - 七月 2023
公司介绍：ABC电商公司是一家商品类型庞大的线上购物平台，该平台允许用户通过团购的方式，向卖家或厂家下单来获得大幅折扣，以APP客户端和微信小程序为主要运营方式。
八月 2020 - 九月 2021
公司介绍：DEF连锁餐饮公司，全国大约有4200家门店，有堂食和有外卖两大板块，支持微信、支付宝、大众点评、美团等多方式销售渠道。
工作内容：
在ABC公司的电商项目中，担任大数据开发工程师，主要负责设计和开发企业数据湖平台、实时采集和分析用户行为数据、开发个性化推荐引擎、优化大数据处理性能和系统稳定性等。 主要使用多种数据传输框架，包括Flume、Kafka、DataX、Sqoop和Kettle等工具进行数据的采集、转换和传输。 并且构建Hive数据仓库对海量数据进行处理和分析。在这个过程中，我不仅熟练掌握了Hive等大数据处理技术，也设计和优化了多个MySQL查询语句，用于支持数据可视化和BI报表的构建。具体来说，我通过对数据进行清洗和转换，构建了一个可扩展的数据仓库，从而支持多维度的数据查询和分析能力。 同时，我在工作中熟练掌握DolphinScheduler，进行整个项目任务资源的定时调度和管理，以保证数据处理的高效性和稳定性。
具体来说，我的工作职责主要包括：
数据采集：使用Flume和Kafka进行用户海量行为数据的采集，并通过DataX完成数据清洗和格式转换，保证数据的准确
性和可用性。
数据存储：使用HDFS、HBase等不同的存储方式，根据数据类型和大小选择最适合的存储方式，并通过Hive进行数仓分层构建、管理和查询。
数据处理：使用Spark和Flink进行批处理和流处理，根据业务需求实现相应的数据处理逻辑。
数据分析：根据业务需求，通过MySQL进行数据的查询分析，并使用Tableau、PowerBI等工具进行数据可视化，帮助业务团队更好地理解和利用数据，实现对业务的深度分析。
框架优化：在工作中会出现数据采集、清洗及处理过于缓慢的问题，通过系统监控、性能调优及脚本优化等方式，提高数据处理效率和系统稳定性。
实时数据处理：在业务中也有许多数据实时处理的需求，通过使用Spark Streaming和Flink构建实时数据处理流水线，对用户行为数据进行实时分析并提供相应的实时推荐服务，满足业务实时性需求。
个性化推荐：通过精确查询Hive数仓中的某层数据，使用MySQL进行用户历史行为和其他因素的分析，实现精准的推荐结果，大幅提升用户转化率和商品点击率。
工作内容：
在DEF连锁餐饮公司担任数仓工程师期间，我主要负责构建数据仓库，并对实时用户、外卖业务、堂食业务、用户生命周期、用户消费价值、会员规模、用户复购、用户画像、用户行为等方面进行分析和处理。我的工作旨在通过数据分析和处理，为公司提供更准确、全面的数据支持，并支持公司制定更精细化的营销战略和运营策略，进而提高企业的竞争力和市场份额。 在这个过程中，我使用了多种大数据技术和工具，如Hadoop、Hive、Spark、Kafka等，同时也使用SQL命令和关系型数据库（如MySQL）进行数据处理和查询。基于实际业务需要，我设计了数据仓库模型，并且对数据进行清洗、转换、分层存储和分析。此外，我还使用Hive进行场景业务开发，并且掌握了Hive调优工作。
具体来说，在DEF连锁餐饮公司的工作期间，我的工作职责主要包括：
实时用户数据处理：通过对实时用户数据的采集、清洗和分析，构建了一个可扩展的数据仓库，从而支持多维度的数据查询和分析能力。并且利用Spark Streaming等技术进行实时处理，以保证数据的及时性和准确性。
外卖业务数据处理：通过使用Flume、Sqoop、Kafka等工具对外卖业务数据进行采集和传输，并通过Spark、Hive等技术进行数据的清洗和转换，构建了一套完整的外卖业务数据分析系统，支持各类指标的监控和分析。
堂食业务数据处理：通过构建实时采集和处理堂食业务数据的系统，为公司提供了即时而准确的数据支持。在数据处理过程中，我还使用了HBase、Phoenix等技术帮助公司实现了堂食业务数据的快速检索和查询。
用户生命周期管理：借助Hive数仓实现用户生命周期的划分，并与其他业务数据进行关联，使用用户行为模型，计算出每个用户的生命周期价值，为公司提供了有力的业务分析和决策支持。
会员规模管理：使用Hive数仓对会员规模进行统计和分析，并通过数据挖掘技术，为公司提供更加精准的会员预测模型，帮助公司实现会员数量和价值的增长。
用户复购分析：通过构建Hive数仓并结合Spark等工具实现用户复购分析。通过对用户行为数据进行清洗和分析，识别出用户的消费习惯和喜好，进而提高复购率和用户忠诚度。
用户画像处理：根据用户行为和消费数据，使用机器学习算法构建了一套完整的用户画像系统，帮助公司更好地理解用户需求和行为，实现个性化营销和服务。
用户行为分析：基于大数据技术和工具，对用户行为数据进行分析和处理，使用Spark、Hive等工具构建了一套用户行为分析系统，帮助公司了解用户的购买意愿、消费趋势和偏好特征，并且实现了对用户行为的实时监控和反馈。 总的来说，在DEF连锁餐饮公司的工作经历让我对大数据技术和应用有了更加深入的认识和理解，并且掌握了大量相关技能和经验。这些经验和技能不仅在工作中得到了实践，也让我成为一个出色的大数据专家，有信心在未来的职业生涯中为企业和团队创造更多价值。