姓名：简小历
年龄：28岁
电话：137****9421
邮箱：658425****@qq.com
经验：6年
意向：大数据开发工程师
时间：2012-09 - 2016-05
学校：简历本科技学院 | 专业：电气信息类 | 学历：本科
工作时间：2016-06 - 2017-05
公司名称：简历本信息科技有限公司 | 所在部门： | 所在岗位：大数据开发工程师
工作描述：
我在项目组任职大数据开发工程师，每天的工作是将我们所获得的数据，根据业务需求使用mapreduce对源数据进行清洗，例如我们项目组在游戏推广阶段需要统计推广渠道带来的用户数，进而对渠道进行分析，我就需要对logstash抽取的数据做一个清洗，得到需要的字段，并且按照渠道标识对输出文件分区，将相同渠道的用户账号信息写入到一个文件中。最后我们将hive分析出的渠道注册用户数与spark分析出的渠道登陆用户数做一个关联分析，分析出玩家注册到登陆之间的转化率，通过转化率可以判断出渠道是否存在刷量导致注册转化率低。除此之外我们还会将各渠道的用户信息表与玩家充值表根据userID(玩家账号的唯一标识)做一个join分析，分析出各渠道玩家的充值情况。通过各种维度对营销渠道的效果进行分析，从而更加合理地确定投入策略，最小化用户获取成本。在游戏运营后我们会从用户行为，营收状况，用户粘性分析三个主要的方面分析游戏运行状况，对于用户行为分析，我们可以分析玩家的游戏时间分布，从而合理的安排游戏运营活动，从而提高活动参与度，提高收益。根据不同需求可再进一步将时间细分。针对营收状况，我们会分析玩家的充值情况以及付费结构等。分析针对用户粘性分析，我们主要从次日留存着手，分析玩家的留存情况。
工作时间：2014-03 - 至今
公司名称：简历本网络技术有限公司 | 所在部门： | 所在岗位：大数据开发工程师
工作描述：
2014/3-2016/3 四川准达信息技术有限公司 移动通信工程师
2016-3至今 四川准达信息技术有限公司 大数据开发工程师
负责HADOOP大数据平台搭建与维护
数据存储（hive）
数据分析和统计（spark）
项目时间：2016-04 - 至今
项目名称：中国人寿大数据平台建设 | 项目工具：rehat平台，集群规模50台，数据量28T
项目描述：
项目介绍
此项目是把多个业务系统的数据统一加工处理，然后再服务于国寿各个平台，项目大概分为下面几个部分，数据以sqoop或者其他ETL工具从增量库生产Gz文件，然后通过调度平台把数据放入到Hbase中，然后通过oozie调用Mapreduce,spark批处理,HiveSql，sqoop等定时执行任务对数据进行加工，并把处理好的数据放到Hbase表中或Hive内部表中，通过WebService接口执行ImpalaSql把平台数据提供给各个子系统。
我的职责
1.负责指定业务模块的Mapreduce编写
2.mapreduce运行效率优化，HbaseAPI编程接口优化，
3.平台运行过程中基本问题的处理，调度平台任务效率优化，
4.Spark离线处理业务逻辑指标计算，
5.spark-streaming 从kafka中读取流数据处理加工并放回hbase中等
项目时间：2017-02 - 至今
项目名称：xx金服平台数据中心 | 项目工具：linux操作系统搭载的jvm、mysql、mongoDB、kettle、tomcat
项目描述：
项目介绍
这是一个数据中心，包括数据的提取、转化、加载的部分。对数据作何处理则依赖于数据的范式及业务的需求，对数据流进行按要求的分层处理直到完全符合要求。过程需保障数据的一致性、完备性，做到可靠、高效。
我的职责
1.大量存储过程的编写
2.kettle作业调度mysql存储过程、设置定时任务
3.kettl跨库进行 ETL 操作
4.Hadoop mapReduce处理数据，得到相应的kpi
6.处理成相应业务视图供前端使用
7.相应的文档编写、维护
1、勇于挑战自己的极限，能吃苦，能够承受一定的工作压力；
2、逻辑思维能力强，思路清楚，自学能力强，对新技术有着强烈的好奇心和求知欲；
3、为人真诚，性格开朗，有良好的交流沟通能力，善于团队合作；
了解数据建模相关知识
熟悉Flume、Logstash数据采集工具的原理，熟悉Elasticsearch
熟悉消息系统Kafka工作机制，能独立完成Kafka集群部署
熟练使用Sqoop进行关系型数据库与Hdfs/Hive/Hbase之间进行数据导入导出；了解Azkaban任务调度系统
熟练使用Spark RDD/ Spark SQL/Spark-Streaming算子，熟悉Spark架构及框架原理，熟悉Spark中的一些优化
掌握Hbase数据库工作机制，能独立完成Hbase集群环境搭建
熟练使用Hive进行数据的查询分析处理及ETL相关操作，了解Hive优化
熟悉HDFS文件存储系统、Map/Reduce离线计算模型、YARN资源管理的工作机制以及Hadoop生态体系相关技术
熟练Scala、Java编程语言、Shell脚本
