姓名：简小历
年龄：29岁
电话：137****3334
邮箱：513965****@qq.com
经验：7年
意向：大数据工程师
时间：2010-09 - 2014-07
学校：简历本科技学院 | 专业：信息管理与信息系统 | 学历：本科
工作时间：2016-01 - 至今
公司名称：简历本信息技术有限公司 | 所在部门： | 所在岗位：大数据工程师
工作描述：
在分支任职大数据工程师，负责大数据产品项目组与咪咕音乐有限公司业务支撑中心部门项目开发及运维工作，主要负责工作内容：1、负责业务支撑中心的一级VGOP、咪咕杭州研发中心对外供数的所有数据维护以及新增接口的开发、增、删、修、调整字段类型等。
2、负责中央音乐平台对外全国分省供数业务，涉及到的业务有咪咕彩铃、铃音盒、客户端使用及发展、振铃、全曲及各大话单的数据业务开发及运维、新增加接口数据各省份需求。
3、一级VGOP对外稽核数据采集并取至基地服务器，由各负责人获取数据进行结算。
4、每月一级VGOP、中央音乐平台对外分省供数月报数据出数运维维护工作保障月报能按时对外供数。
5、wap门户小时数据的供数业务，对外供数给一级VGOP、咪咕杭研中心供数，CP月数据更新，VGOP号段更新业务数据等等。
6、主要用到的系统环境及开发，维护的工具有：Linux\Unix、AIX系统，Oracle 、PL/SQL,ETL运维工具、mysql数据库，shell脚本编程，crontab定点服务、python编程工具,CRT工具、UE编辑器。
7、给wap门户渠道做数据分析，并给出用户消费情况做计量图表，统计出用户的消费偏好数据信息，进行跟进分析然后研发出新产品提供给各类消费偏好者推荐使用。
8、咪咕指数分析，由数据库统计每个月的量收总额来做对比，进行数据分析及调整用户潜在的消费意识数据，如；有些客户端只是开通特级会员，特级会员功能有比较多的免费业务，还有赠送给其它客户端需求数据，拿进行跟进分析，然而可以从特级会员客户中挖掘潜在的客户进行推荐，这样就能咪咕消费指数业务增长。
2017年03月-开始负责搬迁老系统数据Oracle平台的数据资料表调度数据源供数（对外供数模块）到大数据平台供数，其中分省供数模块我用了半个月的时间把全国31个省份的接口全部重新开发完成，主要用到工具为hive、spark、python框架sql。
2017年7月出差到湖北移动做武汉经分spark报表开发，展示在市场部一线应用平台，主要用到的工具为移动的4A平台，DAC平台，多租户模式开发，涉及保密协议范围。
2017年8月做武汉移动业务支撑数据中心，迁移湖北渠道优化模块工作，程序开发数据质量核对，完善老系统无法满足的条件，主要用移动4A平台、DACP平台，Hadoop、HDFS、Map/Reduce、hive、spark工具开发。
工作时间：2017-07 - 至今
公司名称：简历本信息科技有限公司 | 所在部门： | 所在岗位：IT 助理工程师，大数据助理工程师
工作描述：
[产线大数据自动化 专案]
编写生产线程式实现工业自动化，以及大数据化，并为生产线的运行提供技术支持。
通过对生产线上所有设备传送到Kafka的数据进行实时监听，并依据不同标准对所有数据进行处理，定时反馈给Kafka。同时对异常数据进行累计判断或者清零，对不同级别的异常抛送不同级别的警报到web service，以便送到相应的客户端，发出提示以及警报。后续分别将处理过的数据通过Nifi 传入MQTT和ElasticSearch。 本专案实作使用了loopback（strongloop），kafka，npm，ElasticSearch等大数据环境。使用VSCode编写，在nodejs环境下执行，编写使用javascript，Node.js，Angular.js等。实作部署使用MQTT，Nifi，HeidiSql，Xampp，FileZilla，Putty等。项目涉及MariaDB，maven，ZooKeeper，Spark，Flink等大数据环境。
项目时间：2016-05 - 至今
项目名称：游戏数据分析 | 项目工具：Spark+flume+kafka+zookeeper+redis
项目描述：
项目介绍
该项目是为游戏公司开发的运营分析平台，数据由该游戏公司提供。通过使用Logstash从日志服务器中实时采集数据，下沉到kafka集群中，使用sparkstreaming对数据进行实时处理，获取到一些需要实时展现的指标，比如，当前在线人数，当日新增玩家用户,活跃玩家，玩家留存率，以及游戏习惯，实时充值金额，实时玩家区域分布等。将实时数据保存到redis中，并从redis中获取数据到前台展示
我的职责
1.参与了需求分析，架构分析，编写开发文档。
2.参与了新增玩家用户的分析及代码实现。
3.参与了活跃玩家用户的分析及代码实现。
4.参与了玩家留存率的分析及代码的实现。
5.参与了玩家流失率的分析。
6.优化代码以及对后期代码的测试。
项目时间：2016-09 - 至今
项目名称：交互式实时数据分析平台
项目描述：
项目介绍
项目名称 : 交互式数据分析系统（准实时数据分析平台）
技术架构 : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker
开发环境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)
项目描述 : 该系统是一个交互式用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去
分析某一 类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据
支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务
参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线
程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量
数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,
利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。
项目职责 :负责项目的集群搭建部署，需求分析, 参与库表的设计及代码的编写和测试优化工作
开发步骤 : 数据收集阶段：Flume采集供应商接口上的数据,实现flume自定义拦截器,满足业务需求。
Kafka拉取flume上的数据传给sparkStreaming进行数据处理（实时ETL的程序），ETL处理的数据保存到Hdfs中。
数据处理阶段：SparkCore处理Hdfs上的数据，通过RDD进行离线处理和Dstream准实时处理之后保存到Hdfs中。
数据展示阶段：通过JDBC连接Hdfs处理好的数据，进行图表展示。
功能模块 : 用户访问会话（session）分析模块，页面跳出率统计分析模块，
各区域热门商品统计分析模块，广告点击流量实时统计分析模块
我的职责
5年的大数据软件质量保证和性能调优从业经验；
熟悉Hadoop，Hive, Spark等大数据组件的基本运维及调优；
熟悉大数据测试基准（TPCx-BB， TPC-DS等），具有企业级云平台(AWS, AliCloud)的性能瓶颈分析及调优实战经验；
擅长使用自动化工具进行系统性能/功能测试及系统分析；
熟悉Linux及脚本语言，具有自动化测试工具开发经验；
8年以上软件测试经验，熟悉软件测试流程，具有一定的测试管理经验；
对机器学习、深度学习领域有所涉猎。
1．能搭使用Hive和HBase的系统架构，和能用Hive进行海量数据的统计分析以及，能根据需求设计HBase表，能对Hive、HBase进行搭建Hadoop的系统架构和Hadoop集群。 2.能使用开源日志收集框架flume，Kafka消息队列。 3.能够使用Python2.7的版本，进行编程部署， 实现MapReducer框架，解决离线分析的场景和作业。 4.能够使用java,Scala进行项目的开发，能够实现Spark框架的研发作业。 5.能使用SparkStreaming进行实时数据的分析。 6.能使用MapReduce的原理和流程和其API开发应用程序 7．能使用Storm的原理和流程和使用API开发应用程序，以及Storm+Kafka实时流处理架构 8.清楚spark任务提交流程，对spark作业能进行调优 9.能操作MySQL、Oracle数据库 10.能使用Python进行网页爬虫，和Python与MySQL的交互
