姓名:简小历
年龄:28岁
电话:139****8526
邮箱:802038****@qq.com
经验:6年
意向:大数据工程师
时间:2011-09 - 2015-07
学校:简历本财经大学 | 专业:计算机软件 | 学历:本科
工作时间:2017-07 - 至今
公司名称:简历本信息科技有限公司 | 所在部门: | 所在岗位:IT 助理工程师,大数据助理工程师
工作描述:
[产线大数据自动化 专案]
编写生产线程式实现工业自动化,以及大数据化,并为生产线的运行提供技术支持。
通过对生产线上所有设备传送到Kafka的数据进行实时监听,并依据不同标准对所有数据进行处理,定时反馈给Kafka。同时对异常数据进行累计判断或者清零,对不同级别的异常抛送不同级别的警报到web service,以便送到相应的客户端,发出提示以及警报。后续分别将处理过的数据通过Nifi 传入MQTT和ElasticSearch。 本专案实作使用了loopback(strongloop),kafka,npm,ElasticSearch等大数据环境。使用VSCode编写,在nodejs环境下执行,编写使用javascript,Node.js,Angular.js等。实作部署使用MQTT,Nifi,HeidiSql,Xampp,FileZilla,Putty等。项目涉及MariaDB,maven,ZooKeeper,Spark,Flink等大数据环境。
工作时间:2007-04 - 2010-03
公司名称:简历本信息科技有限公司 | 所在部门:软件与服务事业集团/管理及中间件软件部 | 所在岗位:软件开发/测试工程师
工作描述:
1)负责产品的每日构建(daily build)和回归测试(regression test),报告并追踪产品问题。
2)对于阶段性的产品发布,负责部分功能模块产品漏洞的调试和修复。
3)进行产品部分功能模块的新功能开发(概要设计,详细设计,编码开发)
4)进行产品部分功能模块的功能及性能测试(制定测试计划,设计开发测试用例,开发相关自动化测试工具)
项目时间:2015-12 - 2010-03
项目名称:摩尔龙商贷数据分析系统
项目描述:
项目介绍
网站是结合中国社会信用状况创建的借贷网络平台,主要针对网络投贷的管控和效益计算,
方便贷款方和借贷方的账目明细和抽成。
我的职责
1.参与使用hive对数据的ETL和程序在测试集群的调试;
2.分析各个年龄与他们的贷款额度,分析各个城市的家庭年收入
3.后期的测试与维护
项目时间:2016-02 - 2010-03
项目名称:伊的家电商购物平台离线数据分析平台
项目描述:
项目介绍
伊的家,这是一个基于hadoop生态圈的离线数据分析平台,使用CM搭建并部署了Hadoop HA高可用集群,通过Ngnix服务器生成用户行为日志,使用Flume周期性收集日志数据并上传至HDFS文件系统,使用MapReduce进行数据清洗,通过Hive从时间、地域、浏览器等多个维度对活跃用户数、新注册用户数、二跳率进行多维度分析统计;并将这些指标使用Hcharts表进行图表化展示给产品经理和甲方决策者看,借此指标分析进行女性商品精准营销与推荐;
我的职责
1、参与产品需求分析,技术方案选型,hadoop等开发环境的搭建;
2、编写、测试、优化MR程序对Flume收集上传到HDFS的数据进行清洗与过滤;
3、通过编写Hive HQL程序从时间、地域、浏览器等多个维度对pv,uv,活跃用户数、新注册用户数、二跳率等指标进行多维度分析统计;
4、编写Sqoop命令周期性或采用增量方式将处理好的结果表数据导入到MySQL中。
1.积极的工作态度和强大的抗压性;
2.对大数据技术有钻研热情,具备高度的责任心及团结协作精神,善于沟通;
3.自我驱动,追求工作的成就感和价值;
4.能够主动快速学习新的工程技术,对于新鲜事物接收能力较强;
5.本人是计算机应用技术专业毕业,有丰富的编程知识体系做基础;
6.对于团队开发有一定基础,有过团队开发经验,善于分析和吸取经验;
7.较注重学习机会,希望能在贵公司提升自己的能力;
Hadoop
PERL
Python
SQL
Hive
C/C++
Java
Linux