姓名:简历本
年龄:22
电话:159****7747
邮箱:414740904@qq.com
经验:4年
意向:大数据开发工程师
时间:2011-09到2015-06
学校:简历本科技大学 | 专业:金融学 | 学历:本科
工作时间:2015-09到至今
公司名称:简历本网络科技有限公司 | 所在部门:数据部 | 所在岗位:大数据开发工程师
工作描述:
1参与公司大数据平台的搭建与配置。
2.根据业务需求对移动设备数据和社交数据进行多维度分析,得出用户行为与游戏运营的各项指标。
3.将分析处理后的数据落地到RDBMS中,接入业务使用,为公司产品部门和高层决策在广告领域的创新应用、商业效果改进等提供数据服务支持。
4.使用SparkSQL高效分析处理用户行为数据。
5.平台的日常维护与优化。
工作时间:2017-02到至今
公司名称:简历本信息互动有限公司 | 所在部门: | 所在岗位:大数据开发工程师
工作描述:
将政府公共中心的数据导入mysql数据库,将网上爬取的与企业相关的信息的数据导入MongoDB数据库,在mysql数据库服务器利用存储过程对数据进行初步提取、转换并加载到ODS层的表中使用kettle对ODS层的数据做进一步的ETL处理,如调度上一环节的存储过程、增量更新除基础表等几张表外的数据到EDW层、对企业基本信息等做缓慢渐变维(SCDs)处理。
在前端客服系统上用js作埋点处理,获取用户的行为数据。将这些数据导入我所在的大数据处理中心,用机器学习、数据挖掘工具对用户的行为进行挖掘分析,并将分析结果反馈给后台服务器进行利用。
项目时间:2016-07到至今
项目名称:x校园贷后端 | 项目工具:linux操作系统搭载的tomcat、jvm、mysql、redis、solr
项目描述:
项目介绍
此项目为一大学生校园贷款的后台,包括后台管理系统及前后端交互系统。而后台管理系统则包括员工(权限)管理系统、风控系统,此两个系统垂直交叉、相互协同。而前后端交互系统则主要负责app端(用户端)数据与数据库数据协同交互。此系统通过数据库的一致性达到各系统之间的解耦,同时保证了数据的一致和完备。而且根据业务需求在风控系统中嵌入了一个自行研发的风控模型,达到了业务与系统的和谐统一。
我的职责
1.接收前端传入的数据、处理后存入数据库
2.查询数据库数据、处理、封装成相应接口供pc端、app端调用
3.横向拦截逻辑处理(如sso等)
项目时间:2016-09到至今
项目名称:宜聚网数据统计分析
项目描述:
项目介绍
该项目为宜聚网数据统计分析项目,宜聚网是实名注册可小额抵押汽车、小额理财的一个平台。本项目通过对该平台用户海量借贷数据的获取,统计网站日点击量、注册用户数、各年龄层比率、放款次数金额、单笔募集时间等来分析网站运营情况,根据借贷人群、金额和来源情况的分析结果适度调整营销策略,促进网站长远的发展。
我的职责
1.搭建项目集群环境
2.Hive表的结构设计,如贴源表、明细表
3.分析处理每月贷款金额、每月注册用户数、各年龄层比率、用户地域分布排名、黑名单离线指标,实时统计单笔款项募集时间、实时点击量、实时成交额。
4.问题处理以及Spark和hive相关优化
1.为了理想坚定不移地奋斗
2.富有逻辑,擅长分析、钻研艰深的难题
3.善于合作,长于协调团队与个人的关系
4.极强的学习能力,善于领悟、接受新事物和新技术
5.痴迷于机器学习及人工智能
熟悉Java编程,有良好的算法和编码能力,熟悉面向对象编程;熟悉JavaWeb, JDBC, 熟悉Http协议; 熟悉Springmvc,Spring,MyBatis,了解Struts2, Hibernate等开源框架; 熟练使用Eclipse、SVN、Maven项目管理和项目构建工具。 熟悉应用服务器软件Tomcat等容器配置和部署,能够使用Linux操作系统;掌握JavaScript,Ajax,jQuery等前台开发技术;掌握MySql,熟练掌握sql语句。 掌握分布式文件系统fastDFS原理、fastDFS的Java接口应用;掌握solr集群搭建及solrJ集群版的Java接口应用;掌握redis集群搭建及redis集群版Java接口的应用 了解集群下的并发解决方案,支持(HA)高可用(采用nginx,lvs) 关于数据库的大数据量问题可采用水平拆分,库表散列,支持数据库的容灾及备份;会采用分布式缓存解决数据库压力。
kettle
python
spark
hadoop