项目时间:2016-09到2017-04
项目名称:游多多网数据分析建模
项目描述:
项目介绍
公司简介:
公司的主要经营模式是“网站+呼叫”的模式,其中网站为客户的主要入口,业务数据,web日志蕴藏着大量的用户信息,而这些信息可以被用来被设计产品,判断客户生命周期和优化应用程序功能,为用户提供更个性化的内容以及在应用中找到最有效的逻辑结构等。因此,用户行为分析一直具有重要的实际意义。通过多维度分析,可以深入了解访客、转化率、用户行为序列等。统计出高端用户和潜在流失用户等信息进行精准营销。
工作描述:
1.前期参与hadoop集群,zookeeper、hive、hbase、spark等生态圈产品的搭建和相关软件的配置及升级。
2.通过建立和完善hive的分析指标和相对应的hql脚本的编写,对用户的日常行为需求分析,设计hive数据仓库表并且语句优化。
3.编写crontab定时任务,对每日获取的数据mapreduce进行数据抽取、清洗、分析和存储。
4.使用sqoop工具负责利用对hive分析的结果导出到mysql库中,明细数据导入到hbase中。
我的职责
1.在hadoop生态圈利用sqoop工具进行数据库的数据抽取到hdfs
2.利用mapreduce进行数据清洗与整合
3.利用hive的整合得到到的数据进行导入导出,将数据放到hive中进行多维度分析,创建用户画像,进行数据归类,对数据进行定期分析,对关键字的任务分析
4.根据业务的要求到hive优化
5.将输了结果备份到历史数据库hbase中,进行持久化的保存
项目时间:2015-01到2017-04
项目名称:应用运维
项目描述:
项目介绍
负责CRM系统的部分应用的运维工作,主要包括应用系统的运行环境搭建,包括oracle10G/11G、OracleRAC的安装、备份、恢复、运行维护以及紧急故障处理工作,同时负责数据库的健康检查以及性能优化工作,协助项目组进行应用系统的故障诊断及其它日常维护工作。主要用使用Oracle11g/Mysql5/Redis3等数据库
我的职责
主要负责应用中间件、应用程序、数据库的运行维护工作
项目时间:2012-01到2017-04
项目名称:BSM监控项目
项目描述:
项目介绍
该项目是采购实施项目。BSM项目对IT部的所有设备与服务进行监控,包括网络设备、服务器硬件、OS、中间件、数据库、应用可用性及性能、用户真实体验等进行全面监控,其中网络设备监控将其它监控系统solarwind以syslog方式与tivoli对接,硬件监控以snmp与tivoli对接,性能监控以网络旁路方式将数据采集后输入监控系统。其它则以监控Agent接入。期间从软硬件环境的系统角度对应用系统性能及可用性的影响环节及关键性能、状态参数进行深入分析。对“系统”概念有更入的了解,对系统的软硬件环境包括网络、存储、服务器、存储、操作系统、中间件、数据库等环节出问题及其对系统的高可用、高可靠等特性影响的表现特征较熟悉
我的职责
任职BSM监控项目架构师, 担任监控项目实施工作
项目时间:2011-01到2017-04
项目名称:TCM终端渠道管理
项目描述:
项目介绍
该项目主要对ZTE的手机销售渠道进行跟进管理,对全球各地发货量、存货量、销货量等业务数据进行统计分析。主要采用的框架有IOS/Android SDK、Struts2、ibatis、spring等常用框架。采用Oracle10g、ggs等ETL工具,搭建高可用应用框架及分布式数据库系统。该项目组进一步明确为特殊用例设计及开发规范相结合的架构指导思想
我的职责
担任TCM项目的架构师