项目时间:2010-10 - 2012-03
项目名称:Intel Expressway Cloud Access 360
项目描述:
项目介绍
Intel Expressway Cloud Access 360是一款Intel公司设计开发的云接入控制软件,可向企业用户提供在完全部署云之前所需的基础云启动功能,比如单点登录(SSO)、账户配置(包括权限管理),双因素认证(包括动态密码)等。
我的职责
负责EndToEnd测试框架、测试用例的开发与维护(Java-based)
负责Configuration/UI测试框架、测试用例的开发与维护(基于Selenium )
协助开发人员对客户问题的进行分析和定位
协助售前人员向客户进行产品原型的功能展示
项目时间:2015-12 - 2016-08
项目名称:乐玩家社区用户行为分析系统
项目描述:
项目介绍
项目名称 : 乐玩家社区用户行为分析系统(离线数据分析平台)
技术架构 : Hadoop+Zookeeper+Flume+Hive+Hbase+Oozie +Sqoop+Mysql+JDBC+Highcharts
开发环境 : Linux+Window+IDEA+Tomcat +Maven+Jdk
项目描述 : 乐玩家社区是联想手机社区论坛,用于用户粉丝交流互动,同时发布联想手机的各个品
牌宣传信息,以及收集用户反馈,用户可以在上面发帖,提建议,发起各种交流活动,通过
对乐玩家社区网站的日志进行分析,计算网站关键指标,其中关键性指标有,浏览量:页面
浏览量即为PV,每日登陆用户数UV,每周UV 。跳出率=跳出数/PV:跳出率
是非常重要的访客黏性指标,它显示了访客对网站的兴趣程度:跳出率越低说明流量质量越
好,访客对网站的内容越感兴趣,这些访客越可能是网站的有效用户、忠实用户。板块访问
量pv,和板块独立ip访问量。多维度用户留存率
项目职责:负责项目的集群搭建部署,需求分析, 参与库表的设计及代码的编写和测试优化工作
开发步骤:flume通过接口把数据导入到hdfs中,通过mapreduce对数据进行清洗,生成规范数据文件上传到hdfs
使用hive进行数据的多维分析,把hive分析结果使用sqoop导出到mysql中,提供图表和表格进行数据展示
功能模块 : 用户基本信息分析模块、浏览器信息分析模块、地域信息分析模块、
用户浏览深度分析模块、外链数据分析模块、订单信息分析模块以及事件分析模块
我的职责
项目时间:2017-03 - 2017-10
项目名称:实现对TPCx-BB大尺度因子的功能支持和性能调优
项目描述:
项目介绍
基于CDH平台,实现对TPCx-BB大尺度因子(10TB、30TB)的功能支持和性能调优。
我的职责
负责基于Intel硬件环境和CDH软件平台,进行Hadoop/Hive/Spark测试环境的准备和搭建。
负责分析影响Hive-on-MapReduce, Hive-on-Spark两个执行引擎在大尺度因子(10TB、30TB)上功能的主要问题,并找出解决方案。
负责分析Hive-on-MapReduce, Hive-on-Spark两个执行引擎在大尺度因子(10TB、30TB)上的性能,并进行针对性的调优或优化。
项目时间:2016-07 - 2016-12
项目名称:Intel和京东大数据团队合作子项目--大数据测试基准PoC
项目描述:
项目介绍
Intel和京东大数据团队合作子项目--大数据测试基准PoC。目的是评估京东现有大数据环境的性能指标,寻找可能的软硬件优化方案。
我的职责
第一阶段:
负责对京东大数据团队进行TPCx-BB的特性介绍, 与京东团队合作确定具体的PoC实验方案。
负责在京东实验室环境进行TPCx-BB现场技术支持,基于TPCx-BB对京东现场实验环境的软硬件环境进行评估,建议可能的软件、硬件优化方案(如Hadoop参数, 网络配置等)。
第二阶段:
远程指导京东团队部署运用TPCx-BB, 并回答京东团队对TPCx-BB本身及软硬件测评结果提出的技术问题。
负责按照京东现有软硬件配置,在Intel实验室搭建模拟实验环境,基于TPCx-BB收集硬件升级(如CPU,网络升级)所能带来的具体性能增益,提供给Intel售前团队,为评估京东硬件升级的成本收益情况提供参考。