项目时间:2014-06 - 2014-12
项目名称:以风险为导向的审计软件
项目描述:
项目介绍
以风险为导向的审计软件,是借鉴国外审计软件的设计理念,融入了辩证法的观念,开创了国年首家产品成果,得到中注协及多家会计事务所的一致好评,也是唯一一家与用用友审计软件竞争的产品,主要界面是审计流程框架开发(包括流程作业步骤,问题回答,关键操作,审计程序,审计底稿列示)
主要功能菜单:项目管理(增加,删除,修改,备份,恢复),系统配置,手机拍照,财务数据(数据导入,数据初始化,财务数据维护,总账预览,核算总账明细账预览),审计调整(负值重分类调整,期初账表调整,期末账表调整,期初审计调整,期末审计调整,调整分录导出,调整分录导入),底稿管理(底稿信息维护,底稿签名,底稿导入,底稿导出,底稿归档),在线帮助等模块
我的职责
开发坏境win7,vs2008,Mysql,使用技术基于Mfc框架开发
项目时间:2016-04 - 2016-12
项目名称:中国人寿大数据平台建设 | 项目工具:rehat平台,集群规模50台,数据量28T
项目描述:
项目介绍
此项目是把多个业务系统的数据统一加工处理,然后再服务于国寿各个平台,项目大概分为下面几个部分,数据以sqoop或者其他ETL工具从增量库生产Gz文件,然后通过调度平台把数据放入到Hbase中,然后通过oozie调用Mapreduce,spark批处理,HiveSql,sqoop等定时执行任务对数据进行加工,并把处理好的数据放到Hbase表中或Hive内部表中,通过WebService接口执行ImpalaSql把平台数据提供给各个子系统。
我的职责
1.负责指定业务模块的Mapreduce编写
2.mapreduce运行效率优化,HbaseAPI编程接口优化,
3.平台运行过程中基本问题的处理,调度平台任务效率优化,
4.Spark离线处理业务逻辑指标计算,
5.spark-streaming 从kafka中读取流数据处理加工并放回hbase中等
项目时间:2016-06 - 2017-05
项目名称:运营日志分析系统 | 项目工具:Linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh3u5、hive-1.2.1-cdh3u5、zookeeper-3.4.5-cdh3u5、 Hbase-1.0.0-cdh3u5、mysql、spark-1.3.0-cdh5.5.2、Jdk1.7.0等。
项目描述:
项目介绍
我们公司拥有多款游戏,每天会产生大量的数据,但是这些数据是分散在不同机器中,管理这些数据非常困难。为了保证数据存储的高效、安全和完整,我们需要一个统一的大数据平台来存储和管理数据;其次,我们需要针对每天生产的数据进行分析和统计,例如DAU、DNU、留存、流失、付费喜好或是渠道排查等等;第三,我们需要一个灵活可配置的集群环境,根据实时的业务需求,改变集群的硬件环境。因此我们选择了Hadoop架构来搭建自己的大数据平台。
我们收集到的大量数据,有两方面的信息:一是事件信息,记录发生过的事件:用户A在某个时刻登录了一次;用户B在另一个时刻进行了一次购买,等等。这种事件信息占了系统所存储信息的大部分,而且绝大部分是不断新增的数据。除事件信息外,还有用户的属性信息,比如用户A首次充值的时间为2013年1月1日,等等。
我们通过分布式hadoop集群处理logstash获取的玩家游戏行为信息,使用mapreduce对数据进行过滤清洗后重新存储到HDFS上,使用hive和spark对数据进行分析,从数据反应的各项趋势了解游戏的运行现状,并把分析结果导入到mysql和redis进行统一管理。
我的职责
1.通过logstash抽取日志服务器上的日志文件和缓存数据库的数据导入到HDFS。
2.通过mapreduce对数据做一个MR清洗,清洗出有效字段。
3.将清洗后的数据导入hive进行分析,利用sqoop将hive分析统计后的结果导出到mysql中保存。
4.通过spark对事件日志进行统计分析,利用jdbc把分析结果写入到mysql。
5.使用HBase进行处理后数据的存储。
6.对mapreduce,hive等进行调优,对Hql语句进行编写调优。
5.日常数据的管理及维护。
项目时间:2015-12 - 2016-06
项目名称:优购平台用户行为分析
项目描述:
项目介绍
该项目为优购平台用户行为分析项目,该项目旨在通过Logstash获取用户海量购物浏览消费数据,经kafka中转,再获取到Spark中对数据进行分析处理;分析统计页面跳转率、每日成交量、用户来源每日用户访问来源排名、每日新增用户数、每日商品销量Top10、实时成交额、实时黑名单等指标;再将结果数据用图表展示出来,为企业科学决策提供依据;图表可以直观展示和分析购物平台运营状况,可根据海量用户行为做合适的营销策略调整,提升活跃用户数,促进优购物网站发展。
我的职责
1.搭建Hadoop,Spark,Hive,Zookeeper集群
2.数据的清洗和简单处理
3.分析处理每日用户访问来源排名、每日新增用户数、页面跳转率、每日商品销量Top10离线指标,实时成交额、实时黑名单等指标
4.hql语句的优化