项目时间:2017-03到至今
项目名称:某某游戏数据分析平台
项目描述:
项目介绍
1. 参与客户需求调研,需求分析,功能模块分析等。
2. 负责业务数据清洗、过滤、分析和处理,进行汇总统计。
3. 使用Mapreduce、Hive、Spark进行数据处理。
4. 负责客户大数据平台的搭建、维护和优化。
我的职责
1.清洗数据,设计rowkey,并将清洗后的数据保存到HBase中。
2.使用SparkSQL分析游戏玩家模块,包括基于时间维度分析新增玩家、玩家留存等。
3.参与Spark性能优化。
4.简单了解SparkStreaming在线分析模块,分析平均在线玩家。
项目时间:2014-10到至今
项目名称:浙江大全BI项目-财务部分
项目描述:
项目介绍
该项目主要针对财务部分,各类账目及工资情况各分工司无统一平台供领导层查看财务状况而设立。
我的职责
按照前期业务调研的需求,整合各分公司,各部门的财务数据至主数据库,根据数据生产周期设计部分etl流程及调度。
根据需求方案设计报表,在实现报表使用性的同时考虑到了美观性。在图形比较多的界面使用试图切换来规避界面混乱问题。
项目时间:2016-03到至今
项目名称:银监会大数据整合报送项目组
项目描述:
项目介绍
使用大数据组件hadoop和hive进行银监会的日常数据报送工作。主要负责从会计处理平台收到接口文件,经过数据专项检查,补充缺失的关键信息通过数据提取工具,将数据从hdfs中提取处理,将经过加工的数据上传给银监会。在项目工作过程中,熟悉了大数据组件下的脚本编写,对数据报送方面的工作有了深入的了解。
我的职责
主要负责银监会大数据整合报送组相关报送工作;
项目时间:2015-10到至今
项目名称:ogg架构的搭建
项目描述:
项目介绍
1.在ASM文件系统中使一部分磁盘空间使用ACFS;
2.在RAC的ACFS及单实例中安装OGG软件,建立目录并创建用户、授权;
3.检查RAC的归档、日志补充模式(要求主键)及强制logging mode;
4.在RAC及单实例建立manage进程,RAC建立EINI,单实例建立RINI进行初始化加载;
5.在RAC下建立EORA及PORA,在单实例下建立RORA,实现DML单向复制;
6.利用OGG对重要的数据进行容灾。
我的职责
RAC oracle 11.2.0.1.0 IBM-AIX 5.2
单实例 oracle 11.2.0.1.0 redhat5.4
RAC对单实例的DML单向复制