简小历女24岁1年180****9480280836755@qq.com系统分析员一句话向HR介绍自己
教育背景 |
2012-09 到 2016-06 简历本科技学院 本科 |
工作经历 |
上海游多多科技网络有限公司 系统分析员 1、前期参与hadoop集群,zookeeper、hive、hbase、spark等hadoop生态圈产品的搭建,软件配置的相应修改及软件的升级。 2、负责建立和完善hive的分析指标和对相应的hql脚本的编写,对每日kpi,top等需求进行分析,用来确定用户对相应旅游栏目和产品的喜好。设计Hive数据仓库表,并做Hive语句优化。 3、编写Crontab定时任务,对每日获取的数据库相关数据通过MapReduce进行数据的提取、清洗、分析、存储。 4、使用Sqoop工具负责利用对hive分析结果导出到mysql库,明细数据导入hbase。 |
项目经历 |
简历本网络传媒有限公司 项目介绍 公司简介: 公司的主要经营模式是“网站+呼叫”的模式,其中网站为客户的主要入口,业务数据,web日志蕴藏着大量的用户信息,而这些信息可以被用来被设计产品,判断客户生命周期和优化应用程序功能,为用户提供更个性化的内容以及在应用中找到最有效的逻辑结构等。因此,用户行为分析一直具有重要的实际意义。通过多维度分析,可以深入了解访客、转化率、用户行为序列等。统计出高端用户和潜在流失用户等信息进行精准营销。 工作描述: 1.前期参与hadoop集群,zookeeper、hive、hbase、spark等生态圈产品的搭建和相关软件的配置及升级。 2.通过建立和完善hive的分析指标和相对应的hql脚本的编写,对用户的日常行为需求分析,设计hive数据仓库表并且语句优化。 3.编写crontab定时任务,对每日获取的数据mapreduce进行数据抽取、清洗、分析和存储。 4.使用sqoop工具负责利用对hive分析的结果导出到mysql库中,明细数据导入到hbase中。 我的职责 1.在hadoop生态圈利用sqoop工具进行数据库的数据抽取到hdfs 2.利用mapreduce进行数据清洗与整合 3.利用hive的整合得到到的数据进行导入导出,将数据放到hive中进行多维度分析,创建用户画像,进行数据归类,对数据进行定期分析,对关键字的任务分析 4.根据业务的要求到hive优化 5.将输了结果备份到历史数据库hbase中,进行持久化的保存 |
个人评价 |
1、熟练掌握hadoop集群搭,能够搭建大数据存储平台HDFS,安装Hive、Hbase。 2、熟练掌握基于hive分析的hql语言,根据业务需求合理调优。 3、熟练掌握Mapreduce运行原理及清洗,分析数据。 4、熟悉会使用flume日志收集工具,sqoop抽取数据。 |