软件/互联网开发/系统集成个人简历表格

主修课程：尽量填写和应聘岗位相关的主修课程
成绩排名：成绩优异的话可在这里填写成绩排名及GPA信息

我们公司的数据主要来源是web的日志数据，app端的行为数据，埋点数据，其他大型旅游网站的爬虫数据和我们公司本地数据库中的数据。然后我们将web中产生的日志数据通过flume投递到HDFS中按照业务需求做mr清洗，清洗后的数据导入到hive仓库中用hql做数据分析，最后将结果数据分别倒入到hbase数据仓库中和本地数据库中供续部门等进行调用，最后由展示人员将数据形成报表在前端展现
我属于数据分析组，主要负责用hive对数据的分析工作。有时也会干一些数据清洗工作。根据需求用mr清洗出我们所需要的字段，例如ip地址 访客用户信息 日期 目录 响应码 等字段。然后导入到hive中用hql进行分析。
我在我们公司前期主要负责编写mr清洗数据，将结构化的数据导入hive数据仓库中，编写hql对数据进行多维度分析，还用到hbase rowkey的设计和表格的建模。后期我主要负责数据的管理，用hive对数据进行日常分析，配合建模组的工作。

1.熟悉Hadoop生态圈，能够熟练操作Hadoop生态圈各个产品
2.能够熟练操作多种数据库，以及数据库的日常维护和操作原理，例如Oracle、Mysql等
3.能够熟练使用多种开发工具，如SecureCRT、FileZilla Client、Plsqldev、Navicat for Mysql
4.熟悉MapReduce，能够编写mr程序，了解mr的工作原理
5.熟练掌握多种SQL，例如常规SQL及HQL,SparkSql等
6.熟悉掌握Hive、Hbase、Sqoop、Zookeeper、Flume等大数据生态圈组件及使用，掌握YARN的工作原理，以及Hadoop不同版本的新特性
7.熟悉Spark安装以及基础操作
8.能够独立编写shell脚本
9.掌握数据挖掘算法，并可以运用到实际生产中
10.工作态度认真端正，为人踏实肯干，能够完成领导所安排的任务，配合团队一起工作，喜欢学习新事物且学习能力强