姓名:简历本
年龄:26
电话:150****5992
邮箱:52689993@qq.com
经验:8年
意向:大数据分析师
时间:2012-09到2016-06
学校:简历本大学 | 专业:计算机科学与技术 | 学历:本科
工作时间:2016-06到2017-06
公司名称:简历本网络科技有限公司 | 所在部门: | 所在岗位:大数据分析师
工作描述:
我们公司的数据主要来源是web的日志数据,app端的行为数据,埋点数据,其他大型旅游网站的爬虫数据和我们公司本地数据库中的数据。然后我们将web中的产生的日志数据通过flume抽取到kafka中,通过spark streaming进行实时清洗,将日志字段全部打散并按需求进行特定格式转换,然后把清洗过的数据和kafka中的数据投递到HDFS中按照业务需求做mr清洗,清洗后的数据导入到hive仓库中用hql做数据分析,最后将结果数据分别导入到hbase数据仓库中和本地数据库中供续部门等进行调用,最后由展示人员将数据形成报表在前端展现。
整个项目组由12个人组成,数据收集组(2人)、数据清洗组(2人)、数据分析组(3人)、数据建模组(3人)、运维组(2人)。
我是属于数据分析组,主要负责用hive对数据的分析工作。有时也会干一些数据清洗工作。根据需求用mr清洗出我们所需要的字段,例如IP地址 访客用户信息 日期 目录 响应码 访客来源的URL 访问所用设备等字段。然后导入到hive中用Hql进行分析。
我在我们公司前期主要负责编写mr清洗数据,将结构化的数据导入hive数据仓库中,编写hql对数据进行多维度分析,还用到了Hbase rowkey的设计和表格的建模。。后期我主要负责数据的管理,用hive和spark对数据进行日常分析,配合建模组的工作。
工作时间:2010-07到2017-07
公司名称:简历本网络技术有限公司 | 所在部门: | 所在岗位:大数据分析师、网络舆情
工作描述:
2010年7月~2017年7月在福建通信信息报社工作,担任过编辑、记者,以及分别担任过鹰眼舆情(中国电信互联网大数据产品)内容运营、产品运营和市场拓展负责人,拥有多年的传媒与互联网工作经验,熟悉传统媒体与微信微博论坛等自媒体传播、运营规律,熟悉网络数据挖掘和分析、宣传效果评估和危机公关,熟悉互联网产品、手机APP项目运营管理。
其中:2010.07-2011.07 编辑、采访记者,每周2篇原创报纸稿件,熟悉新闻报道、人物采访和企业宣传等各类文章写作
2011.08-2013.08 报告主编,先后负责中国通信业、国资央企、20多家政府机关舆情报告,曾赴国资委新闻中心驻点,熟悉网络信息检索和分类、传播特点分析以及正向舆论引导
2013.09-2015.09 产品总监,负责舆情产品市场调研、PC及APP产品策划、政府企业信息化项目解决方案编制、数据运维及产品优化、客户需求分析及投诉解答,熟悉互联网产品运营和管理
2015.10-2017.07 市场总监,负责全国市场渠道建设和政企客户关系维护,分解经营目标、制定整体推广战略与实施举措,负责过多个百万、千万级大型政府信息化项目招投标工作(且成功中标),具备一定的销售管理经验
活泼开朗,喜欢追求新鲜的事物,喜欢用积极的态度面对生活。喜欢自我摸索新鲜的技术,平时没事的时候喜欢访问一些
技术官网,例如51cto等,学习一些先进的技术。
技术上:
1.熟悉hadoop集群,熟悉分布式系统原理.
2.熟悉hive、spark、hbase、sqoop、zookeeper、flume等大数据生态圈组件及使用,掌握YARN的工作原理,以及Hadoop
不同版本的新特性
3.熟悉MapReduce及Hive的数据清洗、分析和hive的调优
4.熟悉spark流数据分析以及scala语言编写
5.熟练掌握SQL,熟悉MySQL/Oracle 10g/Oracle 11g
6.工作态度端正,有上进心,抗压能力强,对新技术有较强的学习能力,期望长期在公司工作,与公司共同发展
7.熟练运用Xshell、SecureCRT、FileZilla Client等可视化软件
工作上: 能够定期完成自己的工作并且有效率的完成。不怕困难,有较强的独立自主能力。工作积极,生活也积极,从来不以负面
的态度看待生活。
能够加班,能够出差