简小历男26岁1年151****5199271298****@qq.com数据分析师一句话向HR介绍自己
教育背景 |
2014-09 - 2016-07 简历本大学 硕士 2008-09 - 2012-06 简历本科技学院 本科 |
工作经历 |
简历本网络传媒有限公司 国内收益管理员 使用eterm终端和公司自开发的收益管理系统,实时监控网站售票情况,并根据不同的销售季节,对历史销售情况做统计分析及预测,发掘民航市场的周期性规律,制作分航线的销售预案,最终提升收益价值 |
项目经历 |
歌华有线视频网站爬虫系统 Centos6.5、jdk1.8、Apache hadoop2.6、Hive、Hbase、ElasticSearch 项目介绍 项目需求:获取优酷、土豆等视频网站的用户数据 技术选型:java语言网络爬虫、MySql、Hdfs、Hbase、ElasticSearch 项目流程:利用爬虫技术,从土豆、优酷等视频网站上抓取电视剧评分数据(如总播放数、评论数、类型),将网页文本存储至MySql,同时存储至Hdfs文件系统;将爬取的html文本利用MapReduce进行清洗,提取有效字段,并存储到Hbase;从Hbase表格中获取数据,利用ElasticSearch建立电视节目信息的索引,便于客户在网页上实时搜索剧集信息。 我的职责 利用爬虫技术,从优酷、土豆等视频网站爬取数据,存储并查询
广电收视率系统 Centos6.5、jdk1.8、Apache hadoop2.6、Hive、Flume、MySql 项目介绍 数据格式:XML格式的用户收看电视的日志记录 需求:分别按频道、节目这两个维度,提取分天、小时、分钟的三大收视指标(收视率、市场份额、有效收视率) 流程:利用Flume将采集的数据源上传至hdfs文件系统;利用MapReduce计算框架提取有效的字段,并输出良好格式的文本,作为计算收视率指标的基础数据;利用Hive计算,将文本数据转换为收视率指标;利用Sqoop将指标从hdfs导入Mysql 我的职责 清洗日志数据,提取字段,转换成收视率指标,存储 |
个人技能 |
Apache Hadoop、MapReduce、Hive、Hbase、Flume、Zookeeper、ElasticSearch、Yarn、Storm、SparkStreaming java、python、Linux shell |
个人评价 |
性格沉稳,喜欢钻研技术; 渴望创新,时刻追逐新的知识与技术; 勤奋操练,信奉没有比"Always Be Coding"更好的掌握技术的方法; 适合走技术路线; |