姓名：简小历
年龄：23岁
电话：155****6142
邮箱：676835****@qq.com
经验：1年
意向：大数据开发工程师
时间：2011-09 - 2015-07
学校：简历本信息大学 | 专业：计算机科学与技术 | 学历：本科
工作时间：2015-07 - 2016-02
公司名称：简历本招聘咨询有限公司 | 所在部门： | 所在岗位：风险控制
工作描述：
根据有关标的客户的信息数据，适用相应的模型对其进行风险识别并分级。同时根据技术的发展及相关监管部门政策的调整而研发相适应的风险识别模型，同时就新的模型与技术部沟通、推进、实现，与运营部沟通、协调并推向市场，与设计部协调、调整、重新设计网页、APP界面。
工作时间：2015-09 - 至今
公司名称：简历本人才咨询有限公司 | 所在部门：数据部 | 所在岗位：大数据开发工程师
工作描述：
1参与公司大数据平台的搭建与配置。
2.根据业务需求对移动设备数据和社交数据进行多维度分析，得出用户行为与游戏运营的各项指标。
3.将分析处理后的数据落地到RDBMS中，接入业务使用，为公司产品部门和高层决策在广告领域的创新应用、商业效果改进等提供数据服务支持。
4.使用SparkSQL高效分析处理用户行为数据。
5.平台的日常维护与优化。
项目时间：2016-01 - 至今
项目名称：移动互联网内容规则库自优化系统
项目描述：
项目介绍
基于企业数据中心用户上网日志数据，通过URL过滤、规则库匹配、爬虫爬取、内容复原，文本数据挖掘等方法，实现内容分析配置管理可视化以及内容规则库的自优化等功能，利用爬虫技术并融合DPI复原技术，以及标签规则库的流程管理，对客户的手机上网行为、访问内容、访问应用进行深入识别，精细化支撑客户数据、业务数据的分析需求，并结合数据整合和数据建模、数据挖掘、数据清洗等手段，建设基于细分行业的大数据及用户深入洞察分析能力。
本项目包括：
1.URLCLASSIFIER URL分类模块，输入是采样的DPI URL ,使用用应用规则，栏目规则，搜索规 则，元数据规则，噪音规则，元数据等规则库，清洗为样本数据，供规则分析人员使用。
2.URLGENERATOR 爬虫URL 生成模块，可输入全量的DPI URL，使用用应用规则，元数据规则，噪音规则，元数据等规则库, 自动生成爬虫URL, 供爬虫使用。
3.URLFOCUS 重点应用的URL 提取模块，可输入全量的DPI URL，使用应用规则，栏目规则，搜索规则，元数据规则，噪音规则等规则库，清洗为重点应用的数据，供规则分析人员使用
4.SPIDER 读取爬虫URL，爬去相关页面，生成相关 URL索引文件和对应的页面文件，提供给PP使用。
5.PPPage Parser的简写，读取SPIDER或PR的ＵＲＬ索引文件和页面内容文件，使用页面规则库，生成内容元数据，导入相应的APP的元数据库。
6. CRMANAGER 内容规则库管理系统的用户操作可视化界面。
我的职责
本人在项目中参与系统架构和数据库表结构的设计，主要负责的模块：网页内容分析模块（PP）和爬虫复原URL生成模块（URLGenerator）。
网页内容分析模块（PP）:网页内容分析，通过对网页内容提取规则，将提取的内容与内容元数据对应，建立内容元数据规则库。可以支持对网页/APP应用更新状态进行判断、对网页/APP应用编码进行识别 、对网页/APP应用标题进行获取、对网页/APP应用内容的获取 。
爬虫复原URL生成模块（URLGenerator）：基于应用（APP）栏目动作规则库，内容规则库，内容元数据规则库和噪音库，从全量输入的DPI XDR中提取并基于规则生成供爬虫爬取的URL。
项目时间：2008-09 - 至今
项目名称：定点医疗系统后台数据处理
项目描述：
项目介绍
该项目为参加医疗保险人员的住院收费系统，包括门诊，药店的管理，住院的管理，报表，信息维护，统计查询，权限维护
我的职责
前期研发人员负责详细设计，代码实现，住院报销结算和药店结算核心算法的编程,使用plsql对Oracle存储过程编写，医疗系统数据转换与迁移，负责对数据库表的维护及sql优化
本人热爱编程，并对从事计算机IT行业的工作拥有浓厚的兴趣
具有良好的团队合作能力，能有效的与队友沟通
具有强烈的责任心
本人接受适应的能力和自学的能力较强，能尽快的熟悉工作环境克服困难
本人性格外向随和，能接受一定强度的加班和出差
了解数据建模相关知识
熟悉Flume、Logstash数据采集工具的原理，熟悉Elasticsearch
熟悉消息系统Kafka工作机制，能独立完成Kafka集群部署
熟练使用Sqoop进行关系型数据库与Hdfs/Hive/Hbase之间进行数据导入导出；了解Azkaban任务调度系统
熟练使用Spark RDD/ Spark SQL/Spark-Streaming算子，熟悉Spark架构及框架原理，熟悉Spark中的一些优化
掌握Hbase数据库工作机制，能独立完成Hbase集群环境搭建
熟练使用Hive进行数据的查询分析处理及ETL相关操作，了解Hive优化
熟悉HDFS文件存储系统、Map/Reduce离线计算模型、YARN资源管理的工作机制以及Hadoop生态体系相关技术
熟练Scala、Java编程语言、Shell脚本
