熟练使用Java,Scala等编程语言,熟悉Linux常用命令,编写shell脚本
熟悉Hadoop的分布式文件系统,掌握MapReduce原理、MR的优化,熟悉YARN工作机制
熟悉定时器、Azkaban等方式实现任务调度
熟悉Hive的工作原理,使用Hive进行离线的海量数据统计分析,掌握HBase 储存机制和存储原理
熟练使用Mysql/Orcale等关系型数据库,Nosql
掌握Flume,Logstash等数据采集工具的原理及使用
熟悉Kafka的工作原理(依赖zookeeper),掌握其使用
熟练使用Sqoop工具,实现关系型数据库和非关系型数据库之间数据的互导
掌握Spark-Streaming , Spark RDD, Spark SQL部分算子使用
熟悉Spark,对流式数据在线处理分析以及对出现的问题进行排查,性能调优
了解ELK的工作流程,组件(Elasticsearch,Logstash,Kibana)
1,熟练搭建windows/linux各类服务,如smb、web、vsftp、dns、dhcp等; 2,熟练搭建LAMP,LNMP平台,以及后期的维护; 3,熟悉linux shell环境,能够编写简单自动化脚本; 4,熟悉Iptables、Cacti、Nagios、等配置; 5,熟悉配置常见的web集群,软件LVS+keepalived等; 6,能够使用amoeba部署mysql主从同步实现读写分离,并掌握基本sql语句。
熟悉主流的Linux和Windows系统;
熟悉shell脚本,Java和C语言编程,熟悉saltstack以及ansible自动化运维;
熟悉mysql数据库的增删改查等基本操作以及主从复制,数据库的备份和恢复;
熟悉当前主流的IBM、HP以及DELL服务器的硬件以及拆装、BIOS以及raid的配置;
Illustrator
SQL Server
MS Powerpoint
MS Excel
Corel Draw
Photoshop
MS WORD
Oracle