-
滴普科技
-
大数据架构师
-
3年
擅长技能
◆ 熟练使用flume对各种数据采集和二次开发。能够自定义agent和拦截器满足对特定数据的采集优化。
◆ 熟练掌握Spark分布式运算引擎。理解spark的运行机制和提交流程。熟练使用 SparkCore, SparkSql 做离线分析处理。熟悉Spark的调优。
◆ 熟练使用SparkStreaming进行实时计算分析,熟悉sparkStreamg与kafka,SparkSql的集成。
◆ 熟悉Hive和HQL的使用,窗口函数,动态分区,分桶,严格模式。有一定的Hive调优经验。
◆ 深刻理解MapReduce的运行流程,和数据倾斜的解决方案。
◆ 熟悉Hdfs的读写原理,checkpoint工作原理
◆ 熟悉RDBMS如Mysql和NoSQL如redis,ES,mongoDB等。
◆ 熟练使用Linux操作系统及常用命令,shell编程。
◆ 了解Molap分析kylin,交互式查询presto,impala,olap 分析引擎hbase等
◆ 了解Hbase的工作原理及数据存储结构,RowKey设计原则,有一定的Hbase调优。
◆ 熟悉Java,了解Scala和python.
◆ 熟悉zookeeper的核心工作原理,选举机制和故障转移机制,CAP理论。
◆ 熟悉ElasticSearch,对ELK栈有一定的了解,对ElasticSearch的调优有一定的了解。
◆ 熟悉Flink的DataStream API与DataSet API的使用,Flink on yarn的任务运行流程,了解CheckPoint与SavePoint的容错机制,waterMark的延迟触发机制。
◆ 了解Spring,SpringBoot,SpringMvc,mybatis的框架原理及使用。