0
被预约次数
0
被收藏次数
0
被评价次数
熟练运用数仓分层设计，维度建模，标准化建模 2. 熟练运用 Hive 查询工具，了解数据仓库建立，完成对数据主题抽取和多维分析，具有一定的 Hive 调优经验； 3. 熟练运用 SparkSQL 进行数据处理，查询，统计，拥有一定的 Spark 调优经验； 4. 熟练使用 Redis 内存数据库，分布式列式存储数据库 Hbase 及 MySql，Oracle 数据库； 5. 熟练 Linux 基本操作，以及 Shell 脚本编写； 6. 熟悉 Java 编程，MyBatis、Spring、SpringMVC 等后端开源框架； 7. 理解 Spark 工作机制，熟练掌握 Spark 任务的执行流程，熟练使用 SparkCore 算子； 8. 理解 Hadoop 的分布式文件系统 Hdfs，Yarn 资源调度机制，掌握 MapReduce 原理及 Job 提交流程
项目名称：基于大数据构建的零售商品的物品用户画像 软件架构：Hive，Presto，Hadoop，Sqoop，Zookeeper，Oozie，MySql 项目描述：本项目是基于零售商品研发的大数据分析平台，构建统一的 Hive 数仓平台，然后基于业务主题进行划分形成各 项 个主题统计宽表并统计数据。数据来源于业务系统的 MySQL 数据库，通过 sqoop 导入导出数据来实现双向同步，数据存储 到 HDFS 个中，项目分层为 ODS、DW、RPT、DM 以及 OLAP 层，通过 Hive 构建统一数仓平台，并使用 presto 基于数仓 平台进行统计分析，最终基于 vue.js 的 SpringBoot 项目实现大屏统计的数据可视化页面。
项目名称：人员数据中心数据仓库 系统架构：Flume，Sqoop，Hdfs，Spark，Hive，Hbase，Zookeeper，Kafka，mySql 项目描述：针对人员数据进行分析，构建数据仓库，建立人员的基础信息，位置，区域，薪资分布，社会经验，学历等纬度主 题进行数据分析。为全公司各个组织及全国网点人员建立一套完整的用户画像。
项目名称：征信离线数据仓建设 系统架构：Linux、MySQL、Zookeeper、Hive、Sqoop、Yarn 项目描述：该系统是构建金融领域离线数仓，数据建模标准规范建设，维度表和事实表的设计规范建设，数据开发， 数据加 工， 数据应用的对接使用，业务指标的提数自动化 sql 平台构建，对于数据明细层，汇总层，维度层， 数据集市层的建设
可兼职时间
可兼职地点
0条评论 雇主评价