头歌:Spark任务提交

第1关:spark-submit提交任务描述相关知识spark-submit参数计算圆周率编程要求测试说明任务描述本关任务:学会将程序提交到集群上执行。 相关知识为了完成本关任务,你需要掌握:1.了解spark-s...

Kafka 负载均衡挑战及解决思路

本文转载自 Agoda Engineering,介绍了在实际应用中,如何应对 Kafka 负载均衡所遇到的各种挑战,并提出相应的解决思路。本文简要阐述了 Kafka 的并行性机制、常用的分区策略以及在实际操作中遇到的...

热文hadoop格式化失败-拒绝连接

hadoop格式化失败-拒绝连接 1.项目场景 搭建hadoop高可用集群 包含两个namenode,该集群结合zookeeper自动故障转移功能 2.问题描述 当我们安装,配置Hadoop之后,启动zoo...

Flink CDC详解

文章目录 Flink CDC一 CDC简介1.1 CDC定义1.2 CDC应用场景1.3 CDC实现机制1.4 开源CDC工具对比 二 Flink CDC简介2.1 Flink CDC介绍2.2 Fli...

热文Hive超详细安装

一、Hive相关知识     Hive是基于Hadoop的数据仓库工具,可以用来对HDFS中存储的数据进行查询和分析。Hive能够将HDFS上结构化的数据文件映射为数据库表,并提供SQL查询功能,将SQL语句转变成...

热文Python 可视化:绘制精美表格

Python 可视化:绘制精美表格 「—使用plottable库绘制精美表格」 1.内容概要 Matplotlib 作为 python 数据可视化的强力第三方库,可以创作各式各样的数据可视化图表,其中 matp...