标签：spark

Spark的累加器（Accumulator）

文章浏览阅读55次。摘要：PySpark累加器是用于分布式计算中安全聚合数据的共享变量，支持数值型和集合型内置累加器，也可通过继承AccumulatorV2类实...

2025-07-30阅读(10)

文章浏览阅读237次。yarn任务筛选spark任务，判断内存/CPU使用超过限制任务。

2025-05-20阅读(68)

文章浏览阅读677次，点赞5次，收藏17次。Spark on YARN 是 Apache Spark 的一种部署模式，允许 Spark 应用程序在 Hadoop...

2025-05-15阅读(84)

文章浏览阅读1.1k次，点赞26次，收藏13次。Spark Streaming 用于流式数据的处理Spark Streaming 支持的数据输入源很多，例如：K...

2025-04-24阅读(91)

文章浏览阅读6.6k次，点赞78次，收藏72次。HistoryServer服务可以让用户通过Spark UI界面，查看历史应用（已经执行完的应用）的执行细节，比...

2025-04-18阅读(80)