В scala spark можно создать именованный накопитель, который будет отображаться в web ui
val accum = sc.accumulator(0, "My Accumulator")
Однако метод pyspark sc.accumulator()
не имеет аргумента имени. Возможно ли создать именованный накопитель в pyspark, который будет отображаться в Интернете ui?
создание именованного аккумулятора невозможно в pyspark. этот вопрос уже поднят. вы можете отслеживать этот поток https://issues.apache.org/jira/browse/SPARK-2868.