Названный аккумулятор в писпарке

1

В scala spark можно создать именованный накопитель, который будет отображаться в web ui

val accum = sc.accumulator(0, "My Accumulator")

Однако метод pyspark sc.accumulator() не имеет аргумента имени. Возможно ли создать именованный накопитель в pyspark, который будет отображаться в Интернете ui?

Теги:
apache-spark
pyspark

1 ответ

0

создание именованного аккумулятора невозможно в pyspark. этот вопрос уже поднят. вы можете отслеживать этот поток https://issues.apache.org/jira/browse/SPARK-2868.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню