Поток данных не показывает количество выходных данных для потокового конвейера?

Question

Поток данных не показывает количество выходных данных для потокового конвейера?

1

У меня есть потоковый конвейер, который читает из Pubsub. Я использую Apache Beam Python SDK 2.10.

Мой конвейер содержит разные этапы. Я могу видеть количество входных и выходных данных на первом этапе, пока мы читаем из pubsub, используя ReadFromPubsub. Однако на втором этапе отображается только количество входных сборов, количество выходных сборов пустое.

На последнем этапе я пишу в BigQuery.

Deepak Verma 06 март 2019, в 13:56

Источник

Теги:

python

google-cloud-dataflow

apache-beam

1 ответ

Ещё вопросы

Pablo · Answer 1 · 2019-03-06T21-37-00.000Z

Поддержка потоковых конвейеров с помощью Apache Beam Python SDK в облачном потоке данных Google находится в бета-версии.

Некоторые функции поддерживаются не полностью, и это относится к некоторым показателям мониторинга. Они будут постепенно добавляться по мере улучшения поддержки.

Счетчики недоступны, но вы можете добавить свой собственный, используя счетчик метрик, например так:

from apache_beam.metrics import Metrics

def debug(msg):
  Metrics.counter('elementCounts', 'filePaths').inc()
  # The rest of your code....

Это помогает?

Я пробовал это решение, но, похоже, не помогает. Подсчеты все еще не отображаются на этом шаге. Я ожидаю, что счетчики будут отображаться в информационной панели потока данных. Будет ли это решение показывать счетчик в пользовательском интерфейсе панели данных потока данных?