PySpark не удается импортировать collect_list, функции нет collect_list ПОЧЕМУ?

Question

1

Я хочу использовать collect_list в:

from pyspark.sql.functions import collect_list

Но пакет функций не имеет collect_list только _collect_list_doc

Gene Guo 28 авг. 2018, в 05:36

Теги:

pyspark

pyspark-sql

1 ответ

Yash Sodha · Answer 1 · 2018-08-28T04-41-00.000Z

Импортируйте функции из sql следующим образом:

from pyspark.sql import functions as F

Затем вы можете использовать F.collect_set ("field_name")

Это не работает, но я узнал, как это сделать - просто нужно использовать collect_list непосредственно в операторе sql, чтобы он вступил в силу без import