Union Row внутри строки данных PySpark Row

Question

Union Row внутри строки данных PySpark Row

1

Я хочу преобразовать свой Dataframe, который имеет строки внутри строк, в уникальную строку, например:

Мой информационный кадр:

[Row(Autorzc=u'S', Cd=u'00000012793', ClassCli=u'A' Op=Row(CEP=u'04661904', CaracEspecial='S', Venc=Row(v110=u'1', v120=u'2'))),
Row(Autorzc=u'S', Cd=u'00000012794', ClassCli=u'A' Op=Row(CEP=u'04661904', CaracEspecial='S', Venc=Row(v110=u'1', v120=u'2')))]

и я хочу преобразовать это:

[Row(Autorzc=u'S', Cd=u'00000012793', ClassCli=u'A', CEP=u'04661904', CaracEspecial='S', v110=u'1', v120=u'2'),
Row(Autorzc=u'S', Cd=u'00000012794', ClassCli=u'A', CEP=u'04661904', CaracEspecial='S', v110=u'1', v120=u'2')]

Любое предложение?

Vinicius Morais 06 дек. 2018, в 16:06

Источник

Теги:

python

dataframe

apache-spark

row

1 ответ

Ещё вопросы

user238607 · Answer 1 · 2018-12-07T11-15-00.000Z

Вы можете выполнить операцию простого выбора, и ваши столбцы будут переименованы соответствующим образом.

final = initial.select("Autorzc","Cd" , "ClassCli", "Op.CEP"
       "Op.CaracEspecial","Op.Venc.v110","Op.Venc.v120")

print(final.first())