Разделительная строка, если найден разделитель

Question

Разделительная строка, если найден разделитель

1

Рассмотрим следующий фрейм данных,

cols = ['Id', 'col1', 'col2', 'col3']
vals = [('1A','Not his side|:|This side', 'This side', 'Not this either|:|but this'),  
        ('1B','Keep this', 'This one|:|keep this', 'remove|:|keep that')]

dd1 = sqlContext.createDataFrame(vals, cols)

#+---+------------------------+--------------------+--------------------------+
#|Id |col1                    |col2                |col3                      |
#+---+------------------------+--------------------+--------------------------+
#|1A |Not his side|:|This side|This side           |Not this either|:|but this|
#|1B |Keep this               |This one|:|keep this|remove|:|keep that        |
#+---+------------------------+--------------------+--------------------------+

Мне нужно разбить строки на |:| и сохраните второе слово. Однако, если строка не содержит разделителя (|:|), тогда я получаю null, то есть:

users1 = [F.split(F.col(x), "\\|:\\|").alias(x) for x in cols]
dd1.select(*users1).show()

#+---------+---------+---------+
#|     col1|     col2|     col3|
#+---------+---------+---------+
#|This side|     null| but this|
#|     null|keep this|keep that|
#+---------+---------+---------+

Результат, который я ищу, это:

+---+---------+---------+---------+
|Id |col1     |col2     |col3     |
+---+---------+---------+---------+
|1A |This side|This side|but this |
|1B |Keep this|keep this|keep that|
+---+---------+---------+---------+

Sotos 20 июнь 2018, в 09:21

Источник

Теги:

python

apache-spark

apache-spark-sql

pyspark

3 ответа

1

Вы можете использовать, when и size встроенных функций, как

users1 = [F.when(F.size(F.split(F.col(x), "\\|:\\|")) > 1, F.split(F.col(x), "\\|:\\|")[1]).otherwise(F.col(x)).alias(x) for x in cols]
dd1.select(*users1).show()

которые должны дать вам

+---+---------+---------+---------+
| Id|     col1|     col2|     col3|
+---+---------+---------+---------+
| 1A|This side|This side| but this|
| 1B|Keep this|keep this|keep that|
+---+---------+---------+---------+

Вы можете изменить ответ, чтобы использовать функцию split только один раз.

Я надеюсь, что ответ будет полезен и должен быть хорошим советом о том, как действовать.

Ramesh Maharjan 20 июнь 2018, в 05:09

0

Это концепция, к которой я стремился, но чего-то не хватало, и я никак не мог туда добраться. Спасибо @Ramesh
Sotos 20 июнь 2018, в 07:02
0

Это не дает мне Id . Где вы выбираете это?
Sotos 20 июнь 2018, в 07:18
1

Идентификатор присутствует в вашем cols = ['Id', 'col1', 'col2', 'col3'] поэтому он должен просто появиться в функции user1
Ramesh Maharjan 20 июнь 2018, в 07:24
0

А, ну ладно. Понимаю. Разве это не усложнит операцию? Учитывая, что в моем реальном наборе у меня будет 3 столбца в стиле Id которые я бы хотел сохранить
Sotos 20 июнь 2018, в 07:28
0

Вы можете просто исключить его из столбцов и затем использовать столбцы идентификатора в select для этого случая.
Ramesh Maharjan 20 июнь 2018, в 07:35

Показать ещё 3 комментария

1

Выбор, который вы определили в своих вопросах, не дает результата, о котором вы говорили. Я думаю, вы забыли выбрать элемент из массива;)

users1 = [F.split(F.col(x), "\\|:\\|").alias(x) for x in cols]
dd1.select(*users1).show()
+----+--------------------+--------------------+--------------------+
|  Id|                col1|                col2|                col3|
+----+--------------------+--------------------+--------------------+
|[1A]|[Not his side, Th...|         [This side]|[Not this either,...|
|[1B]|         [Keep this]|[This one, keep t...| [remove, keep that]|
+----+--------------------+--------------------+--------------------+

Чтобы добиться того, чего вы хотите, вам просто нужно выбрать последний элемент массива. Вы можете использовать функцию размера для этого:

users2 = [F.col(x).getItem(F.size(F.col(x))-1).alias(x) for x in cols]
dd1.select(*users1).select(*users2).show()
+---+---------+---------+---------+
| Id|     col1|     col2|     col3|
+---+---------+---------+---------+
| 1A|This side|This side| but this|
| 1B|Keep this|keep this|keep that|
+---+---------+---------+---------+

Oli 20 июнь 2018, в 05:03

Ещё вопросы

Это концепция, к которой я стремился, но чего-то не хватало, и я никак не мог туда добраться. Спасибо @Ramesh
Это не дает мне Id . Где вы выбираете это?
Идентификатор присутствует в вашем cols = ['Id', 'col1', 'col2', 'col3'] поэтому он должен просто появиться в функции user1
А, ну ладно. Понимаю. Разве это не усложнит операцию? Учитывая, что в моем реальном наборе у меня будет 3 столбца в стиле Id которые я бы хотел сохранить
Вы можете просто исключить его из столбцов и затем использовать столбцы идентификатора в select для этого случая.

Shaido · Accepted Answer · 2018-06-20T05-16-00.000Z

Используйте, when и в otherwise и проверьте, содержит ли строка "|:|" , Это можно сделать следующим образом:

cols = ['col1', 'col2', 'col3']

users1 = [F.when(F.col(x).contains("|:|"), F.split(F.col(x), "\\|:\\|")[1]).otherwise(F.col(x)).alias(x) for x in cols]
dd1.select(F.col('Id'), *users1)

Здесь cols включают только столбцы, которые вы хотите разделить. Окончательный select будет включать столбец Id.

Спасибо. Это будет хорошо. Очень читабельно тоже.
@ Сотош: Нет проблем, рад помочь. Я видел, как вы просили столбец Id, вы можете увидеть выше в ответе, как выбрать его с остальными.
Таким образом, для нескольких столбцов это будет что-то вроде df.select(F.col('cdatetime'), F.col('username'), F.col('eventid'), *users1) ?
@ Сотос: Да, вы можете сделать это. Или вы можете включить их в переменную cols , в этом случае будут некоторые дополнительные вычисления, но код может выглядеть чище. Если у вас есть несколько столбцов для хранения, вы можете создать новый список с ними и распаковать его так же, как users1 .