почему объединенный столбец Pyspark превращается в нулевые значения?

1

Я пытаюсь объединить два кадра данных, но значения второго продолжают превращаться в нули:

joint = sdf.join(k, "date", how='left').select(sdf.date, sdf.Res, sdf.Ind, k.gen.cast(IntegerType())).orderBy('date')

вывод: | 1/1/2001 | 4103 | 9223 | null | | 1/1/2001 | 4103 | 9223 | null |

  • 0
    может быть, в k нет соответствующего значения даты, и поэтому оно возвращает ноль. Так как вы используете левое соединение, вы получите нулевое значение из правой таблицы, если в правой таблице нет соответствующего значения.
  • 0
    Сначала я так и думал, но k.show () показывает, что в нем полно данных.
Показать ещё 3 комментария
Теги:
pyspark
left-join

1 ответ

0

Вы уверены, что тип данных даты в двух фреймах данных (sdf и k) имеет одинаковый тип?

Вы можете попробовать df.printSchema() чтобы выяснить вопрос.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню