+------------------------------------------------------------------+
| message |
+------------------------------------------------------------------+
|{"name":"east-desktop","viewers":447,"emptyCount":0,"version":0.3}|
|{"name":"west-desktop","viewers":111,"emptyCount":0,"version":0.6}|
|{"name":"west-desktop","viewers":115,"emptyCount":0,"version":0.1}|
+------------------------------------------------------------------+
message:string
У меня есть dataframe, который содержит данные json в одном столбце, я хотел бы извлечь данные в отдельные столбцы или как json файл.
Я работаю в ноутбуке Databricks, используя pyspark.
Dataframe
+---------------------------------------------+
| name | viewers| emptyCount | version |
+---------------------------------------------+
|east-desktop | 447 | 0 | 0.3 |
|west-desktop | 111 | 0 | 0.6 |
|west-desktop | 115 | 0 | 0.1 |
+---------------------------------------------+
ИЛИ Json
{
"name": "east-desktop",
"viewers": 447,
"emptyCount": 0,
"version": 0.3,
}
pault был прав, это почти тот же вопрос, но вы можете использовать следующий образец для достижения вывода данных dataframe:
df_new = spark.createDataFrame([
(str({"name":"east-desktop","viewers":447,"emptyCount":0,"version":0.3}))
],StringType())
schema = StructType(
[
StructField('name', StringType(), True),
StructField('viewers', IntegerType(), True),
StructField('emptyCount', IntegerType(), True),
StructField('version', FloatType(), True)
]
)
df_new.withColumn("data", from_json("value",schema)).select("value", col('data.*')).show(truncate=False)
Выход:
+-------------------------------------------------------------------------+------------+-------+----------+-------+
|value |name |viewers|emptyCount|version|
+-------------------------------------------------------------------------+------------+-------+----------+-------+
|{'emptyCount': 0, 'version': 0.3, 'name': 'east-desktop', 'viewers': 447}|east-desktop|447 |0 |0.3 |
+-------------------------------------------------------------------------+------------+-------+----------+-------+