Почему установка мультииндексного фрейма данных с серией дает столбец NaN?

1

Следующий код иллюстрирует мой вопрос:

In [2]: idx = pd.date_range('1/1/2011', periods=5)

In [3]: idx
Out[3]:
DatetimeIndex(['2011-01-01', '2011-01-02', '2011-01-03', '2011-01-04', '2011-01-05'],
    dtype='datetime64[ns]', freq='D')

In [4]: midx = pd.MultiIndex.from_product([['100', '200'], idx])

In [5]: midx
Out[5]: MultiIndex(levels=[['100', '200'],
    [2011-01-01 00:00:00, 2011-01-02 00:00:00, 2011-01-03 00:00:00, 2011-01-04 00:00:00, 2011-01-05 00:00:00]], 
    labels=[[0, 0, 0, 0, 0, 1, 1, 1, 1, 1], [0, 1, 2, 3, 4, 0, 1, 2, 3, 4]])

In [6]: test_data = pd.DataFrame(
            2*[[1, 2], [NaN, 3], [4, NaN], [5, 6], [7, 8]],
            index=midx, columns=['quant1', 'quant2']
        )

In [7]: test_data
Out[7]: 
                quant1  quant2
100 2011-01-01     1.0     2.0
    2011-01-02     NaN     3.0
    2011-01-03     4.0     NaN
    2011-01-04     5.0     6.0
    2011-01-05     7.0     8.0
200 2011-01-01     1.0     2.0
    2011-01-02     NaN     3.0
    2011-01-03     4.0     NaN
    2011-01-04     5.0     6.0
    2011-01-05     7.0     8.0

In [8]: new_data = pd.DataFrame([11, 12, 13, 14, 15], index=idx, columns=['quant1'])

In [9]: new_data
Out[9]: 
            quant1
2011-01-01      11
2011-01-02      12
2011-01-03      13
2011-01-04      14
2011-01-05      15

In [10]: test_data.loc['100', 'quant1'] = new_data

In [11]: test_data
Out[11]: 
                quant1  quant2
100 2011-01-01     NaN     2.0
    2011-01-02     NaN     3.0
    2011-01-03     NaN     NaN
    2011-01-04     NaN     6.0
    2011-01-05     NaN     8.0
200 2011-01-01     1.0     2.0
    2011-01-02     NaN     3.0
    2011-01-03     4.0     NaN
    2011-01-04     5.0     6.0
    2011-01-05     7.0     8.0

Почему сегмент данных ['100', 'quant1'] заполнен NaN вместо чисел из new_data?

Я обнаружил, что использование

test_data.loc['100', 'quant1'] = new_data.values

действительно работает, но я хотел бы понять, что делает Pandas делать это. Суб-срез имеет те же размеры и даже тот же Индекс, что и новые данные, поэтому, хотя я подозреваю, что это связано с индексированием/выравниванием, я действительно не понимаю, как и почему, мое ожидание было бы таким, что если вы используете тот же самый индекс, что и то, что вы назначаете, это будет работать нормально.

Теги:
pandas

1 ответ

1
Лучший ответ

Поскольку Pandas выравнивает индексы принимающего блока данных и ряд, предоставляющий новые данные. Когда это произойдет, он не сможет найти соответствующий индекс, который он ищет.

test_data.loc['100', 'quant2'] имеет индексную запись ('100', '2011-01-01') а new_data имеет запись '2011-01-01'. Это не одно и то же.

Работа около 1

Используйте атрибут values и пропустите Pandas, пытаясь выровнять

test_data.loc['100', 'quant1'] = new_data.values

test_data

                quant1  quant2
100 2011-01-01    11.0     2.0
    2011-01-02    12.0     3.0
    2011-01-03    13.0     NaN
    2011-01-04    14.0     6.0
    2011-01-05    15.0     8.0
200 2011-01-01     1.0     2.0
    2011-01-02     NaN     3.0
    2011-01-03     4.0     NaN
    2011-01-04     5.0     6.0
    2011-01-05     7.0     8.0

Работа около 2

Используйте pd.concat для добавления уровня индекса

test_data.loc['100', 'quant1'] = pd.concat({'100': new_data})

test_data

                quant1  quant2
100 2011-01-01    11.0     2.0
    2011-01-02    12.0     3.0
    2011-01-03    13.0     NaN
    2011-01-04    14.0     6.0
    2011-01-05    15.0     8.0
200 2011-01-01     1.0     2.0
    2011-01-02     NaN     3.0
    2011-01-03     4.0     NaN
    2011-01-04     5.0     6.0
    2011-01-05     7.0     8.0

Ещё вопросы

Сообщество Overcoder
Наверх
Меню