pandas, найди и сохрани последовательные строки - создай панель данных

Question

pandas, найди и сохрани последовательные строки - создай панель данных

1

У меня есть DataFrame, как показано ниже:

df = {'time': [1999,2001,2002,2003,2007,1999,2000,2001,2003,2004],
      'id':['A','A','A','A','A','B','B','B','B','B'],
      'value':[0.1,0.1,0.1,0.1,0.6,0.2,0.2,0.2,0.2,0.2]}
df = pd.DataFrame(df)

Я хочу создать набор данных панели на уровне id-time от него, а это значит, что я хочу что-то вроде:

time id  value
0  2001  A    0.1
1  2002  A    0.1
2  2003  A    0.6
3  1999  B    0.2
4  2000  B    0.2
5  2001  B    0.2

Остались только последовательные строки каждого id, я могу закончить это только несколькими строками в R,

df<-df %>% 
    mutate(time = as.integer(time)) %>% 
    group_by(gvkey, grp = cumsum(c(1, diff(time) != 1))) %>% 
    filter(n() >= consec_obs)
df<-df[,setdiff(colnames(df),c('grp'))]

в которой consec_obs - это минимум последовательных строк, которые нужно сохранить.

Я искал какое-то время, но не смог найти решение, которое немного удивило меня, поскольку это своего рода базовый анализ эконометрического анализа, кто-нибудь знает, как это сделать с Python?

Jason Goal 14 окт. 2018, в 23:02

Источник

Теги:

python

pandas-groupby

panel-data

2 ответа

Ещё вопросы

Jason Goal · Answer 1 · 2018-10-15T00-16-00.000Z

Подражая R-решению, я придумываю версию Python в воскресенье вечером, вот он:

# lag where two rows within each group are not conesecutive
df['diff'] = df.groupby('id')['time'].diff()!=1
# cumulative summation
df['cusm'] = df.groupby('id')['diff'].cumsum()
# group by 'id' and 'cusm', then select those rows which satisfy prespecified condition
df.loc[df.groupby(['id','cusm']).transform('count')['diff'] >=3].drop(['diff','cusm'],axis=1)

Если это кажется трудным для понимания, попробуйте код на одной линии, вы доберетесь туда.

Можно ли объединить первые две строки как одну?

Pawan Dixit · Answer 2 · 2018-10-15T03-36-00.000Z

Я надеюсь, что это поможет вам. Я попытаюсь объяснить каждую строку, когда я продвигаюсь вперед.

Импортируйте эти 2 пакета.

from itertools import groupby
import numpy as np

Ваш dataframe выглядит примерно так:

>>>df = {'time': [1999,2001,2002,2003,2007,1999,2000,2001,2003,2004],
  'id':['A','A','A','A','A','B','B','B','B','B'],
  'value':[0.1,0.1,0.1,0.1,0.6,0.2,0.2,0.2,0.2,0.2]}

>>>df = pd.DataFrame(df)
>>>df

    id  time    value
0   A   1999    0.1
1   A   2001    0.1
2   A   2002    0.1
3   A   2003    0.1
4   A   2007    0.6
5   B   1999    0.2
6   B   2000    0.2
7   B   2001    0.2
8   B   2003    0.2
9   B   2004    0.2

Первый шаг: найдите уникальные идентификаторы. Вот как вы это делаете:

>>>unique = np.unique(df.id.values).tolist()
>>>unique
['A', 'B']

Второй шаг. Для каждого идентификатора создайте список списков (я назвал его Группой). Каждый список внутри внешнего списка содержит последовательные номера. Чтобы дать ясность, я возьму отпечаток группы. Он объединяет список последовательных номеров.

Третий шаг: после группировки Создайте фрейм данных только для тех значений, где длина группировки больше 2. (я предполагаю 2, потому что вы не рассматривали B: 2003 и B: 2004 как последовательную последовательность.)

Вот как это работает:

# Create an Empty dataframe. This is where you will keep appending peices of dataframes
df2 = pd.DataFrame()
# Now you would want to iterate over your unique IDs ie. 'A', 'B'.
for i in unique:
#Create an empty list called Group. Here you will append lists that contain consecutive numbers.
    groups = []
    #Create a data frame where ID is equal to current iterating ID
    df1 = df.loc[df['id'] == i]
    #The next 2 for loops (nested) will return group (a list of lists)
    for key, group in groupby(enumerate(df1.time.values), lambda ix : ix[0] - ix[1]):
        list1 = []
        for j in list(group):
            list1.append(j[1])
        groups.append(list1)
    # See how your group for current ID looks
    print(groups)
    # Iterate within the created group. See if group length is > 2. If yes, append to df2 (the empty data frame that you created earlier)
    for j in groups:
        if len(j) > 1:
            # you are concatenating 2 frames in the below code.
            df2 = pd.concat([df2,df.loc[(df['time'].isin(j)) & (df['id'] == i)]])

Вуаля

>>>> df2
    id  time    value
1   A   2001    0.1
2   A   2002    0.1
3   A   2003    0.1
5   B   1999    0.2
6   B   2000    0.2
7   B   2001    0.2