Мне нужно отредактировать текстовый файл с непостоянной структурой. Попытка использовать панд, это лучший инструмент для работы?

Вы можете сделать это с чистым Python. В этом примере я сначала разбираю строку (можно читать из файла) в структуры Python, делаю желаемую операцию (добавляю один заголовок, добавляем столбец в строку на основе первого элемента в этой строке) и записываем значения обратно:

data = """
title1
title2
title3
title4
title5
var1 var2 var3 var4 var5
var1.1 var2.1 var3.1 var4.1 var5.1
"""

import re


# parse string to Python structures:
titles = re.findall(r'^(\w+)$', data, flags=re.M)
rows = []
for row in re.finditer(r'^.*? .*?$', data, flags=re.M):
    rows.append([])
    for values in re.finditer(r'[\w\.]+', row[0]):
        rows[-1].append(values[0])

# add title:
titles.append('NEWTITLE')

# add value to all rows (some example operation with column 0):
for row in rows:
    row.append('NEW' + row[0])

# print values back to old form:
for title in titles:
    print(title)
for row in rows:
    print(' '.join(row))

Выходы:

title1
title2
title3
title4
title5
NEWTITLE
var1 var2 var3 var4 var5 NEWvar1
var1.1 var2.1 var3.1 var4.1 var5.1 NEWvar1.1