Извлечение сжатых файлов

1

Следующий код позволяет мне извлекать файлы .tgz. Однако он прекращает извлечение после двух уровней вниз; есть другие вложенные папки, в которых есть .tgz файлы, которые необходимо извлечь. Кроме того, когда я извлекаю файл, мне нужно вручную переместить его на другой путь или он будет перезаписан другими .tgz файлами, которые я извлекаю в это место (все .tgz, которые я использую, имеют одинаковые имена файловой структуры/папки после извлечения). Любая помощь приветствуется. Спасибо!

import os, sys, tarfile

def extract(tar_url, extract_path='.'):
    print tar_url
    tar = tarfile.open(tar_url, 'r')
    for item in tar:
        tar.extract(item, extract_path)
        if item.name.find(".tgz") != -1 or item.name.find(".tar") != -1:
            extract(item.name, "./" + item.name[:item.name.rfind('/')])
try:

    extract(sys.argv[1] + '.tgz')
    print 'Done.'
except:
    name = os.path.basename(sys.argv[0])
    print name[:name.rfind('.')], '<filename>'
  • 4
    Первое, что приходит на ум, это то, что вы вызываете extract () рекурсивно, не закрывая открываемые вами tar-файлы, поэтому вы можете открывать слишком много файлов. Я переписал бы, используя список в качестве стека, в который вы помещаете найденные tar-файлы и закрываете каждый tar-файл, прежде чем извлекать следующий из стека и обрабатывать его.
  • 0
    Во-вторых, вы передаете неверный extract_path . Используйте os.path.join(extract_path, item.name....) .
Показать ещё 1 комментарий
Теги:
compression
tar

1 ответ

3
Лучший ответ

Если я неверно неверно истолковал ваш вопрос, то вот что вы хотите сделать -

  • Извлечь файл .tgz, который может иметь в него больше файлов .tgz, которые нуждаются в дальнейшем извлечение (и т.д..)
  • При извлечении вы должны быть осторожны, чтобы не заменять уже существующий каталог в папке.

Если я правильно интерпретировал вашу проблему, то... Вот что делает мой код -

  • Извлекает каждый .tgz файл (рекурсивно) в отдельную папку с тем же именем, что и файл .tgz(без расширения) в том же каталоге.
  • При извлечении он гарантирует, что он не перезаписывает и не заменяет уже существующие файлы/папку.

Итак, если это структура каталогов файла .tgz -

parent/
    xyz.tgz/
        a
        b
        c
        d.tgz/
            x
            y
            z
        a.tgz/                  # note if I extract this directly, it will replace/overwrite contents of the folder 'a'
            m
            n
            o
            p

После извлечения структура каталогов будет -

parent/
    xyz.tgz
    xyz/
        a
        b
        c
        d/
            x
            y
            z
        a 1/                  # it extracts 'a.tgz' to the folder 'a 1' as folder 'a' already exists in the same folder.
            m
            n
            o
            p

Хотя в моем коде ниже представлено большое количество документации, я просто расскажу о структуре моей программы. Вот функции, которые я определил -

FileExtension --> returns the extension of a file
AppropriateFolderName --> helps in preventing overwriting/replacing of already existing folders (how? you will see it in the program)
Extract --> extracts a .tgz file (safely)
WalkTreeAndExtract - walks down a directory (passed as parameter) and extracts all .tgz files(recursively) on the way down.

Я не могу предложить изменения в том, что вы сделали, так как мой подход немного отличается. Я использовал метод extractall модуля tarfile вместо сложного метода extract, как вы это сделали. (Просто взгляните на это - http://docs.python.org/library/tarfile.html#tarfile.TarFile.extractall и прочитайте предупреждение, связанное с использованием метода extractall. Я не думаю, что мы будем иметь любая такая проблема в целом, но просто помните об этом.)

Итак, вот код, который работал у меня -
(Я попробовал его для файлов .tar, вложенных в 5 уровней (т.е. .tar внутри .tar внутри .tar... 5 раз), но он должен работать для любой глубины *, а также для файлов .tgz.)

# extracting_nested_tars.py

import os
import re
import tarfile

file_extensions = ('tar', 'tgz')
# Edit this according to the archive types you want to extract. Keep in
# mind that these should be extractable by the tarfile module.

def FileExtension(file_name):
    """Return the file extension of file

    'file' should be a string. It can be either the full path of
    the file or just its name (or any string as long it contains
    the file extension.)

    Examples:
    input (file) -->  'abc.tar'
    return value -->  'tar'

    """
    match = re.compile(r"^.*[.](?P<ext>\w+)$",
      re.VERBOSE|re.IGNORECASE).match(file_name)

    if match:           # if match != None:
        ext = match.group('ext')
        return ext
    else:
        return ''       # there is no file extension to file_name

def AppropriateFolderName(folder_name, parent_fullpath):
    """Return a folder name such that it can be safely created in
    parent_fullpath without replacing any existing folder in it.

    Check if a folder named folder_name exists in parent_fullpath. If no,
    return folder_name (without changing, because it can be safely created 
    without replacing any already existing folder). If yes, append an
    appropriate number to the folder_name such that this new folder_name
    can be safely created in the folder parent_fullpath.

    Examples:
    folder_name = 'untitled folder'
    return value = 'untitled folder' (if no such folder already exists
                                      in parent_fullpath.)

    folder_name = 'untitled folder'
    return value = 'untitled folder 1' (if a folder named 'untitled folder'
                                        already exists but no folder named
                                        'untitled folder 1' exists in
                                        parent_fullpath.)

    folder_name = 'untitled folder'
    return value = 'untitled folder 2' (if folders named 'untitled folder'
                                        and 'untitled folder 1' both
                                        already exist but no folder named
                                        'untitled folder 2' exists in
                                        parent_fullpath.)

    """
    if os.path.exists(os.path.join(parent_fullpath,folder_name)):
        match = re.compile(r'^(?P<name>.*)[ ](?P<num>\d+)$').match(folder_name)
        if match:                           # if match != None:
            name = match.group('name')
            number = match.group('num')
            new_folder_name = '%s %d' %(name, int(number)+1)
            return AppropriateFolderName(new_folder_name,
                                         parent_fullpath)
            # Recursively call itself so that it can be check whether a
            # folder named new_folder_name already exists in parent_fullpath
            # or not.
        else:
            new_folder_name = '%s 1' %folder_name
            return AppropriateFolderName(new_folder_name, parent_fullpath)
            # Recursively call itself so that it can be check whether a
            # folder named new_folder_name already exists in parent_fullpath
            # or not.
    else:
        return folder_name

def Extract(tarfile_fullpath, delete_tar_file=True):
    """Extract the tarfile_fullpath to an appropriate* folder of the same
    name as the tar file (without an extension) and return the path
    of this folder.

    If delete_tar_file is True, it will delete the tar file after
    its extraction; if False, it won`t. Default value is True as you
    would normally want to delete the (nested) tar files after
    extraction. Pass a False, if you don`t want to delete the
    tar file (after its extraction) you are passing.

    """
    tarfile_name = os.path.basename(tarfile_fullpath)
    parent_dir = os.path.dirname(tarfile_fullpath)

    extract_folder_name = AppropriateFolderName(tarfile_name[:\
    -1*len(FileExtension(tarfile_name))-1], parent_dir)
    # (the slicing is to remove the extension (.tar) from the file name.)
    # Get a folder name (from the function AppropriateFolderName)
    # in which the contents of the tar file can be extracted,
    # so that it doesn't replace an already existing folder.
    extract_folder_fullpath = os.path.join(parent_dir,
    extract_folder_name)
    # The full path to this new folder.

    try:
        tar = tarfile.open(tarfile_fullpath)
        tar.extractall(extract_folder_fullpath)
        tar.close()
        if delete_tar_file:
            os.remove(tarfile_fullpath)
        return extract_folder_name
    except Exception as e:
        # Exceptions can occur while opening a damaged tar file.
        print 'Error occured while extracting %s\n'\
        'Reason: %s' %(tarfile_fullpath, e)
        return

def WalkTreeAndExtract(parent_dir):
    """Recursively descend the directory tree rooted at parent_dir
    and extract each tar file on the way down (recursively).
    """
    try:
        dir_contents = os.listdir(parent_dir)
    except OSError as e:
        # Exception can occur if trying to open some folder whose
        # permissions this program does not have.
        print 'Error occured. Could not open folder %s\n'\
        'Reason: %s' %(parent_dir, e)
        return

    for content in dir_contents:
        content_fullpath = os.path.join(parent_dir, content)
        if os.path.isdir(content_fullpath):
            # If content is a folder, walk it down completely.
            WalkTreeAndExtract(content_fullpath)
        elif os.path.isfile(content_fullpath):
            # If content is a file, check if it is a tar file.
            # If so, extract its contents to a new folder.
            if FileExtension(content_fullpath) in file_extensions:
                extract_folder_name = Extract(content_fullpath)
                if extract_folder_name:     # if extract_folder_name != None:
                    dir_contents.append(extract_folder_name)
                    # Append the newly extracted folder to dir_contents
                    # so that it can be later searched for more tar files
                    # to extract.
        else:
            # Unknown file type.
            print 'Skipping %s. <Neither file nor folder>' % content_fullpath

if __name__ == '__main__':
    tarfile_fullpath = 'fullpath_path_of_your_tarfile'    # pass the path of your tar file here.
    extract_folder_name = Extract(tarfile_fullpath, False)

    # tarfile_fullpath is extracted to extract_folder_name. Now descend
    # down its directory structure and extract all other tar files
    # (recursively).
    extract_folder_fullpath = os.path.join(os.path.dirname(tarfile_fullpath),
      extract_folder_name)
    WalkTreeAndExtract(extract_folder_fullpath)
    # If you want to extract all tar files in a dir, just execute the above
    # line and nothing else.

Я не добавил к нему интерфейс командной строки. Я думаю, вы можете добавить его, если найдете его полезным.

Вот немного более хорошая версия вышеуказанной программы -
http://guanidene.blogspot.com/2011/06/nested-tar-archives-extractor.html

  • 0
    Вместо os.listdir() используйте os.walk() для os.walk() дерева каталогов. Re: «(нарезка для удаления расширения (.tar) из имени файла.)» Использовать os.path.splitext(tarfile_name)[0]
  • 0
    Я не смогу сделать это - dir_contents.append(extract_folder_name) (а также дополнительно настроить его), если я использовал os.walk() . os.path.splitext касается использования os.path.splitext , то это правильно в этом случае файлов .tgz , но я написал, имея в виду более общую цель - извлечение файлов .tar.gz и .tar.bz2 (чье расширение splitext ошибочно дает как .gz и .bz2 ).
Показать ещё 2 комментария

Ещё вопросы

Сообщество Overcoder
Наверх
Меню