Сценарий Python, который перемещает определенные файлы между сегментами S3

Question

Сценарий Python, который перемещает определенные файлы между сегментами S3

1

Поэтому я все еще новичок, когда дело доходит до кодирования в Python, но мне было интересно, может ли кто-то быть таким добрым, чтобы помочь мне с проблемой.

Клиент, с которым я работаю, использует систему eDiscovery Venio. У них есть веб-сервер, приложение, база данных и сервер Linux, работающий с экземплярами EC2 в AWS.

Прямо сейчас, когда клиенты загружают документы на свой сервер, они в конечном итоге загружают содержимое на другой диск, вызывая дополнительную работу для себя. Существует также проблема скорости, когда дело доходит до обслуживания файлов в их системе.

После настройки автоматических снимков со сценарием в Lambda я начал думать, что хранение их массивных файлов на S3, за CloudFront, может быть лучшим способом.

Кто-нибудь знает, есть ли способ создать скрипт Python, который ищет ключевые слова в файле (например, "Использовать", "Отменить") и автоматически ли их разделять на разные ведра?

Любые советы будут очень оценены!

ОБНОВИТЬ:

Итак, вот сценарий, который я начал:

import boto3

# Creates S3 client
s3 = boto3.client('s3')

filename = 'file.txt'
bucket_name = 'responsive-bucket'

keyword_bucket = {
    'use': 'responsive-bucket',
    'discard': 'non-responsive-bucket',
}

По сути, я хочу, чтобы клиент загружал файл через веб-API, триггеры скрипта python, который ищет ключевые слова "Отзывчивый" или "Не реагировать". После того, как он распознает эти ключи, он PUTS эти файлы в соответствующие названные ковши. Ответные файлы останутся в стандартных ведрах s3, а не полезные - в ведро s3-IA. По истечении установленного времени они являются жизненным циклом для ледника.

Любая помощь будет потрясающей !!!

Nick Hopkins 23 июнь 2018, в 16:35

Источник

Теги:

python

amazon-s3

aws-lambda

automation

amazon-glacier

1 ответ

Ещё вопросы

Renato Byrro · Answer 1 · 2018-06-23T19-14-00.000Z

Если вы можете построить сопоставление keywords => bucket names, вы можете использовать словарь. Например:

keyword_bucket = {
    'use': 'bucket_abc',
    'discard': 'bucket_xyz',
    'etc': 'bucket_whatever'
}

Затем вы открываете файл и выполняете поиск ключевых слов. Когда ключевое слово соответствует, вы используете словарь выше, чтобы найти соответствующее ведро, куда должен идти файл.

Спасибо, что ответили Ренато! Я попробую и посмотрю, как это работает