Как загрузить открытый набор данных s3 в коллаборацию Google?

1

Я пытаюсь получить доступ к набору данных простаивания (https://registry.opendata.aws/spacenet/) в Google colaboratory. Как получить его в Google colaboratory?

Теги:
amazon-web-services
amazon-s3
deep-learning
google-colaboratory

1 ответ

1

Вам необходимо создать учетную запись AWS и настроить пользователя IAM и создать AccessKey и Secret AccessKey.

С CoLab,

s3r = boto3.resource('s3', aws_access_key_id='XXXXXXXXXXXXXXXXXXXX',
    aws_secret_access_key='XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX')
buck = s3r.Bucket('bucket name')
buck.download_file(remotefilename,localfilename)

Ниже приведена документация boto3.

http://boto3.readthedocs.io/en/latest/guide/s3-example-download-file.html

Еще одно замечание. Когда вы загружаете данные, AWS будет взимать плату с вашей учетной записи, которая может попасть под ваш свободный уровень.

Именно по этой причине вам необходимо сделать все это, загрузочный ковш сконфигурирован как плательщик запросов.

Вы можете узнать о цене Amazon S3 здесь,

https://aws.amazon.com/s3/pricing/

EDIT1:

Установите инструменты aws s3 cli из приведенной ниже ссылки,

https://aws.amazon.com/cli/

и следуйте инструкциям для доступа к данным через spacenet,

https://medium.com/the-downlinq/getting-started-with-spacenet-data-827fd2ec9f53

Надеюсь, поможет.

  • 0
    что такое имя сегмента, имя удаленного файла, имя локального файла? приведите примеры
  • 0
    Добавлена дополнительная информация. Пожалуйста, дайте мне знать, если это поможет.
Показать ещё 2 комментария

Ещё вопросы

Сообщество Overcoder
Наверх
Меню