amazon-s3

Вопросы

Каков наиболее эффективный способ чтения паркетного файла с разделами с помощью pyspark?

admin
Я работаю с паркетными файлами, хранящимися в ведрах AWS S3. Они имеют размер несколько ТБ и разделены числовым столбцом, содержащим целочисленные значения от 1 до...
Вопросы

S3-ковш. Произошла неизвестная ошибка: действие не применяется к каким-либо ресурсам в инструкции. Как создать политику s3-bucket?

admin
Я пытаюсь следовать следующему руководству: https://docs.aws.amazon.com/AmazonS3/latest/user-guide/add-bucket-policy.html, но возникла неизвестная ошибка Отсутствует обязательное поле основного поля: Json: { "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor0", "Effect":...
Вопросы

Многокомпонентная загрузка Amazon S3 с использованием низкоуровневого API Java загружает только одну часть

admin
Я написал следующий код для загрузки строк коллекции в S3 с использованием многостраничной загрузки (каждая часть больше 5 МБ), но когда я загружаю его обратно...
Вопросы

Scala Spark Read from AWS S3 — com.amazonaws.SdkClientException: невозможно загрузить учетные данные из конечной точки службы

admin
В настоящее время я пытаюсь выполнить простое чтение из настроенного мной ведра S3, используя Spark 3.0.0 (реализация через Scala 2.12.10). Однако при отправке скрипта я...
Вопросы

Необходимо загрузить изображение на сервер AWS S3 с помощью fastify-multer с получением ошибки [Function: multerPreHandler]

admin
Используемые пакеты const fastify = require('fastify'); const multer = require('fastify-multer'); const server = fastify(); server.register(multer.contentParser); var AWS = require("aws-sdk"); var s3 = new AWS.S3(); var...
Вопросы

Шифрование на стороне сервера и шифрование на стороне клиента — Amazon S3

admin
Я хочу хранить в Amazon S3 много файлов для своего приложения. У меня есть возможность использовать шифрование на стороне сервера или на стороне клиента или...
Вопросы

Как получить доступ к кросс-региональной корзине s3 с помощью лямбда-выражения с помощью CDK Python

admin
Я создал лямбда-выражение в регионе A и сегмент S3 в регионе B, пытаясь получить доступ к сегменту из клиента лямбда-бото-3, но получаю сообщение об ошибке...
Вопросы

Как применить политику IAM вызывающего абонента к выполнению лямбда-функции?

admin
Допустим, есть лямбда-функция, у которой есть политика IAM с доступом к s3://my-bucket/users/. И эта функция вызывается пользователем Бобом, у которого есть доступ политики IAM к...