Redshift Spectrum намного медленнее Афины?

Наши данные хранятся в S3 как JSON без разделов. До сегодняшнего дня мы использовали только Athena, а теперь попробовали Redshift Spectrum.

Мы выполняем один и тот же запрос дважды. Один раз использовали Redshift Spectrum и один раз использовали Athena. Оба подключаются к одним и тем же данным в S3.

При использовании Redshift Spectrum для выполнения этого отчета требуется бесконечно (более 15 минут), а при использовании Athena — всего 10 секунд.

Запрос, который мы выполняем в обоих случаях в консоли aws, таков:

SELECT "events"."persistentid" AS "persistentid",
  SUM(1) AS "sum_number_of_reco"
FROM "analytics"."events" "events"
GROUP BY "events"."persistentid"

Есть идеи, что происходит? Спасибо

В этом разница между бессерверными и вашими серверами. Спектр Redshift использует ваш кластер Redshift, размер которого вы можете изменять по мере необходимости, но он, вероятно, меньше, чем парк Athena, который был назначен вашему запросу.   —  person AJ222    schedule 28.11.2019

Ребята из службы поддержки AWS говорят, что это происходит потому, что у нас много маленьких файлов (поскольку мы используем Kineses Firehose и он создает файл в s3 каждые 5 минут) …   —  person AJ222    schedule 28.11.2019