Проверка понимания Hadoop

Семнадцать ситуаций о хранении, вычислениях и оркестрации.

Выберите объяснение поведения системы. Вопросы проверяют роли компонентов, маршруты данных, партиции таблиц и порядок обработки. Выполнять лабораторию для ответа не требуется. После ответа появится пояснение; можно вернуться к ситуации и попробовать снова.

1. Как распределены роли в Hadoop?

HDFS хранит, YARN выделяет ресурсы, движок вычисляетNameNode выполняет SQL, DataNode выделяет CPUВсе три названия обозначают одну файловую систему

2. Клиент узнал расположение блока у NameNode. Откуда он читает содержимое?

Только из памяти NameNodeНепосредственно с подходящего DataNodeИз ResourceManager

3. Для чего нужен checkpoint метаданных?

Создать три копии каждого CSVАвтоматически превратить Secondary NameNode в резервный серверОбъединить снимок с накопленными изменениями

4. Файл 300 MB хранится с тремя репликами. Каков логический размер файла?

300 MB900 MB100 MB

5. Вместо десяти крупных файлов загрузили миллион маленьких того же общего размера. Что изменится?

Каждый файл обязательно займёт полный блок полезных байтовВырастут затраты на метаданные и открытие файловЧисло файлов никак не влияет на работу

6. Файл удалили из HDFS. Почему наличие трёх реплик не является резервной копией?

Удаление действует только на первую копиюРепликация сохраняет историю всех версийРеплики относятся к тому же логическому файлу и тоже подлежат удалению

7. Команда hdfs dfs -get выполнена в оболочке контейнера. Где появился локальный выход?

В файловой системе клиентского процесса внутри контейнераАвтоматически в папке загрузок WindowsТолько на NameNode как новый путь HDFS

8. В HDFS есть свободные диски, но приложение ждёт в YARN. Возможная причина?

YARN не умеет запускать программы с HDFSНет подходящих вычислительных ресурсов или действует ограничение очередиЛюбой свободный диск автоматически даёт приложению память

9. Зачем приложению ApplicationMaster?

Хранить единственную копию всех файлов кластераЗаменять ResourceManager для всех пользователейДоговариваться о ресурсах и координировать работу этого приложения

10. Два mapper выдали записи с ключом Kazan. Что делает shuffle?

Доставляет их для группировки по этому ключуСлучайно меняет значения суммСоздаёт реплики входного CSV

11. Для одной группы пришли 100 и 300, для другой 50. Можно ли combiner складывать частичные суммы?

Нет, combiner обязан менять бизнес-результатДа, итоговая сумма не зависит от такого объединенияДа, но только если Hadoop вызовет его ровно один раз

12. Как передавать частичные результаты для среднего?

Только среднее каждой частиТолько максимальное значениеСумму и количество

13. Чем оркестратор Oozie отличается от YARN?

Oozie связывает этапы обработки, YARN распределяет ресурсы приложенийOozie хранит блоки, YARN выполняет SQL над нимиЭто два имени одного планировщика ресурсов

14. Spark использует HDFS и YARN. Что из этого следует?

Spark является новой версией HDFSОн использует хранение и ресурсы Hadoop, оставаясь отдельным движкомВсе данные всегда находятся только в RAM

15. Что находится в Metastore?

Все пользовательские Parquet-файлы вместо HDFSВыделенные CPU-контейнеры YARNОписание таблиц, колонок и расположений

16. Нужно обращаться к строке по ключу устройства, а не сканировать весь архив. Какая роль ближе?

HBaseCheckpoint NameNodeDocker Hub

17. Таблица Hive разделена по day. Почему условие WHERE day = '2026-10-06' может уменьшить чтение?

NameNode выполняет SQL и удаляет лишние строкиДвижок выбирает нужную партицию и не читает файлы остальных днейВсе события одного дня всегда хранятся в одном блоке HDFS