de
шка
Roadmaps
Курсы
Инструменты
Кабинет
Поиск
⌘K
Ч
А
Чипинков | DE
Айти-Пингвин
Чипинков | DE
Айти-Пингвин
Войти
все темы
375
SQL
135
Python
51
DWH и моделирование
34
Greenplum и MPP
18
ClickHouse
20
Spark
38
Hadoop, HDFS и S3
7
Lakehouse и Iceberg
4
Airflow
22
Kafka и стриминг
20
Git, Docker, CI/CD
8
Поведенческие и опыт
18
ИНСТРУМЕНТЫ
/ СОБЕС
Spark
38 вопросов · 0 задач
списком
по одному
раскрыть ответы
мок-собес →
Spark
Подтема
Компания
Тип
Что такое Spark и как устроена его архитектура?
▸
IT_One
Сбер
вопрос
не открыто
В чём отличие Spark от MapReduce?
▸
Aston
Ай-Теко
вопрос
не открыто
Что такое RDD и DataFrame?
▸
IT_One
вопрос
не открыто
Что такое standalone-режим Spark, чем cluster отличается от local и client?
▸
iFellow
вопрос
не открыто
Как пронумеровать миллиард строк в Parquet уникальным индексом в Spark?
▸
Сбер
вопрос
не открыто
Как автоматизировать запуск Spark job через Airflow?
▸
IT_One
вопрос
не открыто
Чем узкие трансформации отличаются от широких?
▸
общий
вопрос
не открыто
Как работает Catalyst Optimizer?
▸
общий
вопрос
не открыто
Что такое Tungsten и почему DataFrame быстрее RDD?
▸
общий
вопрос
не открыто
Что такое Adaptive Query Execution в Spark 3?
▸
общий
вопрос
не открыто
Что такое speculative execution и когда его включать?
▸
общий
вопрос
не открыто
Что такое Kryo и когда он нужен?
▸
общий
вопрос
не открыто
Как Structured Streaming обрабатывает опоздавшие данные?
▸
общий
вопрос
не открыто
Что такое shuffle, при каких операциях он происходит и как его избежать?
▸
Сбер
Лига ЦЭ (Альфа)
вопрос
не открыто
Какие типы join есть в Spark и как оптимизатор выбирает?
▸
Сбер
Ozon
Яндекс
вопрос
не открыто
Что значит, что join это «широкая» операция, и какие шаги выполняются при соединении двух больших таблиц?
▸
Сбер
вопрос
не открыто
Что такое перекос данных в Spark и как с ним бороться?
▸
Сбер
Яндекс
IT_One
вопрос
не открыто
Шаг с join в Spark-джобе работает неадекватно долго. Как это дебажить?
▸
Ozon
вопрос
не открыто
Чем repartition отличается от coalesce?
▸
общий
вопрос
не открыто
Когда broadcast join неэффективен или падает?
▸
общий
вопрос
не открыто
Чем партиционирование отличается от бакетирования?
▸
общий
вопрос
не открыто
Что такое Dynamic Partition Pruning?
▸
общий
вопрос
не открыто
Как уменьшить стоимость shuffle?
▸
общий
вопрос
не открыто
Как распределяется память исполнителя и как на это влиять?
▸
Сбер
Лига ЦЭ (Альфа)
Ай-Теко
вопрос
не открыто
Что делать, если один DataFrame используется в расчёте несколько раз, и на что смотреть при кэшировании?
▸
Лига ЦЭ (Альфа)
вопрос
не открыто
Какие методы оптимизации Spark использовали и что смотрели в Spark UI?
▸
Сбер
Яндекс
вопрос
не открыто
Что такое Dynamic Allocation?
▸
Сбер
вопрос
не открыто
Как настроить многокластерную обработку в Spark?
▸
IT_One
вопрос
не открыто
Из-за чего бывает OutOfMemory на драйвере и как его избежать?
▸
общий
вопрос
не открыто
Из-за чего бывает OutOfMemory на исполнителях?
▸
общий
вопрос
не открыто
Что такое spill на диск и как с ним бороться?
▸
общий
вопрос
не открыто
Чем checkpoint отличается от cache и persist?
▸
общий
вопрос
не открыто
Что такое Parquet и чем он отличается от CSV?
▸
Сбер
Лига ЦЭ (Альфа)
IT_One
Цифровой аудит
вопрос
не открыто
Как понять, сколько будет задач после чтения Parquet в Spark?
▸
Сбер
вопрос
не открыто
Как Spark относится к маленьким файлам и в чём негативный эффект?
▸
Лига ЦЭ (Альфа)
Data Generation
вопрос
не открыто
В чём принципиальная разница между ORC и Parquet?
▸
Цифровой аудит
вопрос
не открыто
Какие форматы хранения данных существуют и какие преимущества у колоночных?
▸
IT_One
вопрос
не открыто
Как работает predicate pushdown и с какими форматами он эффективен?
▸
общий
вопрос
не открыто