deшка
Урок 7.11

DWH и Data Lake: проверка понимания

История, CDC, публикация, чтение файлов и исправление поздних данных на сценариях.

Здесь собраны вопросы по всему блоку. В каждом случае выберите один наиболее подходящий ответ с учётом условий. После проверки появятся правильный вариант и объяснение. Если ошиблись, можно попробовать снова.

Вопросы относятся к устройству системы, а не к запоминанию названий продуктов. Ответы опираются на разобранные темы: история, способы загрузки, временной контекст, публикация файлов и объединение результатов.

1. Отчёты перенесли с рабочей базы на читающую реплику. Теперь требуется анализировать изменения признака клиента за прошлые годы и объединять его с данными биллинга. Что ещё необходимо?
2. API прислал 100 записей, staging принял 98. Можно ли автоматически считать загрузку успешной?
3. Начальный снимок большой таблицы читается час, а источник продолжает обновляться. Как перейти к CDC без пропуска изменений?
4. В озере лежат JSON-файлы за год. Поле amount сохранило числовой тип, но в середине года единица сменилась с рублей на копейки. Что необходимо для сопоставимого отчёта?
5. Запрос к Parquet использует только температуру и отбирает значения выше 30 °C. Для одной группы строк статистика показывает максимум 25 °C. Что читатель может сделать при поддержке этих метаданных?
6. В Lambda пакетный и быстрый пути считают уникальных пользователей за непересекающиеся интервалы. Можно ли сложить два отдельных количества?

Итоговая практика

В отдельной учебной базе для практики есть версии заказов, текущее состояние и журнал загрузок. Проверьте три вещи: нет ли потерянных ключей, какое состояние заказа действительно последнее и за какие дни не было успешной загрузки. Это разные ошибки; общий счётчик строк не заменит ни одну из проверок.

postgresql · песочницарешено 0 / 3

Посчитайте позиции заказов, которые ссылаются на отсутствующий product_id. Верните missing_products.

Ctrl+Enter
Войти, чтобы отмечатьдальше →
модуль 08 →Airflow