стабільність, інваріантність у часі

(записи в DW ніколи не змінюються, являючи собою

відбитки даних, зроблені у певний час);

інтегрованість даних (дані в

сховище надходять з різних джерел і відповідно агрегуються);

предметна орієнтація (інформацію

організовано відповідно до основних аспектів діяльності);

мінімізація

збитковості інформації (перед завантаженням у сховища дані фільтруються,

зберігаються у певній послідовності, а також формується деяка підсумкова

інформація).

Шум та аномальні значення у вимірюваннях.

 Різні формати та структури даних з різних джерел.

Неповні або пропущені значення у наборах даних.

Відсутність транзакційних обробок у великих наборах даних.

Дублювання записів та даних.

класифікація

BI

матрична факторизація

ETL

нейромережі

скалярний добуток

OLTP та OLAP використовуються виключно в онлайн-рітейлі.

 OLTP забезпечує швидкий запис та оновлення, OLAP — швидкий аналіз.

B. OLTP працює виключно з неструктурованими даними, OLAP — з реляційними.

A. OLTP призначений для транзакційної обробки, а OLAP — для аналітики

OLAP системи зазвичай використовують денормалізовані структури даних.

Збереження агрегованих даних для швидкого аналізу.

Основна мета — забезпечення швидкої обробки транзакцій.

Робота з великою кількістю коротких транзакцій.

 Виконання складних аналітичних запитів.

Підтримка зведених таблиць та багатовимірного аналізу.

Data Warehouse

Data scientists

Data Lake

Data engineer

Data analysts

Developer ETL 

Візуалізація даних

Отримання даних

Визначення статистичних параметрів

Трансформація 

Завантаження