Что такое управление качеством данных и как ему верить

Зачем управление качеством данных

ПрактикаПрактикаНабор ресурсов организации для выполнения работы определённого типа.ITIL 4 отвечает на вопрос, можно ли верить числам, на которых организация строит решения. Свод руководства ИТ требует определить единую для всей организации стратегию, чтобы достичь и удерживать уровень качества данных, необходимый для достижения целей дела 1.

Само качество свод раскладывает на измеримые стороны и перечисляет их прямо: сложность, целостность, точность, полнота, достоверность, прослеживаемость и своевременность 1. ЦенностьЦенностьПольза и выгода, которые сторона получает от услуги; величина субъективная.ITIL 4, книга ITIL Foundation этого перечня в том, что он превращает жалобу «данные плохие» в вопрос, какая именно сторона качества нарушена.

Данные не бывают качественными вообще. Они бывают достаточно точными для одной задачи и недостаточно полными для другой.

Стандарт менеджмента сервисов подходит к теме через отчётность и решения: отчёты составляются на основе сведений о деятельности системы и предоставлении сервисов, а решения принимаются на основании свидетельств из них 2 — то есть на данных, за качество которых кто-то отвечает.

Когда практика работает

Три вопроса, ответы на которые видны по работе с данными, а не по числу дашбордов.

Требования к качеству заданы. Проверяемый признак: для ключевых наборов данных определены стороны качества, пороги и цели 1.

Качество измеряется регулярно. Проверяемый признак: оценки качества проводятся с утверждённой периодичностью, а не по случаю 1.

Ошибки исправляются по правилам. Проверяемый признак: есть политика очистки данных и записанные способы исправления 1.

Что входит и что рядом

Что на входе и что на выходе

Практика получает правила работы с данными, описания их смысла и требования тех, кто данными пользуется. Отдаёт понимание, каким данным можно верить, и список того, что нужно чинить.

Три работы, из которых складывается качество

Свод руководства ИТ раскладывает тему на профилирование, оценку и очистку 1.

Профилирование — систематический осмотр наборов данных стандартными приёмами. Свод требует, чтобы способы, порядок, средства и образцы отчётов были едиными и применялись к разным хранилищам; чтобы совместно используемые наборы данных отбирались и осматривались регулярно; чтобы проверялось соответствие содержимого утверждённым описаниям и стандартам; чтобы найденное сравнивалось с ожидаемым по прошлым осмотрам; чтобы итоги хранились в одном месте и разбирались 1.

Оценка — измерение качества по правилам. Проводится с утверждённой периодичностью; ключевой набор признаков по предметным областям определяет руководство данными; оценка ведётся по установленным порогам и целям для каждой выбранной стороны качества; отчёты о качестве строятся с учётом важности признаков и изменчивости данных; в итоги оценки включаются рекомендации по исправлению с обоснованием 1.

Очистка — исправление по правилам. Требуется политика очистки и сохранение истории изменений; способы исправления записываются в план и могут включать сравнение нескольких хранилищ, сверку с достоверным источником, логические проверки, ссылочную целостность и проверку попадания в допустимый диапазон 1.

Отдельного внимания стоит совет свода про договоры: критерии качества данных включают в соглашения об уровне услугСоглашение об уровне услугДоговорённость с заказчиком о том, каким должно быть качество услуги и в какие сроки восстанавливается работа.ITIL, чтобы поставщики данных отвечали за их чистоту 1. Это переводит разговор о чужих грязных данных из жалобы в обязательство.

Как это работает

Два места стоит объяснить отдельно.

Первый шаг задаёт меру. Пока не сказано, какая точность и полнота нужны, любая оценка превращается в спор о вкусах.

Шестой шаг дешевле остальных. Исправлять ошибку в источнике всегда дешевле, чем чистить её копии по всем хранилищам; свод требует привязывать правила качества к жизненному пути данных и закладывать их в разработку систем 1.

Что с чем путают

Качество данных и качество отчёта. Красивый отчёт по неверным данным остаётся неверным.

Очистка и предотвращение. Очистка чинит следствие; проверки на входе устраняют причину.

Полнота и точность. Свод разводит стороны качества, и лечатся они разными мерами 1.

Профилирование и оценка. Первое смотрит, что в данных есть; вторая сравнивает это с требованиями 1.

Ответственность ИТ и ответственность дела. Правила качества задаёт владелец данных со стороны дела, а не администратор системы. Разбор про владельцев — DtMРуководство данными.

Кто участвует

Как измерять

Зрелость управления качеством данных

✕

Где ломается чаще всего

Шесть мест, в порядке частоты.

Требований к качеству нет. Спор о том, плохие ли данные, идёт без меры 1.

Чистят вручную и по случаю. Политики очистки и записанных способов исправления нет 1.

Историю изменений не хранят. Разобраться, откуда взялось значение, невозможно 1.

Проверки не встроены в ввод. Ошибки попадают в хранилище и размножаются по копиям.

Поставщики данных ни за что не отвечают. Критерии качества в соглашения не включены 1.

Оценка не приводит к исправлению. Отчёт о качестве есть, работ по итогам нет 1.

Что говорят своды

67Своды знаний и стандарты — разобраны отдельноЧем ITIL отличается от COBIT и ISO, что из этого обязательно, а что на выбор, и где брать первоисточник. У каждого свода отмечено, развивается он или давно заморожен, и есть ли действующий ГОСТ. По 49 практикам из 60 проставлено соответствие COBIT.Открыть →

Свод руководства ИТ отводит качеству данных четыре практики из десяти в цели управленияЦель управленияЕдиница описания COBIT: цель с проверяемым содержанием, связанная с одноимённым процессом.COBIT 2019, книга Governance and Management Objectives данными: стратегия качества, профилирование, оценка, очистка 1.

Действующий стандарт менеджмента сервисов требует принимать решения на основании свидетельств из отчётов и обеспечивать достоверность результатов измерений, что предполагает управляемое качество данных 2.

Свод практик отдельной практики под качество данных не заводит: требования к качеству сведений живут в практике измерения и отчётности 3.

Вывод для организации: практическую механику качества данных даёт только свод руководства ИТ; стандарты требуют достоверности, но способов не предписывают.

Где описано

Что почитать дальше

Три соседние практики группы данных: DtMРуководство данными — кто задаёт правила, MtMУправление метаданными — что означают поля, MDMУправление справочными и основными данными — откуда берутся единые справочники.