Что такое управление качеством данных и как ему верить

Зачем управление качеством данных

ПрактикаПрактикаНабор ресурсов организации для выполнения работы определённого типа.ITIL 4 отвечает на вопрос, можно ли верить числам, на которых организация строит решения. COBIT требует определить единую для всей организации стратегию, чтобы достичь и удерживать уровень качества данных, необходимый для достижения целей бизнеса 1.

COBIT раскладывает качество на измеримые стороны и называет их прямо: сложность, целостность, точность, полнота, достоверность, прослеживаемость и своевременность 1. ЦенностьЦенностьПольза и выгода, которые сторона получает от услуги; величина субъективная.ITIL 4, книга ITIL Foundation этого перечня в том, что он превращает жалобу «данные плохие» в вопрос, какая именно сторона качества нарушена.

Данные не бывают качественными вообще. Они бывают достаточно точными для одной задачи и недостаточно полными для другой.

ГОСТ Р ИСО/МЭК 20000-1 подходит к теме с другой стороны — через отчёты и решения. Отчёты строят на сведениях о том, как работает система и как предоставляются сервисы. Решения принимают по тому, что в этих отчётах написано 2. То есть по данным, за качество которых кто-то отвечает.

Когда практика работает

Три вопроса, ответы на которые видны по работе с данными, а не по числу дашбордов.

Требования к качеству заданы. Как проверить: для ключевых наборов данных определены стороны качества, пороги и цели 1.

Качество измеряется регулярно. Как проверить: оценки качества проводятся с утверждённой периодичностью, а не по случаю 1.

Ошибки исправляются по правилам. Как проверить: есть политика очистки данных и записанные способы исправления 1.

Что входит и что рядом

Что на входе и что на выходе

Практика получает правила работы с данными, описания их смысла и требования тех, кто данными пользуется. Отдаёт понимание, каким данным можно верить, и список того, что нужно чинить.

Три работы, из которых складывается качество

COBIT раскладывает тему на профилирование, оценку и очистку 1.

Профилирование — систематический осмотр наборов данных стандартными приёмами. COBIT требует, чтобы способы, порядок, средства и образцы отчётов были едиными и применялись ко всем хранилищам. И дальше: наборы данных совместного пользования отбирают и осматривают регулярно; содержимое проверяют на соответствие утверждённым описаниям и стандартам; найденное сравнивают с ожидаемым по прошлым осмотрам; итоги складывают в одно место и разбирают 1.

Оценка — измерение качества по правилам 1:

• её проводят не по случаю, а в утверждённые сроки;
• ключевой набор признаков по предметным областям задаёт руководство данными;
• меряют по установленным порогам и целям — отдельно для каждой стороны качества;
• отчёт строят с оглядкой на то, какие признаки важнее и насколько данные изменчивы;
• в итоги кладут не только оценку, но и рекомендации по исправлению с обоснованием.

Очистка — исправление по правилам. Требуется политика очистки и сохранение истории изменений; способы исправления записываются в план и могут включать сравнение нескольких хранилищ, сверку с достоверным источником, логические проверки, ссылочную целостность и проверку попадания в допустимый диапазон 1.

Отдельно стоит сказать про договоры: критерии качества данных включают в соглашения об уровне услугСоглашение об уровне услугЗаписанная договорённость поставщика и заказчика: что даёт услуга, когда доступна и как быстро её восстановят.ITIL 4: практическое руководство Service Level Management и книга ITIL Foundation, 5.2.15.1; ГОСТ Р ИСО/МЭК 20000-1-2021, пункты 3.2.16, 3.2.20, 3.2.21, 7.5.4, 8.3.2–8.3.4; FitSM-0, FitSM-1 (PR2), FitSM-2 (PR2), шаблон и образец SLA из FitSM-4; MOF 4.0, глоссарий; itSMF, «Введение в ИТ Сервис-менеджмент», 2003; Ami Nahari, «Secrets of Service Level Management», TSO, 2013; Молоткова, Сахаров, «Качество услуг ИТ-аутсорсинга», 2008; «Аутсорсинг в стратегии современного бизнеса», 2019; альманах itSMF России, 2015; «Свободный ITIL» Елхимова; Брукс, «Метрики для управления ИТ-услугами» (SLA), чтобы поставщики данных отвечали за их чистоту 1. Это переводит разговор о чужих грязных данных из жалобы в обязательство.

Как это работает

Цвет шага: техническая работа решение и полномочия проверка, разбор, улучшение работа с людьми и сторонами

Две строки этой таблицы стоит развернуть.

Первый шаг задаёт меру. Пока не сказано, какая точность и полнота нужны, любая оценка превращается в спор о вкусах.

Шестой шаг дешевле остальных. Исправлять ошибку в источнике всегда дешевле, чем чистить её копии по всем хранилищам; правила качества положено привязывать к жизненному пути данных и закладывать их в разработку систем 1.

Что с чем путают

Качество данных и качество отчёта. Красивый отчёт по неверным данным остаётся неверным.

Очистка и предотвращение. Очистка чинит следствие; проверки на входе устраняют причину.

Полнота и точность. Стороны качества разводятся, и лечатся они разными мерами 1.

Профилирование и оценка. Первое смотрит, что в данных есть; вторая сравнивает это с требованиями 1.

Ответственность ИТ и ответственность бизнеса. Правила качества задаёт владелец данных со стороны бизнеса, а не администратор системы. Разбор про владельцев — DtMРуководство данными.

Кто участвует

Как измерять

Показатель, который ничего не решает, — лишний. DMBOK предъявляет метрике качества данных шесть требований, и последнее самое жёсткое: при выходе значения за пределы допуска должна запускаться процедура улучшения данных, а «если же метрика не обеспечивает контроля ситуации, то она, возможно, является излишней» 4. Остальные пять: измеримость в дискретном диапазоне значений, влияние на ключевые показатели бизнеса, наличие порога приемлемости, понятность владельцу и распорядителю данных, возможность видеть тенденцию. По этому списку стоит пройтись со своей таблицей показателей — на первом же требовании обычно отваливается половина.

Порог задаёт бизнес, а не свод. DMBOK разделяет это прямо: «соответствие должно определяться пороговыми уровнями приемлемости. Если оценка данных по какому-либо параметру не ниже пороговой, данные приемлемы для бизнеса. Если ниже, они не соответствуют предъявляемым требованиям» 4. Какое именно значение считать пороговым, не говорит ни DMBOK, ни COBIT — и это не пробел сводов: приемлемая доля пустых полей в справочнике контрагентов и в медицинской карте — разные числа. Заодно названо, кто за что отвечает при нарушении порога: владелец данных — за то, что оно случилось, распорядитель — за принятие мер по исправлению 4.

Зрелость управления качеством данных

✕

Где ломается чаще всего

Шесть мест, в порядке частоты.

Требований к качеству нет. Спор о том, плохие ли данные, идёт без меры 1.

Чистят вручную и по случаю. Политики очистки и записанных способов исправления нет 1.

Историю изменений не хранят. Разобраться, откуда взялось значение, невозможно 1.

Проверки не встроены в ввод. Ошибки попадают в хранилище и размножаются по копиям.

Поставщики данных ни за что не отвечают. Критерии качества в соглашения не включены 1.

Оценка не приводит к исправлению. Отчёт о качестве есть, работ по итогам нет 1.

Что говорят своды

69Своды знаний и стандарты — разобраны отдельноЧем ITIL отличается от COBIT и ISO, что из этого обязательно, а что на выбор, и где брать первоисточник. У каждого свода отмечено, развивается он или давно заморожен, и есть ли действующий ГОСТ. По 51 практикам из 62 проставлено соответствие COBIT.Открыть →

DAMA-DMBOK описывает качество данных как применение стандартных методов управления качеством к данным ради их пригодности к использованию и начинает работу с определения того, что организация считает качественными данными 4.

COBIT отводит качеству данных четыре практики из десяти в цели управленияЦель управленияЕдиница описания COBIT: цель с проверяемым содержанием, у которой есть процесс того же имени.COBIT 2019, книга Governance and Management Objectives данными: стратегия качества, профилирование, оценка, очистка 1.

ГОСТ Р ИСО/МЭК 20000-1 требует принимать решения на основании свидетельств из отчётов и обеспечивать достоверность результатов измерений, что предполагает управляемое качество данных 2.

ITIL отдельной практики под качество данных не заводит: требования к качеству сведений живут в практике измерения и отчётности 3.

Вывод для организации: практическую механику качества данных даёт только COBIT; стандарты требуют достоверности, но способов не предписывают.

Где описано

Что почитать дальше

Три соседние практики группы данных: DtMРуководство данными — кто задаёт правила, MtMУправление метаданными — что означают поля, MDMУправление справочными и основными данными — откуда берутся единые справочники.