Управление качеством данных

Итак, у нас есть данные, и есть требования к ним. От кого? От тех, кто будет ими пользоваться. Если те, кто ставит задачу говорят что “данные плохие” и не могут сформулировать критерии к качеству данных, им можно их подсказать, подсмотрев в предыдущей статье. Таким образом, управление качеством данных – это, в первую очередь, методология, которая обеспечивает некий уровень качества в отношении выбранных данных.

Управление качеством данных – это постоянный процесс. Да, для начала неплохо разобраться с уже имеющимися данными, но наша задача сделать так, чтобы все новые данные, попадающие в систему, проверялись, валидировались, насыщались и, в итоге, соответствовали предъявляемым к ним требованиям. Управление качеством, кстати, является важной частью управления Нормативно-Справочной информацией, MDM (Master Data Management).

Как же сделать так, чтобы данные попадали в системы уже “чистыми”? Думаю, что самый оптимальный способ – это правильно настроить поля ввода, не допуская ввод заведомо некорректный значений, а также предлагать автозаполнение по возможности: например, выбор адреса доставки предлагать из КЛАДР, а данные о компании автоматически заполнять используя специальные сервисы. Таким образом, и людям надо будет вводить меньше информации, и вероятность ошибки будет гораздо меньше.

Только не надо слишком “закручивать гайки”: я встречал, когда сайт понимал только номер телефона +7 ___ ____, и знакомые из Белорусии с другим сотовым не могли себе заказать пиццу. Требования только цифр в индексе автоматом запретит вводить индексы из ряда других стран, а выбор исключительно адресов из КЛАДР отсечет всех, у кого адрес по каким-то причинам в него не включен. Таким образом, если все введено автоматом, то можно ставить галочку что все ок, а если адрес был введен вручную – можно поставить флаг “тревога” и отправить данные на дополнительную проверку. И, при необходимости, дополнительного насыщения собственных мастер – справочников, такие как адреса.

Если мы говорим про проверку существующих данных, то она начинается не с оценки качества, а с “Data Integrity” – проверки на целостность данных, их доступность и проверку источников – точно ли данные получены из “правильного источника”, согласованность данных, соответствие хранимых данных в системе с их наименованием.

И при вводе новых данных, и при анализе существующих обычно применяют следующие методы проверки данных, связанных с качеством данных (как мы уже знаем, это точность, полнота, непротиворечивость, достоверность и уникальность):

• Точность (Accuracy): Насколько данные соответствуют реальности и не содержат ошибок, такие как опечатки. По возможности, данные сравниваются с мастер-данными, и при расхождении или автоматически исправляются, или идут на валидацию сотруднику отдела НСИ (Иногда обозначается модным словом “Data Steward”). Вообще, конечно, золотое правило – стараться изначально не допустить ошибок или исправить их автоматом, иначе дата-стюард имеет шанс просто потонуть в ваших заявках на исправление данных.

• Полнота (Completeness): Насколько данные полны и содержат всю необходимую информацию. Пример неполных данных – это нулевые значения, или отсутствие улицы в адресе, или номера телефона, или адреса электронной почты. Здесь важно требование бизнеса и под какие задачи необходим тот или иной сет данных – одним достаточно ФИО и электронной почты, а другом подавай телефон или дату рождения. На этом этапе также проводится возможное “насыщение” записи из других возможных источников. Например, если ИНН у нас валиден, то можно запросить из стороннего сервиса дополнительную информацию о компании, такую как юридический адрес.

• Непротиворечивость (Consistency, которую иногда переводят как “Согласованность”): Согласованность данных между различными системами, причем в едином формате. То есть если у вас в одной системе даты записаны в разных форматах (например, ДД/ММ/ГГГГ и ММ/ДД/ГГГГ) – это нарушает принцип непротиворечивости и может вызвать проблемы в интеграции и анализе данных. Здесь как идет проверка на соответствие шаблонам и приведение записей к единому стандарту – той же дате или времени в едином формате UTC.

• Достоверность (Validity): Насколько данные соответствуют бизнес-правилам и ограничениям, определенным для них. Достоверные данные попадают в ожидаемый диапазон и соответствуют указанным критериям. Например, допустимая дата рождения должна попадать в определенный диапазон, а цена продукта должна быть положительным значением. Здесь еще полезна проверка на смесь латинских и кириллических символов, а то некоторые хитрые сотрудники заводят дубликаты, вставляя латинские символы в кириллические названия. На глаз это не отличишь, а для системы это – две разных позиции.

• Уникальность (Uniqueness): Насколько данные уникальны и не дублируют друг друга. Здесь наше все – дедубликация, в процессе которой находятся одинаковые записи и система по неким правилам пытается “склеить” из них одну полную запись, по возможности используя более “свежие” данные. Например, если мы нашли 2 записи клиента с разными почтами, то мы можем или отдать их на проверку дата-стюарду для проверки, если мы не уверены, что это один и тот же человек, или автоматически оставить одну запись, обновив e-mail на более “свежий”.

Если планировать проект по очистке существующих данных, то в нем выделяют следующие этапы:

• Профилирование или Оценка: аудит данных с целью понять их текущее плачевное состояние. Например, оценить заполненность полей “Компания”, “Телефон”, и “e-mail”. “Дата рождения” можете даже не смотреть.

• Очистка и обогащение: выполнение всех вышеуказанных действий по улучшению качества данных: удаление дублей; исправление ошибок; заполнение пропущенных данных, таких как адрес; проверка, попадают ли данные в нужный диапазон и так далее.

• Стандартизация: Приведение данных к единому формату показателей. Например, использование унифицированного формата для телефонных номеров или времени.

• Мой любимый, “Процесс непрерывного совершенствования”: ставим процесс на поток, подключаем мониторинг и осуществляем постоянный контроль новых данных.

• Исправление: Если данные не соответствуют требованиях, они должны быть как можно быстрее исправлены, если не получается их исправить автоматом – то они должны ставится в очередь на проверку дата-стюарду или просто ответственному сотруднику. А, может, и Искусственному Интеллекту.

Таким образом, вам, возможно, даже и не надобятся специализированные решения по управлению качеством данных: вы можете использовать и имеющиеся в вашем распоряжении инструменты. Я видел примеры, когда для этих задач компании использовали имеющуюся у них платформу по интеграции данных, что меня удивило. И, кстати, подвигло на написание этой статьи.