Управление основными данными.

Управление основными данными (англ. Master Data Management, MDM) — высокотехнологичная дисциплина на стыке бизнес-управления и ИТ, призванная обеспечить единообразие, точность, ответственность, семантическую согласованность и подотчетность распространяемых или открываемых для совместного доступа официальных основных данных, имеющихся в активе организации. Основные данные — это последовательно используемый единообразный набор согласованных между собой идентификаторов и расширенных атрибутов, который описывает сущности организации, включая действующих и потенциальных клиентов, граждан, поставщиков, офисные и производственные площади, иерархии и коды счетов.

MDM совместно с управлением справочными данными (англ. ReferenceDataManagement, RDM) является одной из функций управления данными.

Бизнес-драйверы

Самыми распространенными драйверами инициирования программы управления основными данными являются следующие.

• Выполнение требований организации к данным

В различных областях работы организации требуются одни и те же наборы данных — и нужна уверенность в их полноте, актуальности и согласованности. Основные данные часто служат фундаментом при определении таких наборов данных (например, для планомерного и полного учёта всех клиентов в аналитических выкладках необходимо четкое и последовательно применяемое определение клиента).

• Управление качеством данных Противоречивые, некачественные или неполные данные приводят к неверным решениям и упущенным возможностям; управление основными данными позволяет снизить подобные риски за счет обеспечения полного и согласованного представления всех важных для организации сущностей.
• Управление затратами на интеграцию данных Стоимость интеграции данных из новых источников в и без того сложную информационную среду только повышается при отсутствии качественных основных данных, необходимых для минимизации разночтений в определениях критически важных сущностей.
• Снижение риска Основные данные позволяют упрощать архитектуру обмена и совместного использования данных, снижая за счет этого издержки и риски, обусловленные избыточной сложностью ИТ-среды.

Цели и принципы

Цели и принципы управления как основными, так и справочными данными в основном совпадают. Цели программы управления основными и справочными данными включают:

• обеспечение наличия в организации полных, согласованных, актуальных и достоверных основных и справочных данных по всему спектру процессов;
• обеспечение возможности совместного использования основных и справочных данных в рамках всех функций и приложений организации;
• снижение стоимости и сложности использования и интеграции данных за счет применения стандартов, общих моделей данных и шаблонов интеграции.

Управление основными и справочными данными должно соответствовать следующим руководящим принципам.

• Совместное использование Управление основными и справочными данными должно осуществляться таким образом, чтобы обеспечивалась возможность их совместного использования в рамках всей организации.
• Владение Основные и справочные данные принадлежат всей организации, а не конкретным приложениям или подразделениям. Поскольку речь идет о данных, имеющих столь широкое распространение, распоряжение ими должно осуществляться на как можно более высоком уровне.
• Качество Требуется непрерывный мониторинг качества основных и справочных данных и руководство его обеспечением.
• Распоряжение За контроль и обеспечение качества справочных данных отвечают распорядители бизнес-данных.

Контролируемые изменения

• В каждый момент времени основные данные должны соответствовать как можно более точному текущему представлению организации о положении дел. Правила соответствия, предполагающие внесение изменений в основные данные, должны применяться c максимальной осторожностью и под строгим контролем. Всякое слияние или разделение идентификаторов должно быть обратимым.
• Процедуры внесения изменений в справочные данные должны выполняться в рамках строго определённого процесса. Все вносимые изменения подлежат предварительному согласованию и утверждению.
• Авторитетность источника. Значения основных данных должны тиражироваться только с помощью единой системы записи (system of record). Для обеспечения совместного использования основных данных в масштабах организации может потребоваться применение эталонной справочной системы (system of reference).

Различия между основными и справочными данными

Основные данные требуют выявления и/или выработки достоверной версии правды (trusted version of truth) для каждого экземпляра концептуальных сущностей, таких как продукт, место, счет, физическое лицо или организация, и поддержания этой версии в актуальном состоянии. Главная трудность при управлении основными данными связана с разрешением сущностей (entity resolution) (или управлением идентификационными данными — identity management) — процессом определения различий и управления связями между данными различных систем и процессов. Экземпляры объектов, описываемых строками таблицы основных данных, в отдельных системах организации обычно представлены по-разному. В рамках управления основными данными должны быть отработаны механизмы разрешения этих рассогласованностей, иначе не получится однозначно и непротиворечиво идентифицировать одни и те же экземпляры каждой сущности (будь то клиенты, продукты и т. п.) в различных контекстах. Этим процессом необходимо управлять постоянно, чтобы не допустить рассогласования идентификаторов экземпляров сущностей основных данных на протяжении всего времени их использования.

Концептуально справочные и основные данные близки по своему назначению: и те и другие нужны для описания контекста транзакций, без которого невозможно создание и использование транзакционных данных (справочные данные при этом ещё и определяют контекст для основных данных). Вместе они обеспечивают адекватное понимание данных. Важно иметь в виду, что и справочные, и основные данные — ресурсы совместного использования, управление которыми должно вестись исключительно на корпоративном уровне, а не на уровне отдельных систем.

Наличие нескольких экземпляров сущностей одних и тех же основных или справочных данных — явление недопустимое, поскольку неизбежно ведет к рассогласованию этих экземпляров. Рассогласование же влечет неопределенность, что становится источником риска для организации. Успешная программа управления основными данными или справочными данными должна охватывать весь спектр функций управления данными (руководство данными, обеспечение качества данных, управление метаданными, интеграцию данных и т. д.).

Справочные данные, однако, выделяются наличием у них только им присущих характеристик, которые отсутствуют, например, у данных о структуре организации или транзакций. Во-первых, справочные данные менее изменчивы. Во-вторых, они обычно проще по структуре и менее объемны, чем наборы транзакционных или основных данных, то есть таблицы справочных данных содержат меньше столбцов и меньше строк. И, в-третьих, никаких трудностей с разрешением сущностей при управлении справочными данными не возникает.

При управлении основными данными и справочными данными основное внимание фокусируется на разных вещах:

• Управление основными данными подразумевает контроль значений и идентификаторов, обеспечивающий их согласованность во всех системах и наиболее точное отражение актуальных сведений об основных бизнес-сущностях. Цели MDM включают обеспечение доступности точных текущих значений основных данных и минимизацию риска, cвязанного с их неоднозначной идентификацией (то есть c появлением в системах идентификаторов, относящихся к нескольким экземплярам одной и той же сущности, или соответствующих двум или более сущностям).

• Управление справочными данными подразумевает контроль допустимых множеств значений данных и их определений. Цель RDM — обеспечить организации доступ к полному набору точных и актуальных текущих значений всех представляемых справочными данными понятий.

Ссылки

• DAMA International
• MDM Institute (http://www.tcdii.com)
• Глоссарий Gartner (https://www.gartner.com/en/information-technology/glossary/master-data-management-mdm)