Лучшие практики использования моделей данных для совершенствования управления корпоративными данными
Каждый знает, что объемы данных растут гигантскими темпами, но растут ли при этом знания об этих данных, и особенно - знания, которые могли бы быть использованы в бизнесе? В сегодняшнем мире, где столько внимания уделяется управлению данными, web-сервисам, соответствию законодательным нормам и повышению информационной безопасности, архитекторы данных должны создавать нечто большее, нежели классический словарь данных.
Особенно важным является построение хорошо документированных моделей - как данных, так и бизнес-процессов. Традиционных определений сущностей и атрибутов становится недостаточно, для эффективного функционирования бизнеса требуется полное документирование данных и процессов, которые с ними связаны.
По мере реализации новых проектов возрастают требований к метаданным (т.е. данным о данных), в отношении их адекватности и точности, которые могут быть удовлетворены только при поддержании их в актуальном состоянии, в соответствии с возрастающими требованиями, с обеспечением их синхронной эволюции.
Важность управления данными
Управление данными становится важным для бизнеса как никогда ранее, поскольку помимо удовлетворения прямых его потребностей все большее значение приобретает необходимость соответствия законодательным нормам, таким как Sarbanes-Oxley, Basel II и в последнее время - MiFID.
Однако очень небольшая часть данных, имеющаяся в организации, действительно может быть эффективно задействована. Gartner утверждает, что только 15% данных действительно используются компаниями, при этом про остальные 85% никто не знает, что это за данные, где они находятся и что с ними делать. Насколько будет приятно руководству этих компаний узнать, что 85% из имеющихся у них данных бесполезны и только занимают место?
Управление данными охватывает множество сторон, но основной его смысл - это установление набора стандартов или требований по работе с данными в масштабах предприятия с целью сделать их более полезными, более защищенными и более ценными, чтобы вместо обузы, выражающейся в затратах на хранение, данные стали настоящим капиталом для бизнеса. Используя лучшие практики по работе с данными в компании, можно автоматически уменьшить стоимость датацентров и постепенно начать использовать эти "потерянные" 85%.
Сфера управления данными распространяется за пределы группы архитекторов данных, при этом очень важно, чтобы и архитекторы, и разработчики моделей были вовлечены в управление данными и обеспечение информированности бизнеса в отношении их использования. Это означает создание стандартов защиты данных и документирования, что в ряде случаев может иметь прямое отношение к соблюдению законодательных требований. Необходимым элементом этого подхода является назначение управляющих данными, которые несут ответственность за качество, дизайн и соблюдение бизнес правил. Сюда входит также создание стандартов по разработке баз данных, применяемых по мере создания новых баз данных и перепроектирования существующих. Важно, чтобы эти стандарты были интегрированы в модели для обслуживания нужд бизнеса, связанных с управлением данными.
Общее определение сущности в типовой модели данных очень редко включает уровень критичности данных, которым она соответствует, масштаб использования этих данных на уровне предприятия или отдела, последнюю дату, когда представленные данные были проверены на точность, или последнюю дату изменения структуры базы данных. Большинство организаций рады даже тому, что у сущности есть хотя бы определение . Однако вышеперечисленная информация должна быть включена в модели, иначе это будет еще одним устаревшим артефактом, которым ИТ-службе нужно управлять без какой-либо ощутимой пользы для менеджмента.
Последние технологические тренды
Web-сервисы и SOA - это 2 новые передовые технологии, которые сейчас находятся в поле зрения большинства компаний. SOA позволяет интегрировать и повторно использовать данные в масштабах предприятия, что может, кроме всего прочего, ускорить процессы и степень совместного использования данных в масштабах организации. Это очень часто может улучшить эффективность в различных сферах бизнеса таких, как кол-центры клиентской службы, технической поддержки, или направление продаж и бухгалтерия. Важными компонентами SOA и web-сервисов являются XML и XML - схемы, которые представляют данные и структуру в одном сообщении. Этими компонентами, как и всем остальным, связанным со структурам данных, нужно управлять.
Многие организации фактически используют модели данных как основу XML-схем. Это не лишено смысла, потому что эти компании могут использовать тот же набор стандартов, который применяется для физических моделей данных и баз данных, что упрощает создание структур XML схем. Часто сначала создается логическая модель, которая представляет собой каноническую форму XML-сообщений. Каноническая модель получается чем-то средним между концептуальной и логической моделями, но с полным набором атрибутов, более точным словарем и более сильным заданием типов атрибутов. Польза в том, что для XML могут быть использованы те же самые словарь и стандарты именований, которые используются при создании баз данных, где данные появляются первоначально.
Надежный репозиторий
Важность хранения моделей данных в репозитории в противоположность сетевому диску нельзя приуменьшать. Модели представляют собой значительную часть интеллектуальной собственности бизнеса. Наихудший вариант - это хранить модели на жестком диске персонального компьютера или сетевом диске без процедур резервного копирования и восстановления, без возможности проанализировать общую картину как сумму составных частей и в результате узнать, что там в действительности находится. В этом случае тяжело привести информацию об активах ИТ в соответствие со знаниями и правилами бизнеса.
Размещение моделей в одном центральном хранилище максимизирует выгоду, которую они могут дать организации. Оно позволяет обнаружить избыточные данные и сократить стоимость хранения данных для организации. Кроме того, у большинства репозиториев есть возможность отслеживания общей информации, принадлежащей разным моделям, для обеспечения ее совместного использования и дальнейшего снижения стоимости управления общими данными в масштабах организации.
Отчетность тоже является неотъемлемой функцией любого репозитория. Это позволяет осуществлять поиск и получать отчеты людям, которым, возможно, репозиторий не требуется для активной разработки, но необходима информация относительно использования данных и их расположения.
Выводы
Резюмируя, можно сказать, что от того, как используются данные, зависит успех организации. Модели данных играют существенную роль в управлении данными на уровне предприятия, но их создание является только первым шагом. Модели данных должны быть хорошо документированными и раскрывать все аспекты работы с данными - кто к чему имеет доступ, когда, где и зачем. Модели данных должны отражать политики и использование данные в масштабах организации, чтобы обеспечивать необходимое управление ими, безопасность и использование в соответствии с наилучшими практиками.