?

Log in

No account? Create an account
Previous Entry Share Next Entry
Dark data: как неструктурированные данные преобразовать в бизнес-ценности. Начало.
logo CM
companymedia
О важности управления информацией
Используя мощные современные технологии и способы защиты,  администраторы, управляющие информацией в организации (менеджеры по управлению информацией) могут эффективно искать, понимать и управлять огромными объемами неизвестных, неструктурированных данных, которые хранятся в их организации. Это снижает расходы на хранение, электронное обнаружение (eDiscovery) и анализ данных, исправляет недостатки делопроизводства, снижает риски компании и открывает новые источники бизнес-ценностей.

Предисловие

dark data2
Переход за последние два десятилетия с бумажного на электронный контент, от писем бумажных к письмам электронным, во многих организациях привел к снижению качества обращения с документами (их получения, хранения, своевременного удаления). Попытки перевести шаблоны бумажного документооборота в электронную среду провалились, потому что они исходили из того, что классификацией и систематизированным хранением документов будут заниматься сами их создатели - а люди попросту этого не делали.

Примерно 80% данных, хранящихся в организации, неструктурированы – это электронная почта, социальные медиа, сообщения в инстант-мессенджерах, изображения, аудио, видео и т.п. Количество подобной информации растет быстрее, чем способность ей управлять (организовывать). Как результат, организация не знает точно, сколько именно у нее такой информации, где она находится, какие тайны и риски она содержит… вот уж действительно, темные данные (dark data). Эта проблема сегодня затрагивает большинство организаций. Но как бы то ни было, мало кто предпринимает усилия, чтобы решить ее до того момента, пока не сталкивается с крупными неприятностями: такими как судебное разбирательство, или регламентационного постановления. И тогда вдруг  обнаруживается, что компания не в состоянии реагировать на информационные запросы быстро, точно и экономически эффективно…

Решение этой ситуации требует изменения подхода к управлению данными. Организации должны понимать, что они не могут рассчитывать на создателей контента или документоведов, чтобы классифицировать всю имеющуюся информацию.
Необходимо использовать передовые технологии, инструменты и процессы, помогающие администратору информационных потоков последовательно и регулярно находить и организовывать все неструктурированные данные.

Реализация этого подхода состоит из четырех этапов:

• Сбор информации об объеме, месте, формате, принадлежности и содержании всех данных, хранящихся во всей организации.
• Использование этой информации для тщательного анализа данных в отдельных хранилищах.
• Действие в соответствии с результатами этого анализа для маркировки, объединения, изоляции, копирования, переноса или удаления выявленных данных.
• Использование технологий и процессов, примененных на первых трех этапах, для контроля над созданием новых данных и поддержки хранения постоянно актуальных. Применение полученных результатов для проведения дальнейших мероприятий по управлению информацией.


Этот процесс позволит организациям:

сделать хранение более эффективным - например, при помощи удаления данных, которые не имеют деловой ценности.
• выявить информацию повышенной конфиденциальности - такую как персональные и финансовые данные клиентов - и обращаться с ней надлежащим образом.
• поддерживать корпоративную политику документооборота (управления записями)  ( путем локализации информации по договорам, записям финансового, юридического и кадрового характера и помещения этих данных под контроль соответствующей системы управления.
• Извлекать выгоду из сохраненного контента при помощи объединенного поиска, структурного анализа и других техник бизнес-исследований следующего поколения.
Администраторы данных вовсе не должны исправить все проблемы организации сразу.

Скорее, управление информацией должно быть серией управляемых шагов, каждый из которых занимает определенное время и отдачу от вложений в которые можно измерить.


Часть1. Как мы до этого дошли

dark data1

До того, как компьютеры, сети и электронная почта стала обычным делом, документы были бизнес-активом, который требовал специальной группы сотрудников для обеспечения.
Организации нанимали штат секретарей, которые печатали документы по диктофонным записям или стенографии.  Они занимались проверкой документов, их утверждением, отправкой или хранением (в т.ч. хранением копий). Организация обязана была сохранять копии документов в течение соответствующего периода, затем отправлять их в шреддер ил сжигать для уверенности, что они ушли навсегда. Распространение персональных компьютеров в 1980-х и рост электронной почты в 1990-е годы все изменили. Переход на электронные документы означал, что отныне подготовка, проверка, доставка и подача информации зависит от самих сотрудников и их личной квалификации. Старомодное искусство согласования, оформления документов, регистрации и заполнения потеряло смысл. И, поскольку сети были разработаны, чтобы воспроизводить информацию, нажатие кнопки “удалить” вовсе не гарантирует организации уничтожение всех копий любого документа.

Возражения чиновников

В то время, как технологическое развитие стремилось в сторону меньшей дисциплины, чиновники протестовали. После громких скандалов, коснувшихся корпоративного управления, в частности, инцидента с компанией Enron, правительства начали принимать жесткие правила, которые увеличили внимание организаций к тому, как они управляют информацией.
Это возродило интерес к традиционной практике управления документами:
• Классификация каждого документа таким образом, который удобен для организации и который позволяет установить срок хранения в момент создания документа.
• хранение документов с избирательным правом доступа.
• хранение документов на срок, предусмотренный законом
• Уничтожение всех копий документа по истечении срока хранения.
Эти перемены привели к расцвету индустрия управления контентом. Поставщики управления документами, записями и электронной почтой (коммуникациями) обещали, что если организация классифицирует свои содержание и установит необходимые настройки безопасности, хранения и утилизации информации, их системы автоматически будут  обрабатывать каждый документ в соответствии с этими настройками.
Однако документ и систем управления документами почти никогда не заставляли конечных пользователей классифицировать свои документы. Даже если сотрудники скрупулезно классифицируют документы, большинству непонятны потребности бизнеса в категоризации, поэтому они используют неприменимые или противоречивые правила. В то время как документоведы понимали важность классификации и систематики, им не хватало ресурсов, чтобы вручную классифицировать содержимое, создаваемое другими сотрудниками. В результате, большая часть контента, который создают или которым делятся сотрудники, не классифицируется и не управляется. Это в значительной степени неструктурированные данные - электронная почта, вложения и других электронных средств коммуникации - хранятся кое-как.

Ситуация критическая

В результате этих тенденций многие организации не могут сказать с какой-либо степенью определенности, как много информации у них есть и где она находится, не говоря уже о том, что это, собственно, за информация. Они часто не понимают, насколько серьезна эта проблема, пока не произойдёт определенного события, такого как судебный процесс, регулирующее действие, неправомерные действия работников или черный пиар. Не полностью владея своей собственной информацией, организации должны тратить огромные ресурсы для того, чтобы реагировать на такие события. Они могут быть не в состоянии вовремя отреагировать на запрос суда или органа регулирования, или же их ответы могут не быть исчерпывающими.
Это ставит их в невыгодную позицию. Организации отчаянно нуждаются в структурировании управления информацией – дополнительном контроле, который даст возможность сложного поиска и управления human-generated content в интересах корпоративного управления.

Часть 2. вызовы управления информацией


dark data3
вы можете спросить, почему это еще не произошло – ведь необходимость такого структурирования очевидна. По ряду причин. Управление информацией это комплекс проблем, которые трудно решить.
Накапливание данных
Количество данных. Которые хранятся в организациях, продолжает расти со скоростью, обычно определяемой как 50% год от года. Примерно 80% этих данных неструктурированы – email, social media, переписка в инстант-ммесенджерах и другие коммуникации, документы, изображения, аудио и видео. Эти данные хранятся в разрозненных местах и форматах, включая почтовые сервисы, архивы, файлообменники и жесткие диски персональных компьютеров. Рост количества данных сам по себе еще не является проблемой. Но как бы то ни было, это количество растет быстрее, чем способность организаций осознавать это и управлять им.
Контроль или хаос?
В отсутствие встроенных способов управления и контроля, сотрудники следуют по пути наименьшего сопротивления. Они могут сохранять документы на файлообменниках, в качестве резервного копирования.
Они могут держать все на своем ноутбуке или настольном компьютере, потому что это удобно. Они, как правило, не используют стандартизованные наименования или каталогизацию, которая имела бы смысл для кого-то другого, кроме них. Конечный результат – огромное количество документов, называемых “fred1.doc” или “моя таблица.xls.” Некоторые жестко регулируемые отрасли – такие как фармацевтические компании - применяют элементы управления контентом, потому что они вынуждены. Но даже в этих организациях такие элементы управления, как правило, используются несистемно. Например, научно-исследовательское подразделение может использовать их, а отдел маркетинга нет.

Та же информация, разные точки зрения

Под словом «информация» разные группы внутри одной организации могут понимать разное.

Создатели контента рассматривают информацию в контексте производительности. Им важно производить материал быстро и иметь возможность использовать его повторно там, где это возможно – это дает возможность увеличить прибыль или сократить расходы.
Основная забота руководителей – осчастливить акционеров и другие заинтересованные стороны, сократив расходы, увеличив прибыль и обеспечив безопасность организации.
Цель менеджеров, обеспечивающих юридические вопросы и документооборот, - защитить бизнес. Они должны иметь возможность исправить процесс, если он пойдет не так.
ИТ-отдел не имеет представления о том, что содержат хранилища, им важно, чтобы бюджет позволял осуществлять хранение.
Эта разница интересов приводит к конфликтам. Например, адвокаты обычно считают, что безопаснее хранить все данные на всякий случай – вдруг пригодятся в текущем или будущенм судебном разбирательстве. В основном, ими движет боязнь судебных санкций за преднамеренное искажение информации. Но они не понимают, что хранение гигантских объемов информации растягивает бюджет ИТ-департамента и очень существенно усложняет управление этими объемами.

Недостатки традиционных инструментов

Стандартные инструменты и процессы управления информацией обеспечивают неполную видимость неструктурированного контента.
Их использование может потребовать недели и месяцы на реализацию/внедрение и еще дольше на то, чтобы создать удобную индексацию для поиска. Например, многие организации инвестируют в архивы электронной почты для управления информацией.
Но архивные системы были сделаны для того, чтобы безопасно накапливать данные), и не приспособлены для быстрого поиска информации или ее извлечения. В результате поставщикам инструментов для электронного поиска запросов в архивах часто не удается выполнить запросы в приемлемые сроки (если удается вообще). Эти инструменты имеют ограничение по масштабируемости, например, приспособлены только под конкретный случай или относительно небольшой объем информации. Они могут также вовлечь организацию в нелогичные процессы обработки информации – такие как отмена индексов по итогам завершения дела и вследствие этого необходимость реиндексации тех же данных для последующих дел.
Кроме того, поставщики архивов не обеспечивают возможность итеративного и интерактивного сужения поискового запроса, чтобы идентифицировать несколько нужных документов. Напротив, организации должны экспортировать десятки тысяч, а то и миллионы потенциально подходящих писем (емейлов) и документов, а затем пропускать их через воронку eDiscovery, что приводит к огромным расходам....

(продолжение следует)
источник: Nuix white paper, INFORMATION GOVERNANCE:
BUILDING BUSINESS VALUE FROM DARK DATA