Она основана на данных руководства по

Конспект DAMA DMBOK2 на русском языке

Глоссарий проекта и вебинар-обсуждение

Конспект каждой главы мы сопровождаем онлайн-дискуссией с экспертами по теме

Руководство данными (Data Governance, DG) – это деятельность по осуществлению руководящих и контрольных полномочий – планирования, мониторинг и обеспечение выполнения – в отношении управления информационными активами.

Решения относительно данных принимаются в любой организации вне зависимости от того, введена ли в ней формально определенная функция руководства данными

Содержание и ключевые направления программы руководства данными зависят от потребностей компании, но большинство включают следующие компоненты:

Стратегия Data Governance

Нормативно-правовое соответствие

Политика руководства данными

Управление проблемными вопросами

Проекты по управлению данными

Оценка информационных активов

Драйверы развития руководства данными

Руководство данными никогда не должно быть самоцелью, польза применения практик руководства данными должна быть очевидна сотрудникам, и, как правило, включает разные аспекты.

Снижение рисков

→ Общее управление данными
→ Безопасность данных
→ Конфиденциальность

Совершенствование процессов

→ Нормативно-правовое соответствие
→ Повышение качества данных
→ Управление метаданными
→ Эффективность управления проектами разработки
→ Управление поставщиками

Цели и принципы руководства данными

Цель Data Governance – создать в компании возможности для управления данными как активом. Руководство данными предоставляет принципы, политику, процессы, рамочную структуру, метрики и механизмы надзора для управления данными как активом для руководства деятельностью по управлению данными на всех уровнях.

Для этого программа Data Governance должна быть:
→ Устойчивой (т.е. постоянной работой, а не разовым проектом)
→ Встроенной в процессы
→ Измеримой

С начала 2000-х годов, The Data Governance Institute разрабатывает принципы, способные заложить прочный фундамент для руководства данными. В DAMA также отмечают, что успешная реализация программы Data Governance требует способности к изменениям.

Определяющее влияние со стороны бизнеса

Базовая рамочная структура

Разделенная ответственность

Важные концепции и понятия

Датацентричная (data-centric) организация использует данные как актив и управляет ими на всех фазах жизненного цикла. Чтобы стать по-настоящему датацентричной, организация должна изменить способ трансформации стратегии в действия.

Общие рекомендации:
→ Данными следует управлять как корпоративным активом
→ Поощрение применения лучших практик управления данными в масштабе всей компании
→ Корпоративная стратегия работы с данными строго согласована с общей стратегией развития бизнеса
→ Процессы управления данными непрерывно совершенствуются

Данные перестают считаться побочным продуктом, а обеспечение высокого качества данных превращается в цель бизнес-процессов

Основные элементы организационной системы руководства данными

Типичные комитеты и другие органы руководства данными

Управляющий комитет по руководству данными

Высший орган руководства данными в организации
Функции: Надзор, поддержка и финансирование Data Governance
Состав: Кросс-функциональная группа руководителей высшего звена

Совет по руководству данными (Data Governance Council, DGC)

Функции: Управление инициативами в области DG (например, разработка политик или метрик)
Состав: руководители и ответственные сотрудники в соответствии с используемой операционной моделью

Офис по руководству данными (Data Governance Office, DGO)

Функции: текущая работа на корпоративном уровне в части определений данных и стандартов по управлению данными во всех областях знаний DAMA DMBOK
Состав: сотрудники с координирующими ролями, включая распорядителей данных (data steward) и владельцев данных (data owners)

Команды по распоряжению данными

Заинтересованные группы сотрудников с фокусом на одной или нескольких предметных областях/проектах
Функции: консультации с проектными командами по вопросам определения данных и стандартов по управлению данными (из области их интересов)
Состав: распорядители данных из бизнеса или ИТ, аналитики данных

Локальные комитеты (советы) по руководству данными

Относится только к крупным организациям. Могут формироваться комитеты или советы по руководству данными на уровне отдельных дивизионов или департаментов, работающие при содействии и под наблюдением корпоративного совета по руководству данными (DGC)

Типы операционных моделей руководства данными

Централизованная

Руководство данными едино для всей компании, и единая организационная система DG регулирует все работы по предметным областям

Реплицируемая

Руководство данными распределено по отдельным и независимым бизнес-единицам, операционная модель и стандарты реплицируются в каждой бизнес-единице

Федеративная

Организационная система DG координирует деятельность нескольких бизнес-единиц (для единых стандартов и терминов)

Распоряжение данными (data stewardship) — комплекс активностей, связанных с несением ответственности (и подотчетностью) за данные и процессы. Обеспечивающие эффективный контроль и использование информационных активов, и включающий задачи:
→ Создание и управление ключевыми метаданными
→ Документирование правил и стандартов
→ Управление проблемными вопросами в области качества данных
→ Текущая деятельность по руководству данными

Типы распорядителей данных (в зависимости от сложности организации и целей ее программы Data Governance), которые могут присутствовать:

Главный распорядитель данных (Chief Data Steward)

Владелец данных (Data Owner)

Исполнительные распорядители данных (Executive Data Steward)

Технические распорядители данных (Technical Data Stewards)

Распорядители корпоративных данных (Enterprise Data Steward)

Координирующие распорядители данных (Coordinating Data Stewards)

Распорядители бизнес-данных (Business Data Stewards)

Оценка информационного актива — это процесс достижения понимания и расчета экономической ценность данных для организации. Поскольку данные и бизнес-аналитика — абстрактные понятия, их трудно соотнести с экономическим эффектом, соответственно, ключом к определению их ценности является понимание того, как они используются и какие выгоды приносят.

Некоторые способы оценки:
→ Стоимость замены/восстановления
→ Рыночная стоимость
→ Выявленные возможности
→ Продажа данных
→ Стоимость рисков

Проводимые работы в области Data Governance

Определение задач и функций руководства данными: должна декомпозироваться бизнес-стратегия и на основе нее должны выделяться цели по управлению данными.

Оценка готовности: понимание статуса развития организации по ключевым аспектам (зрелость управления данными, способность к изменениям, готовность к сотрудничеству, согласованность с бизнесом)

Выявление возможностей/угроз и согласование с бизнесом: анализ качества данных, оценка сложившихся практик управления данными и т. д., на основе которых будут подготовлены требования к руководству данными

Про качество данных

Качество данных – одна из важнейших областей изучения на этапе выявления возможностей и угроз. Оценка качества данных помогает выявить бизнес-процессы, подверженные наибольшему риску при использовании в их реализации некачественных данных, а также определить финансовые и другие выгоды от DG инициатив.

Создание точек взаимодействия внутри организации: точки взаимодействия, посредством которых CDO оказывает влияние (закупки и контракты, бюджет и финансирование, нормативно-правовое соответствие, жизненный цикл разработки систем/среда разработки)

Разработка стратегии руководства данными: стратегия должна быть комплексной, итеративной, учитывать особенности организации и согласовываться с бизнес-стратегией. Обязательно включает:
→ Общие положения
→ Операционная рамочная структура и структура распределения ответственности
→ Дорожная карта внедрения
→ Операционный план

Определение операционной рамочной структуры руководства данными: включает такие аспекты как ценность данных для организации, бизнес-модель, культурные факторы, влияние регламентации

Выработка целей, принципов и политик: именно эти вещи переведут организацию в желаемое состояние, должны включать меры по распространению по всем целевым группам внутри организации, обеспечению выполнения и контроля

Поддержка проектов в области управления данными: четкое обоснование вклада проектов по руководству данными в минимизацию рисков и повышение эффективности работы, координация действий с проектным офисом и ИТ

Внедрение практики управления организационными изменениями: создание команды, которая будет отвечать за планирование изменений, обучение сотрудников, оказания влияния на разработку систем, внедрение политик, коммуникации

Про коммуникации

Коммуникации – жизненно важная составляющая процесса управления изменениями. Программа управления изменениями, обеспечивающая поддержку внедрения Data Governance, должна помогать в понимании ценности данных как актива, внедрять обучение в области управления данными, оценивать эффекты от управления изменениями.

Внедрение практики управления проблемными вопросами (issue management): процедуры выявления, оценки масштаба, приоритизации и разрешения спорных вопросов в сфере Data Governance (распределение полномочий, эскалация проблем управления изменениями, нормативно-справочное соответствие, качество данных и т. д.)

Внедрение руководства данными: планомерная работа, при которой на начальных этапах важны следующие направления:
→ Определение процедур data governance для достижения наиболее приоритетных целей
→ Выработка, согласование и ввод в действие бизнес-глоссария, документирование терминологии и стандартов
→ Согласование с корпоративной архитектурой и архитектурой данных для обеспечения лучшего понимания данных и систем
→ Финансовая оценка информационных ресурсов в целях оптимизации принятия решений и улучшения понимания роли данных в обеспечении успешной работы организации

Поддержка стандартов и процедур: разработка стандартов и процедур в областях знаний по управлению данными (архитектура данных, моделирование и проектирование, безопасность, хранение и операции с данными и т.д.)

Разработка бизнес-глоссария: необходим для единого общего понимания основных понятий и терминов, снижения риска неправильного использования данных из-за неверного понимания связанных с бизнесом понятий и концепций, повышения терминологической согласованности между  техническими и бизнес-подразделениями, максимизацию возможностей поиска и доступа к документированным знаниям организации

Встраивание руководства данными в процессы: внедрение в многообразный спектр процессов организации моделей поведения, связанных с управлением данными как активом

Инструменты и методы Data Governance

Информирование, доступность в сети/на веб-сайте

Основные моменты по программе Data Governance должны публиковаться в сети/на внутрикорпоративном портале и должны включать:

→ Основные положения стратегии и программы руководства данными, включая формулировки видения, миссии, целей и задач, описание преимуществ и дорожной карты внедрения
→ Политики и стандарты в области данных
→ Описание ролей и обязанностей распорядителей данных
→ Новости, касающиеся программы, мнения руководства по теме data governance, тематические форумы сообщества в области руководства данными
→ Отчеты о проведенных оценках качества
→ Процедуры выявления и эскалации проблемных вопросов, сылки на сервисы регистрации заявок и проблемных вопросов
→ Документы, презентации и учебные программы
→ Контакты программы руководства данными

Ключевой инструмент Data Governance. Он содержит согласованные определения бизнес-терминов и связывает их с данными.

А также: инструменты для управления потоками работ (например, процессом внедрения новых политик в области данных), инструменты для управления документами, оценочная ведомость руководства данными

Чтобы избежать сопротивления и проблем, обусловленных продолжительной кривой обучения (learning curve), программа Data Governance должна предполагать оценку прогресса и успеха с помощью метрик, которые демонстрируют, каким образом участники программы добавляют бизнес-ценность и достигают поставленных целей с точки зрения ценности, эффективности и устойчивости.

Подписывайтесь на новые выпуски проекта

Получайте обновления конспекта DMBOK2 себе на почту по мере их публикации

Управление на основе данных. Что общего между электронным дневником и базой налоговой?

Уровень сложности
Средний

Время на прочтение
7 мин

Количество просмотров 1.5K

Сегодня о подходе к управлению, основанному на данных, не говорит только ленивый. Кто уже имеет с этим дело в своей работе, предлагаем сразу переходить к разделу с описанием опыта Татарстана по управлению данными. А для тех, кто этим направлением раньше не интересовался, Центр цифровой трансформации Татарстана дает пару вводных.

Что означает управление, основанное на данных

Очевидно, что управлять, например, самолетом или компанией можно по‑разному: полагаясь на интуицию, по советам окружающих вас знатоков или доверенных лиц (они ведь не обманут?)… Но можно и на основе данных. Например, в самолете для удобства эти данные выводятся на приборную панель, а в компаниях формируются в виде отчетов.

В какой‑то момент может показаться, что делать больше ничего не нужно — данные уже имеются: и в самолете, и в автомобиле, и отчеты уже в каждом смартфоне пачками. Бери, да управляй, чем хочешь! На деле же все несколько сложнее.

Представьте себе, что управлять теперь можно только на основе данных: к интуиции уже не прислушаться, советов тоже не спросить. Смотришь на приборы и принимаешь единственное верное решение. Ну, или неверное. Многое зависит и от наличия всех необходимых приборов, и от качества их показаний. Зачем все так усложнять, спросите вы? А все потому, что качество жизни граждан зависит от решений, принимаемых государством, поэтому эти решения не должны зависеть от настроения, стечения обстоятельств или иных косвенных факторов.

Чем тщательнее проработан вопрос, чем прозрачнее изложена суть, тем эффективнее может быть решение. И чем больше эффективных, полезных гражданам решений будет принимать государство, тем выше будет качество нашей с вами жизни. Чтобы на принятие управленческого решения уходило меньше времени, необходимы данные, много данных. При этом таких данных, которым мы могли бы довериться.

Что нужно, чтобы управление на основе данных стало возможным

Для этого необходимо всего две составляющие — данные в нужном количестве и нужного качества. Звучит несложно, но дьявол, как всегда, в деталях. Сразу возникают вопросы. В нужном количестве — это в каком? А «качество» данных — как его оценивать? Давайте разбираться.

Предположим, вы решили выйти на улицу. В голове уйма вопросов — на улице холодно или жарко? Идет дождь или сухо? Светло там или уже стемнело? Успеете ли вернуться вовремя, чтобы выспаться перед работой или завтра выходной? Не было ли других запланированных дел? Ответ на каждый вопрос найти не сложно — нужны всего‑то термометр, часы, календарь, окно, ежедневник. А часто бывает так, что все ответы уже в голове, так как в течение дня этими инструментами вы уже пользовались и знаете их показания. С перечнем нужных данных разобрались. Теперь про качество.

Термометр, часы, окно — а есть ли требования к ним? Чтобы ваше решение пойти погулять оказалось верным и принесло вам только приятные ощущения, эти инструменты не должны вас подвести. Если термометр показывает температуру только в диапазоне от 80 до 100 градусов по Цельсию, толку от него будет мало. Кроме того, он обязательно должен быть установлен снаружи помещения и на расстоянии от источников тепла и холода. Желательно, чтобы он был еще и проверен — для надежности. С качеством теперь тоже понятно.

Давайте закрепим результат, разобрав требования к качеству окна. Любое окно не подойдет. Лучше, если оно смотрит в направлении вашего маршрута. В крайнем случае, пусть смотрит на аналогичное по условиям место (скажем, не во двор, а на дорогу). Но окно, которое смотрит в крытый переход между домами, не позволяет вам объективно оценить ситуацию на улице.

Таким образом, все те свойства данных, которые нужны нам для принятия решения, называются критериями оценки качества данных. Критериями температуры окружающей среды вашей местности является термометр, установленный снаружи помещения, отображающий температуру в диапазоне от -50 до 50 градусов по шкале Цельсия, имеющий сертификат соответствия отображаемых значений окружающей среды. В случае отсутствия такого термометра вы можете воспользоваться показаниями виджета погоды в смартфоне, но к нему вы тоже предъявляете какие‑то требования.

На простом примере мы постарались объяснить, что такое качество данных, как его оценивать и к чему применять. Те же принципы применяются и для более сложных решений — представьте, сколько показателей отслеживает водитель автомобиля, когда едет по городским улицам в час пик. А сколько показателей необходимо учесть, принимая решение о согласовании бюджета республики на год? Требования к необходимому количеству показателей и уровню их качества зависят от критичности принимаемого управленческого решения.

Почему правительство Татарстана задумывается о таком подходе 

С 2005 года в Татарстане активно ведется программа информатизации отраслей экономики. Было создано более 60 информационных систем, в которых полезный объем данных превышает 1,5 Петабайта. Татарстан по праву занимает лидирующие позиции в рейтингах по цифровизации.

Даже если рассматривать каждую информационную систему по отдельности и оценивать достаточность данных для каждого бизнес‑процесса, то придраться не к чему. Но если рассматривать данные разных систем в целях обогащения (насыщения данных дополнительными свойствами) наборов данных и их использования в новых информационных системах и сервисах, то возникает ряд вопросов:

  • В какой системе хранятся данные, необходимые для принятия того или иного решения?

  • По каким критериям оценивалось их качество и каков его уровень?

  • Как получить доступ к этим данным с соблюдением всех законов и требований к обеспечению информационной безопасности?

  • Что делать, если данные, похожие на те, которые нам необходимы, хранятся в разных информационных системах? Которой из них отдать предпочтение?

Методика принятия управленческого решения должна однозначно описывать, какие данные должны применяться для принятия этого решения. Одни и те же данные могут использоваться для принятия разных решений, и у каждого решения могут быть свои требования к качеству данных.

Как Минцифры Татарстана представляет себе путь к управлению на основе данных

Как видим, цель благая. Значит, нужно ее достигать, и как можно скорее, но работы предстоит проделать немало. Для удобства разделим ее на три уровня — организационный, методологический и технологический. Рассмотрим каждый из них. 

Организационный уровень. Он охватывает вопросы легитимности обработки (сбора, хранения, использования) сбора и доступа к данным и вопросы взаимодействия участников этого процесса, в том числе, уровень их ответственности. Это верхний уровень — здесь определяется, кто и что должен делать с данными.

Методологический уровень. Здесь формируются знания о данных, алгоритмы их обработки, критерии качества, особенности жизненного цикла данных. Это промежуточный уровень, на котором определяется, как нужно работать с данными.

Технологический уровень. На этом уровне формируются требования к аппаратному и программному обеспечению обработки данных, защите данных, интеграции информационных систем и т. д. Это нижний уровень — здесь мы определяем, чем обрабатывать данные.

Как говорилось ранее, управление на основе данных — не новая тема. В мире существуют компании, в которых совершенство процессов управления данными позволяет управлять процессами компании на основе цифровых двойников. И закономерно, что накопился немалый опыт в этом интересном деле.

Классическим изданием сегодня считается книга DAMA DMBOK 2 (Data Administration Management Association — Ассоциация администрирования управления данными, Data Management Body of Knowledge — свод знаний по управлению данными), выпущенная некоммерческой международной организацией, которая занимается вопросами в области управления данными. Книга не является инструкцией, она лишь дает рекомендации по некоторым фундаментальным вопросам управления данными, и неизбежно содержит специфику западной культуры. Тем не менее, из нее есть что почерпнуть.

Предлагаем рассмотреть подробнее предметную область, которую призваны систематизировать вышеуказанные три уровня.

Мы упоминали, что правительство Республики Татарстан использует более 60 региональных информационных систем, среди них портал государственных и муниципальных услуг, портал электронного образования, системы электронного здравоохранения, ряд финансовых систем и др. Помимо этого, данные, касающиеся Татарстана, есть и в коммерческих структурах — это операторы сотовой связи, телеком операторы, соцсети. В федеральных системах также обрабатываются данные, имеющие отношение к нашей республике.

Все это — источники данных. Они же в ряде случаев могут быть и потребителями данных. Мы предполагаем несколько категорий пользователей государственных данных. Среди них правительство Татарстана, научное сообщество и бизнес, а также жители республики.

Для того чтобы управлять на основе данных, нужно сначала научить управлять самими данными. Управление данными включает в себя ряд процессов, которые позволяют повысить их прозрачность. Сегодня как в России, так и в мире активно обсуждаются вопросы демократизации данных (поговорим в следующих статьях). Говоря о прозрачности данных, мы имеем в виду, что ими должно быть удобно пользоваться:

  • должно быть легко и удобно их искать;

  • должно быть понятно, что они собой представляют — как собирались, где хранятся, кто ими владеет, где используются, как получить доступ;

  • при работе с ними должна обеспечиваться информационная безопасность.

В следующих публикациях расскажем о результатах нашей деятельности на конкретных примерах. А пока предлагаем вам поделиться в комментариях, о чем бы вы хотели прочитать в статьях на тему управления на основе данных в Татарстане.

  • /

Предприниматели всегда формировали стратегию управления, опираясь на данные о расходах и доходах, но решения принимали, основываясь на интуицию, опыт, теорию или традиции. Такие решения в бизнесе всегда субъективны и зависят от личного мнения руководителя.

Но есть и другой подход, который основан на объективных статистических данных, метриках и их грамотной интерпретации. Он опирается на факты и с большей вероятностью принесет прибыль.

Data Driven подход - как принимать решения на основе данных в ecommerce | KISLOROD

Содержание

  1. Что это такое?
  2. Концепция Data Driven
  3. В чем достоинства
  4. Где можно использовать
  5. Data Driven в ecommerce
  6. Насколько вы готовы к Data Driven
  7. Как внедрить Data Driven
  8. Как Data Driven работает в KISLOROD
  9. Работа с данными — основа преимущества на рынке

Что это такое?

Data Driven (Дата Драйвен) — подход в управлении деятельностью, который во всех процессах опирается на данные, а не интуицию или личный опыт.

С английского термин переводится как «управляемый данными» и может относиться к любому процессу деятельности. В чем заключается Data Driven подход? Управление — это процесс принятия решений, а значит, все решения на пути достижения цели должны быть обоснованы данными.

Базируется на четырех принципах:

  1. Решения принимаются на основе данных.
  2. Чтобы доверять данным, они должны быть статистически значимыми и достоверными.
  3. Данные необходимо анализировать и верно интерпретировать.
  4. Работа с данными требует ресурсов: бюджетов, времени и внимания специалистов.

То есть любые решения, которые вы принимаете в процессе достижения цели, должны основываться на достоверных данных, которые проверены и проанализированы.

Концепция Data Driven

Подход Data Driven — это совокупность однородных методов. А метод — это способ достижения цели. Поэтому сначала определяются условия выбора, и только потом выстраивается стратегия.

То есть сначала определяется бизнес-цель, например, рост прибыли за год. А уже затем определяются стадии и ставятся промежуточные цели, выполнение которых определяется метриками — KPI.

Чтобы установить условия выбора, нужно определить:

  1. Цель действий.
  2. Решения, которые необходимо принять.
  3. Количество необходимых данных.
  4. Тип данных.
  5. Источник данных.
  6. Срок и частоту обновления данных.
  7. Методы анализа и интерпретации.

В результате процессы, которые построены на анализе данных, становятся прозрачными, управляемыми и предсказуемыми.

В чем достоинства

Подход дает ощутимые преимущества, потому что стратегия, которая основана на данных, опирается на факты и достоверную информацию. Таким образом она помогает принимать объективные решения.

Большая уверенность в бизнес-решениях

Аналитика данных заменяет субъективные мнения объективными фактами и рациональным подходом. Это дает логическое и конкретное обоснование вашего выбора. Что позволяет оценить существующую производительность и разработать четкий путь к достижению целей.

Ясность в отношении возможностей бизнеса

Сбор и анализ данных упрощает процесс исследования рынка. Изменения рынка и новые тенденции выявляются быстрее, что дает преимущество перед конкурентами. Данные подскажут, как скорректировать маркетинговую кампанию.

Более точное прогнозирование

Анализ данных дает возможность находить новые идеи, что позволяет тестировать различные бизнес-стратегии. А результаты тестирования повышают точность прогнозов.

Повышенная гибкость и способность к масштабированию

Отделы, которые могут отслеживать KPI и результаты, получают возможность корректировать свой курс. Это упрощает непрерывные постепенные изменения. Что дает возможность быстро воплощать идеи и открывать новые направления.

Высокая операционная эффективность и экономия средств

Когда все данные учитываются, это повышает ответственность всех сотрудников за достижение конкретных целей и получение измеримых результатов. Высокая подотчетность приводит к экономии средств и повышению доходов.

Рост лояльности и вовлеченности сотрудников

Работа на основе данных — прозрачна и понятна коллективу. Все видят долгосрочные цели и этапы ее достижения, каждый понимает свой вклад и ответственность. У работников и менеджеров появляется чувство контроля.

Где можно использовать

Data Driven подход может быть применен везде, где можно получить и проанализировать статистические данные.

Самые популярные области применения Data Driven это:

  1. Data Driven Decisions — принятие решений при управлении проектами.
  2. Data Driven Management — управление процессами.
  3. Data Driven Business — ведение бизнеса на основе данных, Big Data и систем Business Intelligence.
  4. Data Driven Learning — обучение на основе данных, например, изучение иностранных языков.
  5. Data Driven Design — проектирование дизайна на основе данных о поведении пользователей.
  6. Data Driven Testing — тестирование программных продуктов, сайтов и приложений.
  7. Data Driven Development — разработка программных продуктов.

Мы будем рассматривать применение Data Driven в электронной коммерции.

Data Driven в ecommerce

В электронной коммерции используют подход Data Driven Marketing, то есть маркетинг на основе данных.

Он дает более полное представление о том, кто ваши клиенты и чего они хотят. Также это процесс получения информации о поведении потребителей и выявления тенденций и паттернов, что позволяет корректировать маркетинговые усилия и повышать их эффективность.

Обзор поведения пользователей в Data Driven подходе | KISLOROD

Обзор поведения пользователей

  • Правильно определить целевую аудиторию.
  • Создать портрет потребителя с помощью данных, а не догадок.
  • Верно таргетировать предложение и маркетинговые сообщения.
  • Повысить эффективность рекламных кампаний.
  • Прогнозировать поведение пользователей на основе паттернов.
  • Повысить средний доход на пользователя ARPU и пожизненную ценность клиента.
  • Оперативно реагировать на изменения рынка.

Опора на данные в маркетинге имеет следующие цели:

  1. Повышение эффективности.
  2. Привлечение новых клиентов.
  3. Удержание постоянных клиентов и мотивация к повторным покупкам.
  4. Персонализированный подход к коммуникациям с посетителями.
  5. Понимание поведения и потребностей пользователей с помощью анализа данных.

Для достижения целей собирают два типа данных:

  1. Количественные, которые рассказывают, что и в каком объеме происходит на сайте.
  2. Качественные, которые рассказывают контекст и историю, и помогают понять, почему пользователи ведут себя определенным образом.

Анализ этих данных дает возможность определить сценарии поведения пользователей, пути клиента и найти препятствия при прохождении воронки продаж.

Маркетинг на основе данных — это итеративный процесс, то есть циклы постоянно повторяются. Он может быть применен как для привлечении трафика, так и для повышения конверсий, продаж и прибыльности интернет-магазинов.

Насколько вы готовы к Data Driven

Прежде чем внедрять подход, нужно определить на каком уровне находится ваша компания — для этого можно использовать готовые модели.

Data Driven Model — это модель для определения аналитической зрелости компании от Gartner.

Уровни Data Driven компаний по мере их развития | KISLOROD

Уровни Data Driven компаний по мере их развития

Всего выделяют 5 уровней работы с данными.

1. Базовый — начало работы с данными

  • Ручной сбор данных.
  • Связанность данных низкая или отсутствует.
  • Теряется больше 50% данных.
  • Низкая культура работы с данными.
  • Работает небольшая команда.

2. Приспособленческий — данные используются часто

  • Полуавтоматический сбор данных.
  • Данные из разных систем не связаны.
  • С данными работают руководство и отдельные команды.
  • Тактические решения принимаются на основе данных.

3. Систематический — решения принимаются на основе данных

  • Сбор данных определен стратегией.
  • Автоматический сбор данных и отчетов.
  • Внедрены системы работы с данными.
  • Собирается от 50 до 80% всех данных.
  • Добавляются сторонние источники данных.

4. Дифференцирующийся — быстрый рост, благодаря данным

  • Выделенная команда аналитиков данных.
  • Стратегические решения принимаются на основе данных.
  • Данные служат источником идей для развития маркетинга.
  • ROI рассчитывается на основе данных.

5. Трансформирующий — бизнес, завязанный на работе с данными

  • Сильная культура работы с данными.
  • Инвестиции основаны на данных.
  • Данные — центральная часть стратегии.
  • Все решения основаны на данных.
  • Все данные компании связаны между собой и составляют единую базу.

Как внедрить Data Driven

Чтобы внедрить Data Driven подход в вашу организацию, нужно:

  1. Определить источники данных.
  2. Убедиться в точности, актуальности и чистоте данных.
  3. Собрать все источники на единой платформе.
  4. Создать инфраструктуру для хранения — базы данных.
  5. Найти специалистов по аналитике и работе с данными.
  6. Собрать данные из источников.
  7. Проанализировать их, выдвинуть гипотезы.
  8. Проверить гипотезы на практике и получить выводы.

Что важно понимать

1. Это не просто сбор, как можно большего количества разных данных.

Необходимы данные, которые помогут понять поведение пользователей, чтобы затем улучшить продукт или развить проект.

2. Чтобы получить статистически значимый результат, необходимы достаточные объемы данных.

Важны сроки и объемы сбора данных, иначе результат нельзя считать статистически достоверным.

3. Важно не переборщить с подходом, основанным на данных.

Данные — это не самоцель. Цель — понять пользователя и улучшить его опыт, чтобы достичь бизнес-целей.

  1. Недостаточно просто собирать данные, их необходимо обрабатывать, хранить, интерпретировать, а затем выдвигать и проверять гипотезы.
  2. Необходима инфраструктура, нужны системы веб-аналитики, учета ресурсов и сквозной аналитики, CRM.
  3. Нужны опытные специалисты, которые умеют правильно интерпретировать данные и тестировать гипотезы.
  4. Необходимо определенное время, чтобы получить значимые результаты.
  5. Нужна культура работы с данными, то есть привычка принимать решения только на основе данных, а не наугад.

Если у вас нет квалифицированной команды и опыта — вы рискуете потратить много времени и ресурсов, но добиться слабых результатов. Альтернатива — отдать работу с данными на аутсорс, тем, кто уже имеет опыт и наработанные методики.

Работа со специалистами на аутсорсе

Выберите правильного партнера

Убедитесь, что агентство активно использует данные и работает с ними на стратегическом уровне. Партнер должен обладать реальным опытом извлечения и проверки данных, тестирования гипотез и внедрения.

Используйте MVP

Минимально жизнеспособный продукт — это то, что позволит найти лучший вариант на практике с помощью тестирования, но без крупных затрат. Агентства, которые работают на основе данных, постоянно тестируют свои гипотезы, а значит, с большей долей вероятности предположат выигрышное решение.

Объедините количественные и качественные данные

Работа с данными — это не просто поиск и визуализация красивых цифр. Любая гипотеза должна опираться как минимум на 2 источника данных и также должна быть подтверждена 2 типами данных. То есть цифры должны быть подтверждены контекстом и историей.

Только такой подход позволяет понять поведение пользователей и улучшить их опыт, что повысит их лояльность и как результат повысит конверсии, лояльность и повторные покупки.

Как Data Driven работает в KISLOROD

Наше агентство — пример Data Driven компании. Мы опираемся на данные во всех рабочих процессах, внедряем и развиваем культуру работы с данными среди сотрудников.

Любая работа с данными строится как петля улучшений, то есть повторяется итерациями:

  1. Сбор данных.
  2. Поиск идей и выдвижение гипотез.
  3. Отбор гипотез.
  4. Исследования и тестирование гипотез.
  5. Анализ результатов.

Затем процесс запускается заново. Так мы работаем последовательно и рационально, а все свои действия планируем и можем прогнозировать результаты с высокой долей вероятности.

Алгоритм работы Data Driven | KISLOROD

Кроме того, мы ведем собственную базу знаний, где аккумулируем отраслевой опыт, что повышает точность прогнозов. Это существенно экономит бюджеты заказчика и наше время и нервы, как подрядчика.

Аудит интернет-магазинов

При проведении аудитов мы собираем данные об ошибках на сайте и даем рекомендации по их устранению.

В рамках этой услуги производится два вида аудитов:

1. Юзабилити-аудит. Позволяет найти, а затем устранить проблемы в использовании сайта, определить причины низкой конверсии и плохих показателей поведенческих факторов.

2. Технический аудит. Выявляет проблемы как в коде и в верстке, причины низкой производительности и нагрузки на сервер.

В нашей практике есть хороший пример, когда технический аудит позволил заказчику сэкономить значительные средства — ему не пришлось создавать новый интернет-магазин. Вместо этого мы провели нагрузочное тестирование, а затем оптимизировали программный код так, чтобы ресурс выдерживал нагрузку до 60 тысяч посетителей в день.

Аудит интернет-магазинов Data Driven | KISLOROD

Таким образом данные становятся основой для доработок, что позволяет принимать осознанные рациональные решения. Мы также используем собственный многолетний опыт разработки на «1С-Битрикс» и в e-commerce проектах.

Продуктовая аналитика

Это анализ данных по всей воронке продаж интернет-магазинов. С помощью аналитики мы находим новые точки роста и возможности для доработок.

1. Рост конверсии. Собираем данные, выдвигаем и проверяем гипотезы, чтобы увеличить конверсию за счет доработок.

2. Юзабилити-тестирование. Проводим A/Б-тесты и юзабилити-тестирование на фокус-группах, чтобы улучшить опыт пользователя.

3. Конкурентный анализ. Собираем данные об игроках в нише: трафик, аудиторию, сильные и слабые стороны. Даем рекомендации, как отстроиться от конкурентов и выгодно от них отличаться.

Анализ воронки сайта с низкой конверсией | KISLOROD

Анализ воронки сайта с низкой конверсией

Еще один пример — системная работа над оптимизацией конверсии, CRO. Она объединяет различные методы сбора данных, поиска и проверки гипотез для улучшения пользовательского опыта. Цель — повышение среднего чека и количества транзакций без привлечения дополнительного трафика.

Data Driven Design

В разработке при проектировании UX и UI дизайна мы используем Data Driven Design.

Data-Driven Design — это проектирование продукта на основе данных: исследований, тестов и проверки гипотез.

В традиционном подходе дизайн создается на основе догадок, опыта и интуиции дизайнера. Мы же разрабатывая проекты, руководствуемся своим опытом, лучшими практиками на рынке от Baymard Institute и Nielsen Norman Group, а также анализом данных и результатами исследований. При этом мы не отрицаем опыт и интуицию, но исключаем вкусовщину и действия наугад.

Кейс из практики

Работали с интернет-магазином детской одежды, но проект находится под NDA, поэтому покажем только прототипы вариации первого экрана.

Старый вариант карточки товара | KISLOROD

Старый вариант карточки товара

Провели CustDev, изучили отзывы бренда на маркетплейсе — так выяснили, на какие детали обращает внимание ЦА, когда выбирает одежду в этой категории. По результатам анализа полностью переработали блок со слайдером изображений.

  1. Отказались от слайдера на десктопе — изображения выводятся сразу друг под другом.
  2. На мобильных слайдер остался, но изменилась механика.
  3. Значительно увеличили размер изображения.
  4. Внедрили элементы инфографики с УТП.

Оптимизировали коммерческий блок, собрав все важные элементы, которые влияют на принятие решения, на первом экране, поскольку большая часть посетителей видят именно его.

Прототип новой версии страницы | KISLOROD

  • собрали выбор ростовки в селект;
  • на смартфонах блок с выбором ростовки расположили в ряд;
  • вытащили из табов и переместили вверх информацию о доставке и оплате;
  • внедрили фиксацию коммерческого блока, пока пользователь не прокрутит все изображения;
  • добавили возможность покупателям делиться своими фотографиями в отзывах.

Если приглядеться, то можно найти ещё отличия

  • рост дохода на пользователя (ARPU) на 37,28%;
  • коэффициента транзакций на 36,21%;
  • дохода на 24,59%.

Больше о том, как мы работаем с UX-дизайном, можно прочитать в нашем блоге — статьи про UX и UI.

Работа с данными — основа преимущества на рынке

Data Driven подход не отрицает интуиции или личного мнения, он означает, что все основные усилия в работе должны определяться фактическими данными, то есть реальностью.

Концепция подойдет не только большим компаниям. Развитие современных технологий позволяет использовать подход в организациях любого размера.

Есть желание внедрить Data Driven подход в вашу электронную коммерцию? Обращайтесь в KISLOROD.

Получайте полезный контент от KISLOROD в любой из мессенджеров

При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности

Спасибо, что дочитали до конца.

Если информация была полезна, поделитесь статьёй. Вам не сложно, нам приятно ;)

Рекомендованные статьи

Скачайте 17 точек роста и 100 + чекеров для роста конверсии и прибыли интернет-магазина

При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности

Мы проанализировали ведущие интернет-магазины, результаты исследований, свой опыт и собрали важные моменты в одно руководство. Делаем e-commerce лучше, поэтому не только пользуемся сами, но и делимся с вами.

Выберите удобный мессенджер и получите чек-лист прямо сейчас:

Отправьте заявку на юзабилити-аудит прямо сейчас!

Мы найдём точки роста конверсии и выявим барьеры, которыми сталкиваются пользователи

Data Driven: как принимать решения на основе данных

Data Driven: как принимать решения на основе данных

Что такое Data Driven

Data Driven (дословно — «управляемый данными») — это подход к управлению, основанный на данных. Его главный постулат: решения нужно принимать, опираясь на анализ цифр, а не интуицию и личный опыт.

Data Driven применяют в разных областях бизнеса и науки. Мы рассмотрим, как подход используется в digital: маркетинге, дизайне и менеджменте.

Принципы подхода

Готовность к инвестициям
Данные необходимо извлекать, хранить, анализировать, интерпретировать и визуализировать. На все это требуется внимание, время и деньги.

Умение анализировать и интерпретировать
Важная часть работы с данными — их анализ и построение гипотез. Для этого требуются специальные знания и опыт.

Принятие решений на основе данных
Прежде чем предпринять что-то важное, нужно собрать и проанализировать цифры.

Доверие данным
Данные должны быть точными и чистыми — тогда им можно будет доверять и правильно интерпретировать.

Получите эксклюзивный плакат «Big Data — что это такое?»

Подпишитесь на нашу рассылку — получите в подарок наглядную инструкцию, как использовать большие данные в маркетинге.

Принятие решений на основе данных

Понятие Data Driven появилось еще в 90-х годах прошлого века и получило широкое распространение в бизнесе. В менеджменте чаще всего всего упоминается термин Data Driven Decision, в переводе — «решения, принятые на основе данных».

Подход подразумевает, что нужно понимать данные и уметь строить прогнозы на их основе. То есть на этапе принятия решения должно быть понимание, на что оно повлияет, что нужно изменить, какого результата можно добиться. Так появился термин Data Driven Decision, который подразумевает использование фактических данных для принятия управленческих решений.

Как подход работает на практике

В первую очередь нужно определить бизнес-цель на текущем этапе, например, это может быть рост прибыли или доли на рынке. Второй шаг — обозначить стадии и промежуточные цели, достижение которых определяется метриками. Достижение метрики говорит о том, что компания движется в правильном направлении.

К примеру, рост прибыли можно оценить по количеству новых клиентов, среднему показателю оттока клиентов, размеру среднего чека, количеству повторных продаж, проценту конверсии и показателю маржинальности.

Важно, чтобы цели были достижимы, а метрики грамотно подобраны:

Метрика должна выражаться в относительных показателях. Например, измерять скорость удобнее всего в километрах в час, то есть скорость — это пройденное расстояние относительно времени.

Метрика должна быть сравнительной — это значит, что вы должны иметь возможность сравнить показатели с предыдущим периодом.

Их не должно быть много: по 3−5 на этап.

Популярные метрики для оценки бизнеса: уровень удовлетворенности клиента, вовлеченности сотрудников, объем прибыли до вычета расходов и т.д.

Еще один важный момент, который необходимо учитывать, — поведенческая психология руководителей, те моменты, когда интерпретация данных подстраивается под личные приоритеты менеджера.

главный специалист по принятию решений на основе данных в Google (Chief Decision Scientist)

В компаниях, где процесс принятия решений основан на данных, заведен четкий порядок: сначала принимающий решения определяет условия выбора и только после этого требует кропотливого анализа от остальной команды.

Визуализация Big Data

Если в традиционном «ручном» подсчете используется небольшое количество данных, то может возникнуть дискуссия относительно репрезентативности построенных на основе этих данных графиков и диаграмм. Зато одной из удобных особенностей методики Big Data является возможность построить объективную и наглядную визуализацию. Такая опция обеспечивает понятность полученных данных даже специалистам, которые далеки от понимания технологии.

Сгенерированные на основе Big Data графики и тепловые карты можно использовать в качестве неопровержимого аргумента. Это особенно важно, когда необходимо принять решение о распределении бюджета. Если на длительном временном промежутке влияние определенного явления не очевидно, визуализация поможет увидеть взаимосвязь между явлениями. Аналогично, визуализация данных помогает оценить масштаб эффекта после введения определенных мер.

Американское издание Wall Street Journal продемонстрировало эффект на население после внедрения различных вакцин. Наиболее показательным является тепловая карта по распространению полиомиелита. Данные собраны за 70 лет со всех 50 штатов США. Каждый прямоугольник обозначает количество заболеваний на 100 000 жителей.

Визуализация Big Data: внедрение вакцин

Еще один наглядный пример визуализации показывает одновременно бюджет фильма, отношение кассовых сборов к бюджету и среднюю оценку кинокритиков. По шкале X отображена оценка кинокритиков на основании данных Rotten Tomatoes. Чем правее на шкале фильм, тем выше его оценка. Шкале Y показывает процентное соотношение мирового бокс-офиса к затраченным на производство средствам. Величина кругов — размер бюджета. Цвет кругов — жанр. В данном примере отобраны все голливудские фильмы 2016 года.

Визуализация Big Data: кассовые сборы фильмов

Из приведенного распределения можно сделать много выводов. Например, что мнение кинокритиков не влияет на коммерческий успех фильма. Или тот факт, что у крупнобюджетных кинокартин выше вероятность собрать кассу, которая вдвое превышает бюджет. Или тот факт, что некоторые малобюджетные хорроры становятся суперхитами.

Издание New York Times в 2014 году подготовило впечатляющую визуализацию из 255 графиков, каждый из которых отображает изменение в количестве рабочей силы в определенной индустрии за период с 2004 по 2013. Данные были подготовлены в связи со знаковым событием: к 2014 году в американской экономике были восстановлены 9 млн рабочих мест, утраченных в ходе экономического кризиса 2008−2009 годов. Интерактивный график показывает, в каких индустриях происходил рост, а в каких — падение числа рабочих мест.

Вазуализация Big Data: экономика

Возможности использования метода

Data Driven в web-разработке

В современном цифровом мире данные генерируются и обновляются регулярно. Разработчики опираются на них при создании практически любого программного обеспечения. Но этим не ограничивается сфера применения Big Data.

Бизнес-аналитики используют данные о поведении пользователей, отчёты об ошибках, отзывы пользователей и другую обратную связь, чтобы принимать верные решения при разработке и продвижении продукта. Информация о трафике, загрузках, количестве зарегистрированных пользователей, сообщения и внутренних проблемах сервисов используют для мониторинга качества услуг. А оценка качества кода и согласованности его блоков подскажет оптимальные способы улучшить программное обеспечение. Когда компания следует этим трем направлениям, она разрабатывает и поддерживает услуги на основе данных. А значит исповедует принципы Data Driven бизнеса.

Сбор, интерпретация и обработка данных играют все бо́лее важную роль в любой промышленности. Они обеспечивают точную и действенную обратную связь, которая помогает инженерам понять, где и как вносить улучшения в продукт или процесс. С их помощью ИТ-руководители визуализируют, рабочие процессы, анализируют качество и количество результатов и прогнозируют возможные улучшения.

Искусственный интеллект и большие данные позволяют принимать более обоснованные конструктивные решения и быстрее реализовывать оптимальные бизнес-модели. Машинное обучение помогает разрабатывать новые передовые производственные процессы, повышающие комфорт рабочих и производительность компании.

Data Driven в менеджменте

Data Driven Management — управление бизнесом на основе объективных, фактических данных.

Подход открывает перед управленцами широкие возможности:

Сокращение маркетинговых издержек
Анализ рекламных кампаний направлен на то, чтобы они были эффективнее: тратить по минимуму, чтобы зарабатывать по максимуму.

Повышение эффективности инвестиций
Данные могут рассказать, как привлечь новую аудиторию, повысить качество пользовательского опыта и пр.

Рост клиентоориентированности
Детальный анализ данных помогает понять предпочтения целевой аудитории, выстроить персональные коммуникации с клиентом, отслеживать отзывы.

Оперативное реагирование на изменения рынка
Отслеживание данных в реальном времени позволяет принимать решения практически молниеносно.

Результат — рост прибыли.

Data Driven используют крупнейшие компании мира: Intel, Google, Chevron. В России, например, «Сбербанк». В банке с каждым годом растет количество решений, принятых на основе анализа данных. В качестве ключевого подхода к моделированию «Сбербанк» использует CRISP — Cross Industries Standard Process по Data Mining — межотраслевой стандарт извлечения данных.

Рост количества решений, которые «Сбербанк» принимает на основе данных. Источник

Рост количества решений, которые «Сбербанк» принимает на основе данных.

старший управляющий директор и главный исследователь данных «Сбербанка»

Иногда надо убедить себя, что аналитика данных дает более консистентный, более достоверный результат, чем эксперт, который сидит в этом направлении уже 25 лет. Но он может не знать чего-то, что показывают данные.

Data Driven в дизайне

Data Driven Design — проектирование продуктов на основе данных, полученных с помощью тестов, исследований, проверки гипотез.

Раньше предполагалось, что дизайнер принимает решения на основе собственного вкуса и опыта, однако сейчас этого недостаточно. Работа в digital оценивается по KPI (Key Performance Indicators) и, чтобы их достичь, необходимо уметь прогнозировать, а значит анализировать.

Преимущества подхода:

Для дизайнера. Меньше необоснованных правок и споров, исключается элемент вкусовщины.

Для заказчика. Нет действий, сделанных наугад, все решения обоснованы.

При таком подходе подрядчик и заказчик концентрируют свои усилия, чтобы сделать сервис удобным пользователям, а не удовлетворять чьи-либо амбиции.

Новый уровень требований привел к тому, что профессия дизайнера распалась на несколько самостоятельных единиц — теперь над проектами работают целые дизайн-команды: UI-дизайнер, UX-проектировщик, дизайнер анимации, аналитики и арт-директор. Также подключаются специалисты по Big Data (data scientist).

Data Driven Design — это постоянные циклы улучшений, но здесь есть риск погрязнуть в данных и уделить излишнее внимание мелочам.

Такое явление получило название датацентризм. Например, в 2009 году из-за подобного подхода из Google уволился ведущий дизайнер.

бывший креативный директор Twitter, был ведущим дизайнером в Google, Stopdesign и Wired

Да, это правда, что команда в Google не могла выбрать между двумя вариантами синего, поэтому они тестируют 41 оттенок, чтобы увидеть, какой из них лучше работает. Недавно у меня была дискуссия о том, должна ли граница быть шириной 3, 4 или 5 пикселей, и меня попросили доказать свою правоту. Я не могу действовать в такой обстановке. Я уже устал обсуждать такие незначительные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые требуют решения.

Data Driven в маркетинге

Новая концепция Data-driven маркетинга опирается на старую поговорку: «Невозможно управлять тем, что нельзя измерить». В Data driven бизнесе измерить можно и нужно все. В первую очередь это касается маркетинговой аналитики: релевантная информация о клиентах необходима для выстраивания персонализированных и действенных таргет-кампаний.

Еще в 2013 году 74% онлайн-потребителей заявляли, что разочаровываются в сайтах, на которых появляется контент, не соответствующий их интересам. 50% посетителей сайта просто покинут платформу, увидев такой контент. Чтобы оставаться конкурентоспособными при таких условиях рынка, предприятиям необходимо сосредоточиться на анализе и применении данных в своих маркетинговых кампаниях.

Контент со всех старых версий веб-страниц наши программисты импортировали автоматически без потерь и дублей.

Data Driven маркетинг позволяет персонализировать взаимодействие с клиентом, что необходимо в условиях постоянно растущей конкуренции. Сегодня персонализированный маркетинг выходит далеко за рамки именных приветствий по электронной почте. Он определяет что, как и когда видит клиент онлайн. Все всплывающие окна, акции и реклама появляются перед глазами пользователя в наиболее удачный для компании момент.

Такие целевые сообщения достигают бо́льших результатов, чем общие рассылки, а сегментация рекламных кампаний позволяет получить более высокий ROI. Например, если магазин продает и мужскую, и женскую одежду, ему понадобятся как минимум два набора маркетинговых рассылок. Такая же ситуация с разными точками дистрибьюции − маркетинговая тактика для московской аудитории должна отличаться от кампаний, ориентированных на казанских покупателей. На основе данных и создается оптимальная рабочая схема, удобная для управления и масштабирования.

Успех Data Driven маркетинга зависит от точности данных о клиентах. Даже самые простые алгоритмы сбора информации бесполезны, если, если она не будет правильно отражать интересы клиентов и целевой рынок. Следует обращаться к существующей клиентской базе, чтобы сформировать представление о целевой аудитории.

Маркетинг на основе данных − это итеративный процесс, который постоянно развивается и расширяется. В грамотно выстроенном маркетинге процесс анализа и интерпретации данных ведется постоянно. Нельзя оперировать данными пятилетней давности для работы с современной аудиторией сайта. Поэтому важным фактором успеха является управление данными. Оно помогает выстроить процесс регулярного анализа данных о клиентах, оценивать новые возможности маркетинга, а также экономить время и ресурсы команды.

Какие данные собирают:

О поведении пользователей на сайте или приложении.

Об удовлетворенности пользователей.

Об обслуживании клиентов.

Персонализированный подход к коммуникациям с пользователями.

Привлечение новых и удержание постоянных клиентов.

Увеличение эффективности.

Понимание потребностей пользователей с помощью анализа данных.

Повышение клиентоориентированности.

Data Driven Marketing позволяет:

Прогнозировать поведение пользователей на основе паттернов.

Таргетировать предложения, сообщения и контент.

Определить целевую аудиторию рекламной кампании.

Повысить эффективность рекламных кампаний.

Увеличить пожизненную ценность клиента (LTV) за счет повышения количества повторных продаж.

Оперативно реагировать на изменения рынка.

Чтобы не распыляться, важно отслеживать только самое важное.

Метрики для электронной коммерции:

Conversion Rate — показатель конверсии, процент пользователей, которые совершили конверсионное действие, например оставили заявки или купили. Позволяет прогнозировать прибыль.

Cost Per Action — цена за клик, стоимость, которую вы платите за привлечение одного пользователя. Позволяет оценить целесообразность вложений и возврат инвестиций из рекламного канала.

Shopping Cart Abandonment — «брошенные корзины», количество пользователей, которые бросили оформление заказа на определенном этапе. Позволяет найти узкие места в воронке продаж.

Метрики для сервисов с подпиской (SAAS):

Churn Rate — показатель оттока клиентов, количество пользователей, которые не стали вашими постоянными покупателями и покинули вас. Позволяет прогнозировать убытки. Хорошими цифрами считаются показатели менее 3%.

Monthly Recurring Revenue — регулярная месячная выручка. Нужна для того, чтобы понять, сколько вы зарабатываете в среднем за указанный промежуток времени.

Lifetime Value — пожизненная ценность клиента, доход с потребителя за все время пользования сервисом. Показатель используется для расчета вложений в таргетированную рекламу, чтобы понять, сколько вы можете потратить без убытков.

Customer Retention Rate) — показатель удержания клиентов. Демонстрирует какой процент пользователей вы способны превратить в постоянных клиентов.

Data Driven уже сейчас широко используется в маркетинге — об этом, например, говорит исследование Google:

Новое исследование Boston Consulting Group по заказу Google показало, что компании-лидеры в digital-маркетинге добиваются в 1,4 раза большего снижения расходов и в 2,5 раза большего повышения доходов, чем другие.

Google активно внедряет Data Driven, например, вы можете использовать атрибуцию на основе данных при запуске контекстной рекламы в Google AdWords.

Справка Google о Data Driven

Чтобы получить такую возможность вы должны накопить определенный объем данных: получить более 15 000 кликов и 600 конверсий за всю историю рекламного кабинета. Также нужно учесть, что инструмент эффективно работает лишь в сочетании с автоматическим управлением ставками.

Кому в компании может быть полезен Data Learning?

Не обязательно нанимать специализированного дата-аналитика, чтобы использовать его знания в бизнесе. Более грамотным шагом станет инвестиция в уже слаженный коллектив: все больше предпринимателей вкладываются в дополнительное обучение штатных сотрудников. Каким работникам обязательно необходим Data Learning?

Специалист по поисковой оптимизации: он стремится повысить трафик на сайте. Они определяют ключевые слова и темы, которые ищут потенциальные клиенты, и выясняют, где компания может предоставить полезные продукты, услуги или информацию.

Специалист по оптимизации конверсии: он отвечает за повышение отдачи от клиентов при сохранении затрат на рекламу. Такой человек должен постоянно анализировать поведение потребителей и понимать их мотивацию. Его подкованность и оперативность в работе с данными являются ключевым моментом успешной оптимизации.

Маркетолог, выстраивающий воронку продаж: он следит за чистой прибылью, поэтому должен понимать, что способствует ее увеличению. Такие специалисты занимают кросс-функциональную позицию, одновременно участвуя в проектировании и производстве. Они сосредоточены на поиске новых возможностей роста. Поэтому основное направление их работы − анализ и расширение существующих маркетинговых каналов. Не стоит даже объяснять, что маркетологом, которые занимаются повышением ROI, необходимо понимать как поведение потребителей, так и рынка в целом.

Аналитик маркетинговых данных: его работа заключается в анализе информации и разработке отчетов, диаграмм и убедительных презентаций, которые могут понять люди, не заинтересованные в анализе массивов данных. Чем более обширными данными в сфере аналитики он обладает, тем более успешны будут его проекты.

Как начать работать на основе данных

Чтобы стать Data Driven компанией, необходимо определенным образом подготовиться: у вас уже должны быть основные навыки работы с данными, ресурсы и решимость в преодолении определенных преград.

План

Соберите все источники на одной платформе (нужны данные из максимального количества источников: продукт, рекламные кабинеты, CRM, ERP система и т.д.).

Сформируйте команду: специалист и аналитик (например, маркетолог и data scientist).

Определите источники, убедитесь в точности, актуальности и чистоте данных.

Создайте инфраструктуру для хранения данных: соберите всю релевантную информацию, систематизируйте ее в подходящий формат, загрузите в базу.

Визуализируйте: используйте для этого дашборды и BI-платформы.

Получите опыт: экспериментируйте и оценивайте результаты, развивайтесь в анализе и интерпретации. Всегда проверяйте гипотезы.

Оптимизируйте. Данные необходимо очищать и структурировать, а иногда проверять их на достоверность. Это отнимает время, но необходимо отлаживать процессы.

Формируйте в компании культуру работы с данными.

Сложности

Недешевая инфраструктура. Необходимо установить системы веб-аналитики, системы учета ресурсов (ERP), CRM, системы коллтрекинга и сквозной аналитики. Также вам потребуется визуализировать отчеты в дашбордах. И все это должно быть отлажено и работать в связке.

Просто собирать данные недостаточно, их необходимо обрабатывать, анализировать, интерпретировать, строить гипотезы, проверять и снова анализировать.

Необходима команда технических специалистов. Как минимум должен быть один аналитик и один профильный специалист, который в дальнейшем будет использовать результаты в работе.

Нужна культура управления данными. Менеджмент компании должен быть подготовлен: уметь работать с данными и своевременно их обрабатывать. Поэтому Data Driven необходимо внедрять постепенно, так, чтобы команда успевала развиваться вместе с ним.

Результаты требуют определенного времени. И если вы начали работать на основе данных, то они должны ставиться во главу угла, иначе подход не даст никакого результата.

4 шага, чтобы стать Data Driven компанией

главный специалист по принятию решений на основе данных в Google (Chief Decision Scientist)

Если вы можете обойтись без анализа данных и машинного обучения, то обойдитесь.

Читайте также

Инструменты

Технологии Big Data, в частности Data Mining, обеспечивают сбор, хранение и сортировку огромных объемных данных.

Веб-аналитика: Google Analytics, «Яндекс.Метрика», Google Tag Manager — инструменты собирают и хранят данные о пользователях сайтов и их поведении.

Сквозная аналитика оценивает эффективность и прибыльность рекламных каналов, например, Roistat, Mixpanel, Rick, Alytics и CoMagic.

Инструменты позволяют принимать цепочки решений на основе данных, то есть каждое из них будет обдуманным и с прогнозируемым результатом.

Одна из самых доступных платформ для работы с массивами данных — «Битрикс24». Он объединяет в себе корпоративный портал, CRM, инструменты сквозной аналитики, Big Data и автоматизацию бизнеса. Пользователям доступны чат-боты, роботы в задачах, AI-скоринг для прогнозирования успешности сделок, интеграции с популярными коммерческими площадками, соцсетями, мессенджерами.

Платформа собирает все источники информации в одном месте и визуализирует их для последующего анализа и прогноза.

Сбор и анализ данных могут значительно улучшить процессы в вашей организации, если будут использоваться правильно и системно: на всем пути клиента, от формирования потребности до рекомендации знакомым. Подход Data Driven должен стать частью культуры вашей компании, каждого ее сотрудника.

Читайте по теме

Подпишитесь на нашу рассылку

Мы отправляем полезные материалы, которые помогут вам в работе

Другие статьи

HTTP и HTTPS: в чём разница, и что использовать?

25 сентября 2020

10 мин.


24079

HTTP и HTTPS: в чём разница, и что использовать?

Что такое дизайн-системы и зачем они нужны: обзор

Что такое дизайн-системы и зачем они нужны: обзор

Создаем эффективный сайт: 4 ключевых принципа

27 июля 2021

Создаем эффективный сайт: 4 ключевых принципа

Услуги

Сайты и сервисы

Создаем удобные и эффективные сайты, которые нравятся пользователям и хорошо продвигаются в поисковых системах.

Дизайн

Сервисный дизайн на основе аналитики, метрик и пользовательского опыта — продуктовый подход для создания привлекательных и эффективных решений.

Аналитика

Изучаем бизнес клиента и его конкурентов, подбираем инструменты и способы продвижения.

SEO-продвижение

Увеличиваем органический трафик на сайте и снижаем затраты на привлечение клиентов.

Содержание урока по Qlik Sense

Когда компания использует в своей деятельности подход «управление на основе данных» (data driven), то это означает, что она принимает стратегические, тактические и операционные решения, основанные на анализе и интерпретации данных.

Data-driven подход — это способ управления, основанный на интеграции данных в основные бизнес-процессы.

Подход “Управление на основе данных” позволяет компаниям изучать и систематизировать свои данные с целью лучшего обслуживания своих клиентов и потребителей. Используя данные для управления своими действиями, организация может контекстуализировать и/или персонализировать свои сообщения для текущих и потенциальных клиентов, тем самым повысив уровень клиентоориентированности.

Что означает быть “управляемыми данными”? Термин “Data-Driven” описывает процесс принятия решений, который включает сбор данных, извлечение шаблонов и фактов из этих данных и использование этих фактов, чтобы сделать выводы, которые влияют на принятие решений.

Принятие решений на основе данных (Data Driven Decision Making или DDDM) – это процесс принятия организационных решений на основе фактических данных, а не только на основе интуиции или наблюдения.

Сегодня каждая отрасль стремится быть управляемой данными. Ни одна компания, группа компаний или организация не говорят: «Давайте не будем использовать данные; одна наша интуиция приведет к принятию надежных решений». Большинство профессионалов понимают, что – без данных – предвзятость и ложные предположения (среди прочих вопросов) могут затуманивать суждения и приводить к неправильному принятию решений.

Менеджмент data-driven — это культура принятия стратегических решений на основе данных с интеграцией аналитических отчетов в ключевые бизнес-процессы компании.

Менеджмент, основанный на данных, выполняет несколько важных функций:

  1. Максимизация эффективности вложений в бизнес. Микросегментация, управление количеством касаний, привлечение новой аудитории с учетом изменения пользовательского опыта и многое другое повышают эффективность вложений начиная от логистики и заканчивая кадровой политикой.
  2. Сокращение маркетинговых издержек. Рекламные кампании поддаются анализу вплоть до оценки эффективности конкретного рекламного объявления с учетом LTV привлеченных пользователей.
  3. Максимальная клиентоориентированность. Детальный анализ целевой аудитории, персональная коммуникация с клиентом, мониторинг отзывов, оценки удовлетворенности клиентов, проведение опросов, –– все это извлекается из данных.
  4. Оперативная реакция на изменения рынка. Отслеживание данных в режиме реального времени уже никого не удивляет, а грамотно настроенный мониторинг позволяет принимать решения молниеносно.
  5. Максимизация прибыли за счет всего вышеперечисленного.

Чем data-driven отличается от data-informed

  • В data-informed модели данные не дают конкретных ответов, они лишь помогают найти подтверждение своей позиции или сформулировать гипотезу для дальнейшего развития. Это может быть полезным, когда необходимо подобрать весомые аргументы в пользу выбранной стратегии, проиллюстрировать доклад или убедить в правильности решения команду и руководство.
  • Data-driven подход работает с точными запросами: какой дизайн лучше воспринимается, когда стоит запустить новый продукт, как добавление новых атрибутов повлияет на продажи? Большие данные, тестирование и аналитика помогают собрать воедино информацию о пути пользователя по всем каналам, а также проверить еще не принятые решения и убедиться в том, что они не окажут негативного влияния на бизнес. Внедрить data-driven сложнее. Для верной интерпретации данных нужны специалисты со знанием статистики. Еще одна отличительная черта подхода — «одноразовость» данных: для ответа на новый вопрос нужно каждый раз проводить новое исследование.

Data-Driven в разных областях управления

  • Data Driven Management — управление бизнесом на основе объективных, фактических данных.
  • Data Driven Design — проектирование продуктов на основе данных, полученных с помощью тестов, исследований, проверки гипотез.
  • Data Driven Marketing — стратегия реализации маркетинга, построенная на основе анализа данных, собранных в ходе взаимодействия с потребителями.

Эволюция компании на пути к Data-Driven

Компании с самого начала не создаются, как организации управляемые на основе данных/ориентированные на данные. Для большинства компаний это эволюция их культуры и стратегии, трансформация, которая может занять годы.

Чтобы стать компанией, управляемой на основе данных, нужно пройти пять этапов:

Data-Resistant – Сопротивление данным

Мантра компании, работающей с данными, гласит: «Мы всегда так делали» – болезненный рефрен для любого руководителя, настроенного на прогресс. Организации, как правило, начинают защищаться от данных по ряду причин:

  • Данные могут обнаружить скрытые проблемы с производительностью
  • Данные могут выделить индивидуальные вклады (сотрудников/отделов), что выливается в политические противостояния
  • Данные могут подорвать бренд
  • Данные могут показать, что у организации неверная стратегия

Переход от сопротивления данным обычно является предпринимательским усилием изнутри; кто-то, кому нужна производительность для улучшения в своей области, начинает использовать данные без организационных полномочий.

Data-Curious – Любопытность к данным

Компания, интересующаяся данными, знает о существовании данных в ее стенах и понимает, что данные имеют неявную ценность, даже если это значение не было открыто. Компании, интересующиеся данными, концентрируются на сборе данных и часто осведомлены о потенциальной ценности данных через поставщиков данных и/или системы:

  • Веб-аналитика
  • Аналитика социальных сетей
  • CRM / автоматизация продаж
  • ERP системы
  • Финансовое планирование и учет

Что в данных? Какие богатства это может содержать? Переход от любопытства к данным происходит от желания раскрыть ценность данных, собранных компанией.

Data-Aware – Осведомленность о данных

Компания, работающая с данными, работает над извлечением любых знаний из данных. Компании, работающие с данными, фокусируются на анализе того, что произошло с данными. Что говорят данные? Что произошло? Этот этап в развитии компании – то, что иногда называется парадом инструментов; По мере того, как компании изучают свои данные, появляется пара инструментов и поставщиков, таких как:

  • Хранилище данных
  • Анализ данных
  • ETL (извлечение, преобразование и загрузка данных)
  • Облачные вычисления и вычисления по-требованию (On-Demand)

Компания, учитывающая данные, раскрывает тактическую ценность своих данных: «давайте не будем делать это снова» и «давайте делать больше». Он использует выводы из своих данных в производстве. Многие компании застряли в стадии осведомленности о данных на годы – тактических побед достаточно, чтобы удовлетворить заинтересованные стороны, а отдача от инвестиций при переходе к следующему этапу, похоже, не оправдывает затраты в течение некоторого времени.

Переход к пониманию данных обычно происходит после того, как парад поставщиков и инструментов стареет: «На что мы тратим все эти деньги?» – вот вопрос, который мы услышим в организации, готовой перейти к следующему этапу.

Data-Savvy – Понимание данных

Компания, разбирающаяся в данных, понимает, что ценность данных не просто тактическая; данные могут быть стратегическим активом. Чтобы развить эту стратегическую ценность, компания, ориентированная на данные, продолжает инвестировать в «что», но затем переключает свое внимание на «почему», на развитие идей.

  • Почему продажи упали в прошлом квартале?
  • Почему потребители покупают меньше нашего продукта?
  • Почему лидогенерация резко выросла на четвертой неделе месяца?
  • Почему X работает, а Y – нет?

Компания, разбирающаяся в данных, развивает идеи/инсайты; по определению, инсайт означает смотреть в себя. Никакое количество инструментов или поставщиков не заменит внутреннего исследования наших данных и аналитических методов. 

Переход к организации, основанной на данных, происходит после того, как мы выработали конкретные представления о том, что произошло и почему. Как только мы передадим эти идеи нашим заинтересованным сторонам, их первый вопрос должен быть: “Хорошо, так что же вы собираетесь с этим делать?”. Это является триггером для того, чтобы стать управляемыми данными.

Data-Driven – Управляемый на основе данных

Управляемая данными компания объединяет данные, анализ и понимание, чтобы ответить на вопрос «что дальше?». Благодаря использованию данных на каждом уровне, в каждой части организации, управляемая данными компания принимает данные в качестве стратегического ресурса. Мы часто слышим такие вещи в организации, управляемой данными:

  • Основываясь на данных, мы должны увеличить инвестиции в X в следующем квартале на 23%.
  • Наш анализ того, почему наш электронный маркетинг не удался, показывает, что наша кампания не была ориентирована на мобильные устройства; все будущие кампании будут отзывчивыми в дизайне.
  • На вопрос, наши клиенты сказали нам, что они ненавидят наш неоново-оранжевый цвет продукта благодаря тестированию и опросам приглушенный золотой цвет окажется более удобным для клиентов.

Решения, принимаемые организациями, ориентированными на данные, инкапсулируют данные, что произошло, почему и что будет дальше, в четкие, краткие заявления, которые указывают на следующее действие, которое необходимо предпринять. Данные – это стратегический актив, который лежит в основе каждого важного решения. В организации, действительно управляемой данными, каждое совещание по планированию начинается с данных и никакое решение не выполняется без сбора и измерения результатов принимаемого решения.

Стать компанией, управляемой данными (Data-Driven)

Эволюция компании в организацию, основанную на данных, начинается с предпринимательских усилий, но в конце этого процесса требуется принятие во всей организации. Без бай-ина (buy-in) на каждом уровне организация не сможет стать по-настоящему управляемой данными.

Тем не менее, даже если вся компания не становится управляемой данными, Вы, как отдельный заинтересованный участник, можете использовать практики управления на основе данных для улучшения той части организации, которую Вы контролируете. Эти пять этапов – не только организационные различия; они также являются картой вашей карьеры, когда вы становитесь data-driven профессионалом.

Помимо ценности использования самих данных, этот путь к управлению данными является важной основой для компаний, которые стремятся использовать науку о данных, машинное обучение и искусственный интеллект. Ни одна компания не может добиться успеха в искусственном интеллекте, если она уже не управляется данными.

Как принимать решения на основе данных

Чтобы эффективно использовать данные, профессионалы должны достичь следующего:

Знай свою миссию

Всесторонний аналитик данных хорошо знает бизнес и обладает острой организационной хваткой. Спросите себя, какие проблемы существуют в вашей отрасли и на конкурентном рынке. Определите и поймите их полностью. Приобретение этих основополагающих знаний поможет вам сделать более точные выводы в будущем.

Прежде чем вы начнете собирать данные, вы должны начать с определения бизнес-вопросов, на которые вы хотите ответить для достижения своих организационных целей. Определив точные вопросы, которые вам необходимо знать для обоснования своей стратегии, вы сможете упростить процесс сбора данных и избежать напрасной траты ресурсов.

Определите источники данных

Соберите источники, из которых вы будете извлекать свои данные. Вы можете координировать информацию из разных баз данных, веб-форм обратной связи и даже из социальных сетей.

Координация ваших различных источников кажется простой, но поиск общих переменных в каждом наборе данных может представлять собой чрезвычайно сложную проблему. Может быть легко согласиться на непосредственную цель использования данных только для вашей текущей цели, но разумно определить, могут ли эти данные также использоваться для дополнительных проектов в будущем. Если это так, вы должны стремиться разработать стратегию представления данных таким образом, чтобы они были доступны и в других сценариях.

Очистить и систематизировать данные

Удивительно, но 80 процентов времени аналитика данных посвящено очистке и организации данных, и только 20 процентов тратится на выполнение анализа. Это так называемое «правило 80/20» иллюстрирует важность наличия чистой, упорядоченной информации, прежде чем вы сможете попытаться понять, что это может означать для вашей организации.

Термин «очистка данных» относится к процессу подготовки необработанных данных для анализа путем удаления или исправления неверных, неполных или неактуальных данных. Для этого начните с создания таблиц, чтобы упорядочить и каталогизировать то, что вы нашли. Создайте словарь данных – таблицу, которая каталогизирует каждую из ваших переменных и переводит их в то, что они значат для вас в контексте этого конкретного проекта. Эта информация может также включать тип данных и другие факторы обработки.

Выполнить статистический анализ

После тщательной очистки данных вы можете приступить к анализу информации с использованием статистических моделей. На этом этапе вы начнете создавать модели для проверки ваших данных и ответа на бизнес-вопросы, которые вы определили ранее. Тестирование различных моделей, таких как линейные регрессии, деревья решений, моделирование случайных лесов и другие, может помочь вам определить, какой метод лучше всего подходит для вашего набора данных.

Здесь вам также необходимо решить, как представить информацию, чтобы ответить на поставленный вопрос. Есть три способа продемонстрировать свои выводы:

  • Описательная информация : только факты.
  • Инференциальная информация : факты плюс толкование того, что эти факты указывают в контексте конкретного проекта.
  • Предсказательная информация : вывод, основанный на фактах и ​​советах для дальнейших действий, основанных на ваших аргументах.

Уточнение того, как информация будет представлена ​​наиболее эффективно, поможет вам оставаться организованным, когда придет время для интерпретации данных.

Сделайте выводы

Последний шаг в принятии решений на основе данных подходит к концу. Спросите себя: «Какую новую информацию вы узнали из сбора статистики?» Несмотря на необходимость открыть что-то совершенно новое, для начала стоит задать себе вопросы, на которые вы уже знаете – или думаете, что знаете – ответ.

Многие компании часто делают предположения о своей продукции или рынке. Например, они могут поверить: «Рынок для этого продукта существует» или «Это то, чего хотят наши клиенты». Но прежде чем искать новую информацию, сначала проверьте существующие предположения. Доказательство этих предположений даст вам основание для работы. Кроме того, опровержение этих предположений позволит вам устранить любые ложные утверждения, которые, возможно, по незнанию, негативно влияют на вашу компанию. Имейте в виду, что исключительное решение, основанное на данных, обычно вызывает больше вопросов, чем ответов.

Выводы, сделанные из вашего анализа, в конечном итоге помогут вашей организации принимать более обоснованные решения и продвигать стратегию вперед. Важно помнить, однако, что эти результаты могут быть практически бесполезными, если они не представлены эффективно. Таким образом, аналитики данных должны стать опытными в искусстве повествования историй данных, чтобы максимально эффективно сообщать свои выводы ключевым заинтересованным сторонам.

Решения на основе данных и организационный успех

Кстати, большинство шагов, перечисленных выше, не генерируют статистику. Большинство из этих шагов по эффективному использованию данных вместо этого побуждают начинающих аналитиков данных становиться более разносторонними в своей роли. Этот процесс помогает профессионалам обрести способность не только анализировать, но и понимать данные с точки зрения целостности, а также получать информацию на основе этих данных.

Джоэл Шварц , не являющийся преподавателем Northeastern, добавляет, что стоит спросить: «Кто не использует принятие решений на основе данных в моей отрасли?» потому что самые успешные компании почти всегда. Он продолжает:

Рассмотрим Netflix, например. Компания начинала как почтовый DVD-совместный бизнес и, основываясь на решении, основанном на данных, переросла в потоковую передачу через Интернет, став сегодня одной из самых успешных компаний. Без данных у Netflix не было бы оснований для принятия столь масштабного и действенного решения. Более того, без этого решения компания не процветала бы такими темпами или в том же направлении.

Amazon является еще одним ярким примером. То, что начиналось как книжный онлайн-магазин, превратилось в огромный онлайн-центр практически для любого продукта, который может понадобиться человеку. Что заставило их принять такие колоссальные решения? Данные. Неудивительно, что такие серьезные (и успешные) шаги по ребрендингу были сделаны на основе сбора данных и сделанных в результате выводов.

Без подхода, основанного на данных, к принятию решений, Netflix по-прежнему отправлял бы вам по почте устаревший режим содержания фильмов, а Amazon был бы простым онлайн-книжным магазином. Суть в том, что этот подход, основанный на данных, выводит из строя все остальные методы. Мир становится управляемым данными, и не принимать решения, основанные на данных, было бы глупо.

Освоение принятия решений на основе данных

Принятие решений на основе данных – это важный процесс, который должен понять любой профессионал, и он особенно ценен для тех, кто выполняет функции, ориентированные на данные. Для начинающих аналитиков данных, которые хотят принимать более активное участие в процессе принятия решений в своей организации, важно ознакомиться с тем, что значит быть управляемым данными.

Если вы хотите сделать следующий шаг в своей карьере аналитика данных, подумайте о том, чтобы получить ученую степень, например степень магистра профессиональных исследований Северо-Восточного университета в области аналитики . Эта программа готовит студентов к конкурентному рынку труда, предоставляя им необходимые навыки анализа данных, необходимые для извлечения, разработки и предоставления информации для принятия стратегических решений в организациях.

Руководство на основе данных

В компании, где реализуются принципы управления на основе данных, должна быть сильная вертикаль власти, поддерживающая эти принципы. Руководство должно стимулировать и продвигать соответствующую корпоративную культуру и активно поддерживать все аспекты аналитической цепочки ценности — от сбора данных до принятия решения на их основе и обучения. Руководство должно продвигать методы работы на основе данных.

Руководитель, реализующий принципы управления на основе данных,ориентируется на несколько групп.

  • Во-первых, он должен поддерживать специалистов аналитического отдела. Руководителю следует обеспечить им инструменты и обучение в случае необходимости. Руководитель определяет организационную структуру, меняя ее соответствующим образом по мере роста и развития компании. Кроме того, он должен показать четкуюкарьерную лестницу и стимулы для специалистов аналитического отдела, чтобы повысить их продуктивность и личную удовлетворенность.
  • Во-вторых, руководитель должен добиться, чтобы его поддерживали все остальные сотрудники, особенно когда речь идет о коммерческом предприятии. Он должен быть уверен в правильности выбранного им подхода на основе данных. Чтобы заручиться этой поддержкой, руководитель должен демонстрировать результаты, пусть сначала даже небольшие. Благодаря этому у руководителя повысятся шансы на продвижение корпоративной культуры на основе данных, которую будут поддерживать все подразделения компании.
  • Наконец, руководителя должны поддерживать остальные топ-менеджеры компании. Они отвечают за бюджеты на развитие нужной ИТ-инфра структуры и обучение, а также играют основную роль в стимулировании корпоративной культуры на основе данных в своих подразделениях.

7 Шагов data-driven decision culture

В 2007 году, во время своего выступления в Google Conversion University, Авинаш Кошик выделил семь ключевых шагов, которые позволяют трансформировать культуру работы организации и перейти к дата-центрированной организации. И сейчас они не потеряли своей актуальности, поэтому я и привел их в этой книге как одну из основ построения новой формы культуры работы с данными.

Вот так называемые Cultural Hacks или Лайфхаки.

Всегда переходите к Результатам – Go to the Outcomes

Основа коллаборации между людьми с использованием данных лежит, прежде всего, в понимании того, что важно для каждого из участников: от чего зависят их бонусы или выплаты, на что обращают внимание люди, которые принимают решения. Для этого нужно понимать, какими объектами оперирует компания, и это понимание перенести на уровень данных. Традиционная ошибка – начать собирать все данные компании, считать все возможные из них метрики и отправлять всем заинтересованным людям отчеты с этими показателями.

Отчетность – это еще не Аналитика – Reporting is not Analysis

Большая часть отчетности, участвующая в подготовке, проверке или анализе, никак не связана с теми мотиваторами, от которых зависит завтрашний день каждого участника процесса, принимающего решение. В основном, ключевой ошибкой всегда и везде была простая демонстрация данных, в надежде, что решение с использованием этих данных найдет себя само.

На самом деле, в основе бизнеса лежат традиционные бизнес-вопросы.

Рассмотрим несколько примеров? Ведь это звучит это очень абстрактно.

Пусть у нас есть небольшая организация, где помимо прочих департаментов, есть целый отдел клиентского сервиса. Пусть вы являетесь топ-менеджером, уверен однажды это будет именно так.

Так вот, я утверждаю, что вы как руководитель будете регулярно озабочены необходимостью постоянно задавать весьма конкретные и повторяющиеся вопросы о том, как обстоят дела с уровнем клиентского сервиса (успевает ли организация обслуживать своих клиентов вовремя и так далее).

Ответы на них будут лучше, чем просто отчетность, которая отвечает не на конкретный вопрос, а на открытый.

Все подобные вопросы можно выписать, структурировать и передать алгоритмам, чтобы они уже отвечали.

Деперсонифицировать принимаемые решения – Depersonalise Decisions making

Переход к фокусировке на тех данных, которые действительно нужны организации, ведет к созданию новой формы культуры, где данным выделяют центральное место, а все решения – деперсонализированны, потому что важно не мнение людей в комнате, а данные на которых оно строится.

Нет смысла бороться с HYPPO, все решения должны быть деперсонифицированны, потому что они говорят не про мнения отдельно взятых людей, а про реальные тренды, бенчмаркинг, результаты работы клиентов или уровень их удовлетворенности. Будь-то электронная коммерция или реальное производство, данные покажут, что идет не в соответствии с ожиданиями, и это никак не связано с персональной оценкой.

А если HYPPO по стечению обстоятельств стал читатель этой книги, то для него важно помнить, что роль HYPPO – диверсифицировать мнение людей, допуская споры и несогласия. Своим присутствие HYPPO должен стимулировать принятие решений на основании данных.

Проактивный инсайт (прогноз) важнее реактивной аналитики – Proactive insights rather than reactive

В тот момент, когда вы получили данные и начали заниматься подготовкой инсайта, данные уже устарели. Поэтому вместо того, чтобы выполнять и готовить отчетность, людям нужно выполнить анализ, про который никто не спрашивал ранее. Такой анализ необходим ввиду того, что данные быстро устаревают, и ряд ключевых аспектов может быть не покрыт во время процесса принятия решения.

Расширить полномочия Аналитиков – Empower your Analyst

Итак, для того чтобы Аналитик мог потратить свое рабочее время на анализ, о котором его никто не просил, у него должны быть достаточные полномочия, иначе, вместо подготовки регулярной отчетности, аналитик будет заниматься неструктурированным или слабоструктурированным анализом. Как ни странно, но data-driven организация вряд ли будет существовать в условиях регулярного процесса выпуска отчетности, на который тратится более восьмидесяти процентов времени работы команды. В одном из американских банков, где я однажды был на обмене опытом, была ситуация, когда люди выполняли регулярный процесс подготовки ежемесячной отчетности всего за 3 дня. Я спросил топ-менеджеров, а что люди делают остальное время, так как команда была достаточно большой. Они ответили – «Value Added активности», и все посмеялись. Признаюсь честно, до меня дошло не сразу. Под «делают Value Added активности» здесь подразумевалось, что аналитики использовали свое время, чтобы улучшить иные процессы организации по работе с данными и их продуктом – ежемесячной отчетностью.

Треугольник ценности – Solve the Trinity

Внутри треугольника находятся метрики и инсайты, которые приводят к действию. На вершинах треугольника обозначены ключевые направления создания ценности с использованием данных:

  • Поведение (Behaviour) – Необходимо думать широко при анализе поведения своих пользователей или клиентов. Это не просто данные, а поведение реальных людей.
  • Результаты (Outcomes) – Научитесь связывать поведение клиентов с ключевыми показателями или критическими факторами успеха организации.
  • Опыт (Experience) – Инсайты должны приходит через эксперименты, исследования, тестирование своих клиентов или поиск закономерности в их поведении. Этим необходимо постоянно заниматься.

Создайте вокруг процесс – Got Process?

Data-driven организация – это не пункт назначения, а процесс или путь по которому идет организация, поэтому необходимо поддерживать его соответствующими артефактами и адекватными процессами. Этот процесс позволяет пользователям и сотрудникам применять тот или иной фреймворк работы с данными. Он не должен быть сложным и запутанным, а, скорее, должен отражать, кто и на каком конкретном шаге участвует в создании ценности с использованием данных.

Завершает Авинаш Кошик свой уникальный фреймворк одним из ключевых тезисов, без которого невозможно движение к data-driven организации, а именно: ответственным за данные, аналитику и поиск инсайтов в организации должно быть обособленное бизнес-подразделение (не IT).

Области знаний по управлению данными

Пример архитектуры данных

Операционный уровень управления данными

Знание и понимание своих данных

  • Каталогизация данных, понятный глоссарий данных
  • Прозрачная методика формирования показателей
  • Понимание взаимосвязи данных
  • Понимание технического процесса формирования показателей

Использованные материалы

  • https://datatalks.rt.ru/wp-content/uploads/lekcia-1-1.pdf
  • https://datatalks.rt.ru/wp-content/uploads/lekcia-1-2.pdf
  • https://www.uplab.ru/blog/data-driven/

0
0
голосов

Рейтинг статьи

Управление компанией на основе данных еще недавно казалось прерогативой международных гигантов. Сегодня же организации всех масштабов используют Big data для прогнозирования и оперативных корректировок. Это серьезно снижает риски бизнеса и помогает перейти от решений на основе оценок и опыта руководства к Data-Driven Decisions Making.

Модель HiPPO

остается популярной даже в XXI веке. Это аббревиатура от highest paid person’s opinion, то есть «мнение самого высокооплачиваемого сотрудника». Полная противоположность подхода, в котором каждое действие обосновано объективными данными.

Чтобы эффективно использовать собранные показатели, необходимо выстроить внутри организации их сбор, обработку и хранение. Кроме того, важно научиться превращать их в понятную для пользователя информацию, которая помогает принимать решения. В этой статье рассмотрим, как применять методику в бизнесе и избежать при этом «подводных камней».

Аналитики

В чем заключается подход Data-Driven

В основе принципа — объективность и значимость собранных данных. Именно от них зависят как оперативные, так и стратегические действия руководства.

Такой подход нельзя назвать революционным: руководители и раньше принимали решения с учетом статистики доходов и расходов. Однако определяющее значение имело мнение человека, основанное на интуиции и опыте.

Например, компания собирается запустить свое приложение. Можно сделать дизайн и интерфейс исходя из представлений руководителя «о прекрасном». А можно провести предварительные исследования, «обкатать» прототип, оценить приложения конкурентов, прежде чем запускать собственное в разработку. Второй вариант потребует больше ресурсов, но именно он с большей вероятностью позволит создать качественный продукт.

Data-Driven подход — это управление на основе данных. Во главе угла стоит информация, ее обработка и подача. Если материалов достаточно, а процесс анализа проведен без нарушений, руководитель получит представление о том, как развивать бизнес.

Четкая финансовая картина: сколько зарабатывает и тратит ваш бизнес

Наглядная и простая отчетность на языке управленца

Понятная система ключевых показателей

Система контроля для малого и среднего бизнеса. За месяц

Принципы подхода

Перед тем как внедрять эту методику, важно рассчитать возможности. Без предварительной оценки затрат и перспектив попытка интегрировать работу на основе данных в текущие процессы может только навредить. Для начала рассмотрим три принципа, на которых базируется Дата-Драйвен.

1. Инвестиции. Хранение и обработка данных требуют вычислительных мощностей, а также участия профессионалов.

2. Ресурсы. Полученные данные предстоит обработать и правильно интерпретировать. Превращение цифр в понятную информацию — дело специалистов. Задача руководства состоит в том, чтобы сформировать команду, которая поможет делать выводы на основе данных.

3. Ответственность за принятые решения. Обработка собранных сведений позволяет минимизировать ошибочные действия, но всегда есть вероятность столкнуться с «черным лебедем» (неучтенными рисками).

Применение Data-Driven в компании позволяет решать проблемы в менеджменте, маркетинге и других сферах бизнес-деятельности. Давайте посмотрим, как устроен процесс принятия решений на основе данных.

Графики

Пример подхода на практике

Допустим, с рынка общественного питания ушел крупный сетевой игрок. Мы — представители небольшой столичной сети, которая в новых условиях имеет все перспективы для роста.

Первая задача, которая встает перед нами — выбор места для открытия точки. В парадигме HiPPO мы бы опирались только на оценку экспертов и интуицию руководителя. Новый метод заставит поступить по-другому:

● изучить поисковые запросы о местах питания на определенной территории;
● получить информацию о геолокации с мобильных устройств, их концентрации в разных местах.

Затем аналитики приступают к интерпретации собранных сведений. Сотрудники изучают и структурируют полученную информацию, преобразуют в понятные графики и блок-схемы. Имея обработанную статистику, руководитель может принять нужные меры.

Применительно к нашему кейсу, место для точки мы выбираем, исходя из объективных факторов и ожиданий потребителей, необходимости кафе в данном месте.

Интеграция с вашими учетными системами

Понятные управленческие дашборды

Матрица KPI под ваши бизнес-задачи

BI-аналитика и хранилище данных «‎под ключ»

Система корпоративной отчетности

Четыре парадокса на пути к Data-Driven культуре

Сотрудников, работающих с данными и отчетами, можно разделить на 3 группы: аналитики, визуалы и технари. У них разные роли, задачи, требования к данным, их обработке и результатам. Все они вместе делают одно дело, используя различные подходы. Здесь и возникают парадоксы их отношения к своей работе.

  • Аналитики

    Это финансисты, экономисты, маркетологи, которые ищут ответы на конкретные вопросы. Для этого они проводят исследования, собирают информацию, делают выводы. Их задача — проанализировать, выявить причинно-следственные связи, изучить влияние различных факторов на бизнес-процессы. Например, Data-Driven подход работает, когда экономист проводит внутренний аудит, чтобы выяснить, что повлияло на рост себестоимости.

  • Технари

    Это разработчики баз данных, математики, специалисты по Data Science. Они выводят алгоритмы обработки информации, проектируют хранилища, автоматизируют отчеты. Для них важно, как работает система, что на нее влияет, как сделать процесс безошибочным и бесперебойным – создать идеальный алгоритм.

  • Визуалы

    Эти сотрудники изготавливают конечный продукт, умеют превратить таблицы в наглядные диаграммы и слайды или даже дашборд. Чаще всего они занимают должность менеджера, который понимает, что нужно бизнесу, и ставит задачи дизайнеру и разработчику. Аналитик тоже может быть в роли визуализатора, мыслить категориями юзабилити и иметь чувство прекрасного.

Каждый из представителей этих групп считает самой важной именно свою часть работы. Аналитики – процесс поиска ответов на вопросы, визуалы – красоту и доступность изложения, технари – модели и алгоритмы. Все это является элементами Data-Driven culture. И в результате возникают парадоксы, неочевидные для конечного заказчика.

Аналитикам не нужна визуализация

Их идеальные инструменты – сводные таблицы Excel, OLAP-куб или витрина данных, к которым можно подключиться через Qlik или Power BI. Для них результат лежит на пересечении нескольких таблиц или массивов. Им там комфортно, понятно и удобно. Не зря же они всё разложили по полочкам, а точнее – по ячейкам. Но без переработки в более простой формат эта информация неприменима для бизнеса.

Диаграммы или слайды презентаций аналитикам неинтересны. Для них это лишь «красивые картинки», которые бесполезны без погружения в контекст. Ведь в таблицы всегда можно углубиться и докопаться до сути. Они понимают ценность дашбордов, но создают их сложными, со множеством закладок, где фильтры занимают половину экрана.

Диаграммы

Дашборд с множеством фильтров, понятный только аналитику

Визуалов не волнует качество данных

Под этой группой специалистов я подразумеваю аналитиков с развитым визуальным мышлением, а не дизайнеров. Они придают форму результатам анализа и стремятся в этом к гармонии и эстетике. А потому и качество данных уходит на второй план. Для них важна подача информации, в то время как в основе технологии Data-Driven — «чистота» и достоверность сведений.

Визуал может пропустить важные детали, на которые аналитик-исследователь точно бы обратил внимание. Например, на этой диаграмме факторного анализа некорректно выбраны цвета:

План

Факторы отклонения фактического ФОТ от планового

Традиционно факторы, приносящие минус, отображаются красным, а прирост – зеленым. Но здесь мы анализируем причины перерасхода фонда оплаты труда, и снижение, экономия – это хорошо, а увеличение расходов надо, наоборот, отображать красным. Но визуал не обратил внимания на контекст, потому что диаграмма сама по себе выглядит стройно и логично.

Программистам не важен бизнес-результат

Data-Scientist, Machine-Learner – звучит круто, но по сути, это профессия математика, который работает с алгоритмами. Для него важна техническая сторона, характер взаимосвязи, описываемый системой машинного обучения, а вот что с этой информацией делать дальше – не его забота. Вам построят модель профессиональных компетенций идеального сотрудника, но не подскажут, как его найти и как им управлять.

Я не критикую разработчиков за то, что они заботятся о целостности структуры базы данных, а не о том, как повысить лояльность потребителей. Скорее, говорю о том, что наивно ждать от них готовых решений по развитию бизнеса. Для эффективной интеграции Data-Driven Model нужна связка между программистами, аналитиками и визуалами.

Визуализация этого специалиста тоже мало интересует, если это не схема связей в базе данных. И за качество собранных сведений он не отвечает. Его зона ответственности – это стабильная работа, производительность системы, отсутствие ошибок. Хотя это тоже очень важно.

Бизнесу нужен текст

Я говорил о трех ролях, но есть и еще один участник процесса – это заказчик, руководитель, который принимает решения. Самое удивительное, что ему не важны визуализация, глубина аналитического исследования или работоспособность алгоритма.

Бизнесу нужны выводы: четко сформулированные варианты решений или стратегий, а также прогнозы – к чему они могут привести. В идеале – конкретный, понятный текст из простых предложений, без деепричастных оборотов: какие цены обеспечат максимальный объем продаж, почему инвестиции именно в этот проект окупятся.

Модель Data-Driven требует большого внимания. Если руководителю предоставить стандартную аналитическую записку, он будет недоволен. Ему нужен и текст, и визуализация, и выводы, причем на одном экране. Я стал все чаще наблюдать дашборды, в которых есть блок с текстовыми выводами, и даже надстройки к BI-системам, которые автоматически генерируют текст из дашборда.

Анализ

Управленческий дашборд с блоком текстовых выводов

Сначала я считал такое требование блажью, но теперь признаю, что это дополнительный этап контроля достоверности, осмысления аналитиком выводов. Тут речь идет не о ручном рутинном копировании данных из таблицы на график, а об осмыслении причин отклонений от планов, подготовке к совещанию.

Как начать работать на основе данных

Многие считают, что Data-Driven Approach – это дорого. Действительно, нужно привлечь или обучить специалистов, установить программное обеспечение, выстроить внутри компании алгоритм работы.
При внедрении подхода можно ориентироваться на этот чек-лист.

1. Создайте техническую базу. Чтобы работать с данными, нужно иметь структуру: источники, системы хранения и обработки. Источниками данных могут быть сайт компании, CRM, рекламные аккаунты на разных платформах, приложения.

2. Наймите специалистов. Нужны айтишники, маркетологи и аналитики, которые имеют навыки в области сбора и анализа данных.

3. Структурируйте информацию. Например, используйте BI-систему для объединения данных из разных учетных систем — это поможет получить сводную аналитику по всем бизнес-процессам на одном интерактивном дашборде.

4. Принимайте решения. Теперь в ваших руках есть огромный информационный ресурс, на котором можно (и нужно) основываться, выстраивая стратегию продвижения бизнеса.

Data-Driven организации более эффективно реагируют на изменения в поведении потребителей, экономических процессах. Потому что выводы делаются на базе статистики. Принимая решения на основе данных, вы точно знаете ответы на ключевые вопросы.

● Какой продукт нужен клиенту. Вы видите, какие товары и услуги более привлекательны, а какие проседают.

● Как он хочет его приобрести. Оформить покупку на сайте, приехать и забрать самостоятельно, заказать по телефону и получить в ближайшие часы либо к определенной дате и времени.

● Какие рекламные площадки дают лучший эффект. Стоит ли продолжать использовать таргетинг или нужно вложиться в печатные источники, радио или региональное телевидение.

● Где вы теряете деньги. Какая из стадий бизнес-процесса дает наименьший эффект при больших затратах.

● Как увеличить доходность. Данные позволяют предположить, какие позиции в каталоге компании можно расширить, дополнить новыми продуктами.

Составление плана

Чтобы процесс перехода от «интуитивного управления» к ориентиру на объективные данные прошел успешно, составьте дорожную карту внедрения методики в компанию. Планомерное продвижение в рамках намеченной стратегии гарантирует, что Data-Driven аналитика лаконично впишется в бизнес-модель.

Для этого можно пользоваться следующим алгоритмом.

1. Найти целевую аудиторию. Кто наш клиент? Его пол, возраст, уровень образования, профессия, образ жизни и интересы имеют значение при формировании стратегии.

2. Определиться с целями. Что мы хотим получить? Увеличить продажи, повысить качество и узнаваемость бренда. От понимания конечной цели зависит результат работы.

3. Собрать информацию. На чем будем основываться? Важно помнить о таких параметрах, как актуальность и точность статистики. Если не соблюсти эти условия, велик риск, что управленческое действие будет ошибочным.

4. Провести Data-Driven анализ. Что нам известно? Табличные показатели лучше перевести в понятные дашборды, схемы и тезисы. Переработать данные в рабочий материал, пригодный для использования в бизнесе и маркетинге.

5. Принять решение. Что нужно сделать для положительных изменений? Чем качественнее проведены операции на предыдущих этапах, тем легче будет сделать выбор.

6. Оценить результат. Какой эффект мы получили? Фидбэк – это новости, которые отражают положительную или отрицательную динамику, либо ее отсутствие. С помощью обратной связи можно скорректировать курс.

Этапы принятия Data-Driven решений универсальны. Но есть некоторые отличия в части использованного ПО и способов обработки информации.

Инструменты для бизнес-аналитики

Работа с данными требует специального инструментария. Это разного рода программы, которые понадобятся для обработки, разбора или визуализации. Каждый продукт имеет свои достоинства и недостатки. Целесообразность его использования зависит от навыков сотрудника, экономических факторов и удобства конкретного ПО.

После того как вы усвоили последовательность действий в Data-Driven, рассмотрим основные программы. Они представлены в таблице.

Сбор данных и сложные расчеты

Архитектура аналитической системы

Получите решение задач за 1 час

Персональные консультации по внедрению BI

Визуализация данных

Это один из этапов обработки информации, ее превращение в удобный, читаемый вид. Самые простые примеры —

на дашбордах в Excel

, где цифры из ячеек таблицы представлены в виде диаграмм и графиков.
Но как принимать Data-Driven решения на «больших данных», если их могут понять только технари? Для этого используются BI-системы — инструменты для анализа и визуализации.

При графическом отображении данных определяющую роль имеют два фактора:

● доступность: материал должен быть понятен своей аудитории — руководителям или заказчикам;
● структура: информацию нужно подавать последовательно и компактно, чтобы пользователь получал ответы на свои вопросы максимально быстро;
● аккуратность: неряшливость на панели мониторинга снижает доверие к данным и заинтересованность пользователя.

Решение задач бизнеса с помощью аналитики

Кейсы и лайфхаки от практика

Excel, Power BI, PowerPoint

Обучение на реальных бизнес-задачах

Курсы по визуализации и аналитике данных

Инструментов визуализации много. При выборе стоит руководствоваться и масштабом компании, и объемом данных, и навыками бизнес-пользователей. Перечислю лишь несколько, по ссылкам в названиях — статьи с инструкциями по созданию дашбордов.

Excel

.

Data Studio

.

Power BI

.

Tableau

.

Вот так выглядит панель мониторинга, созданная в BI-платформе Power BI. Дашборд интерактивен: нажимайте на показатели и смотрите, как сортируются данные в режиме реального времени.

Метрики в Data-Driven

Первое что нужно сказать: их много, и каждая отражает успешность определенного бизнес-процесса или задачи. Все зависит как от направления деятельности, так и от целей конкретной компании. На основе этой информации формируются ключевые показатели эффективности (KPI).

В качестве примера рассмотрим основные маркетинговые метрики:

1. Окупаемость инвестиций (ROI). Этот коэффициент показывает, насколько бизнес убыточен или доходен, учитывая вложенные в него средства. Например, мы запустили рекламную компанию через email-рассылку (инвестиция) и получили с нее определенное количество клиентов (доход). Если коэффициент ROI высокий, значит, реклама окупилась, если низкий — нужно пересмотреть стратегию.

2. Стоимость привлечения клиента (CAC). Эта метрика показывает, сколько в среднем тратит компания на +1 в своей базе покупателей.

3. Пожизненная ценность клиента (LTV). Это совокупность прибыли от одного потребителя за все время работы с ним. Если показатель ниже, чем САС, значит, затраты на привлечение выше дохода.

4. Коэффициент оттока (Churn Rate). Данная метрика показывает, какое количество клиентов прекратило сотрудничество с компанией.

5. Показатель конверсии (Conversion Rate). Это соотношение общего числа посетителей сайта к пользователям, которые совершили целевое действие: заполнили форму обратной связи, оставили комментарий или оформили заказ.

Определение метрик и подбор источников относятся к технической стороне процесса. В то же время нельзя забывать и о принципах Data-Driven подхода в управлении, в которых важна культура работы с данными.

Методика в строительстве

В этой отрасли Дата-Драйвен интегрируется с помощью «электронной стройки». Это комплекс программ, которые позволяют контролировать и стандартизировать процесс возведения объектов.

Например, компания строит типовые сооружения в разных регионах одновременно. Пусть это будут модульные автовокзалы, которые устанавливаются в Подмосковье, Псковской области и на Дальнем Востоке. При помощи планшета бригадиры на разных площадках могут получить доступ к проекту, сметам и другим важным показателям.

Тот же набор данных используется и в проектировании. При выезде на место будущего строительства специалист может за несколько минут подобрать типовой проект под конкретную локацию, особенности почвы, собрав его из готовых решений как конструктор.

Строителям Дата-Драйвен подход может помочь с такими специфическими задачами, как:

● сокращение времени проектирования объектов;
● оптимизация работы с подрядчиками;
● контроль графика возведения объектов и ввода в эксплуатацию;
● стандартизация строительства;
● мониторинг безопасности на стройплощадке;
● отслеживание проблемных участков на объекте в режиме онлайн.

В список попали только аспекты, наиболее характерные для строительства. Принятие мер на основе данных затрагивает разные процессы, список которых ограничен только техническими возможностями и потребностями организации.

Условные примеры Data-Driven компаний в этой отрасли — российский ГК ПИК и шведская Skanska. Эти девелоперы являются первопроходцами внедрения «электронной стройки» в своих странах. Клиенты компаний могут отслеживать процесс строительства в режиме онлайн, а строители быстро решать возникшие сложности через каналы горизонтальной и вертикальной коммуникации между участниками процесса.

Как Институт бизнес-аналитики упрощает работу застройщиков с помощью разработки дашбордов, можно прочитать в статье «

Идеальный отчет строительной компании: как выстроить работу с данными

».

Отчетность

Data-Driven в менеджменте

Главные качества Дата-Драйвен с позиций управления – это гибкость и точность. Объективные данные, лежащие в основе решений, помогают руководителю выявить слабые места.

Например, с помощью технологии учета времени обработки заказа определить, на каком из этапов (в каком из отделов компании) заявка задерживается. После этого можно уже не рассматривать весь процесс, а сосредоточиться на проблемной точке. Например, уточнить KPI ответственных сотрудников, заменить оборудование, которое тормозит процесс или предпринять другие действия для устранения недостатка.

Говоря о Data-Driven менеджменте, уместно упомянуть такие бренды как Netflix и Intel. Среди российских представителей можно выделить Мегафон и Wildberries. Система управления в этих компаниях основывается именно на данных.

Например, команда Netflix начала доставлять DVD по почте. Череда грамотных управленческих решений, основанных на объективных данных, привела к переходу сервиса на стриминговое вещание, создание интернет-платформы. В этом случае, переориентация на совершенно другой технологический процесс при сохранении направления деятельности компании – это Data-Driven решение.

Это не значит, что подход применим только для крупного бизнеса. Средний тоже может использовать методику в своей работе, достаточно сделать поправку на масштаб.

Расходы

Управление на основе данных в производстве

Заводы и фабрики могут использовать Дата-Драйвен как в основных, так и в сопутствующих процессах. Подход положительно влияет на несколько показателей, рассмотрим примеры.

● Качество продукции. Полученные данные показывают, что именно на него влияет и в каких пропорциях. А значит, дают возможность оперативно корректировать работу.

● Сроки производства. За счет автоматизации ряда процессов (например, технического учета), а также интеграции систем электронного документооборота информационные технологии помогают оптимизировать работу. Например, сократить временные издержки, связанные с логистикой.

● Улучшение продукта. Благодаря работе систем исследования и актуализации, вы вовремя узнаете, что потребители потеряли интерес к вашему продукту, сможете выявить причины и внести изменения в конструкцию.

● Борьба с браком. Обработка сигналов, полученных от установленного оборудования, помогает выявить причины и отладить технику.

Внедрение подхода в производство требует бóльших вложений. Это связано с тем, что для сбора информации необходимо установить на станки ряд датчиков. Однако эффективность работы на Дата-анализе позволяет отбить эти вложения ростом конкурентоспособности и доходности.

Сбыт

Data-Driven в маркетинге

В современных реалиях поведение потребителей подвижно, часто меняется. Актуальность является «ключом», который дает возможность быстро и точечно реагировать на все изменения, подстраивая продвижение продукта или услуги под новые условия.

Вот какие преимущества может получить отдел маркетинга после внедрения методики.

1. Оперативное управление. Эффективность источников трафика можно контролировать в онлайн-режиме. И при необходимости быстро перенаправлять ресурсы в более перспективные каналы продвижения.

2. Отслеживание поведения. Дата-Драйвен маркетинг подразумевает, что бизнес управляет настроением пользователей: видит, что привлекает их на сайте или в приложении, а какие элементы стоит убрать или переделать.

3. Знание целевой аудитории. Изучение имеющихся клиентов позволяет составить представление о потенциальных покупателях. Благодаря этому можно скорректировать рекламу, сделать ее более эффективной и целенаправленной.

Данная система наиболее распространена в маркетинге и рекламе. При сравнительно небольшом количестве вложений она помогает вывести привлечение потребителей на качественно новый уровень.

Показатели

Кому нужно учиться работе с данными

Чтобы функционировала цепочка принятия решений в Data-Driven, необходимы специалисты.

1. Маркетологи, которые заняты построением воронки продаж. Чаще всего они занимают кросс-платформенное положение, участвуют как в проектировании, так и в построении маркетинговой стратегии. Получение знаний в области работы с базами данных повысит эффективность их деятельности.

2. Финансисты. Начиная от рядовых менеджеров и до директоров. Финансовые данные стекаются отовсюду, и важно уметь упорядочивать их и управлять ими. Только так можно будет получить полную картину: где бизнес получает прибыль, а где теряет деньги.

3. Аналитики. Это специалисты, которые переводят данные с технического языка на язык бизнеса. Они лучше всех должны понимать, как устроена работа с данными и что поможет превратить их в основу для принятия управленческих решений.

Достоинства и недостатки Data-Driven подхода

Вам понравилась статья?

Подпишись на рассылку и получи в подарок «Каталог лучших отраслевых дашбордов»!

Хочешь получать актуальные статьи о визуализации данных?

Елена Герасимова, руководитель факультета «Аналитика и Data Science» в Нетологии, рассказала, на чём основывается подход data-driven, как он используется в современных компаниях и что нужно делать руководителю, чтобы успешно внедрить культуру принятия решений на основе данных.

Термин data-driven появился на стыке девяностых и двухтысячных. Именно тогда бизнес-среда стала говорить о новом подходе в маркетинге, который позволял принимать решения на основе собранных данных.

Сегодня в дефиците не только технические специалисты, способные организовать работу с данными и устройствами, но и менеджеры, понимающие, как интегрировать Data Science и новейшие технологии в бизнес-процессы, правильно нанимать специалистов, ставить им задачи и организовывать их работу.

Менеджмент data-driven — это культура принятия стратегических решений на основе данных с интеграцией аналитических отчетов в ключевые бизнес-процессы компании.

Учитывая растущее количество кросс-компетентных ролей в компаниях, появляется все больше принципиально новых позиций, которые занимаются работой с аналитикой в разном виде:

  • CDO (Chief Data Officer);
  • CAO (Chief Analytics Officer);
  • CPO (Chief Privacy Officer);
  • CAIO (Chief Artificial Intelligence Officer);
  • CGO (Chief Growth Officer).

Каждая из этих позиций предполагает выступление ролевой моделью инфраструктурных изменений и трансформацию существующей в компании культуры, стратегии, видения и методики принятия решений.

Пора внедрять data-driven. Как этот подход преобразует бизнес

При этом нередко переход к data-driven подразумевает не столько технологическую трансформацию, сколько изменение бизнес-модели компании. При таком подходе вы отбрасываете все, кроме численных данных, в целостности и актуальности которых уверены.

В каждой из новых перечисленных ролей на первый план выходят:

  • понимание множества окружающих функций и процессов;
  • «насмотренность», опыт и компетенции в каждой из затронутых в трансформации областей;
  • способность связать воедино собственный опыт и видение остальных участников С-уровня;
  • желание преодолевать сопротивление «делать, как всегда делали», исследовать и быть готовым принять культуру работы с данными.

С руководителями мы разобрались — от данных им никуда не деться. Какую же роль играет аналитика для принятия решений?

Подход data-driven демонстрирует видение того, как компания, использующая данные для принятия решений, выглядит в реальности (совершенно необязательно иметь для этого цифровой продукт).

Помимо этого, он помогает уточнить формулировку миссии бизнеса и получить выводы, которые делают аналитику и данные ощутимыми (реальными) для людей без опыта анализа. Передовые технологии обработки данных через ИИ и машинное обучение становятся понятными более широкому кругу, когда используются для предиктивного анализа продаж, износа оборудования и риска вложений в активы.

Таким образом культура работы с данными помогает сделать очевидными практические бизнес-результаты от анализа данных и понимание текущего состояния, фокуса и намерений бизнеса.

Сама культура принятия решений, основанная исключительно на данных, может выглядеть простой с точки зрения внедрения, но руководителю и всей команде необходимо пройти определенные шаги и разобрать важные вопросы.

  • Четко опишите свои бизнес-данные и аналитическую стратегию.
  • Что собираем? Где храним? Сколько храним? Сколько это стоит? Какой результат нам даст?
  • Не страшно, если компания решит начать с небольшого проекта. Только такие гиганты, как Facebook или Amazon, могут себе позволить хранить все подряд постоянно и без потерь.
  • Оцените стоимость информационно-технической экосистемы, позволяющей получать доступ к данным, и количество ее пользователей.
  • Сейчас всю обработку данных можно доверить облакам, так вам не нужно будет капитально вкладываться в оборудование, которое может устареть быстрее, чем трансформируется культура компании.
  • Распишите план действий по переходу от бизнес-отчетности к глобальной аналитике: отчетность — результат, аналитика — процесс, хотя и там, и там заказчик — бизнес.
  • Актуализируйте курс и скорость трансформации раз в квартал: нужно, чтобы все сотрудники компании жили ею, а не просто смотрели на цифры в формальных документах.
  • CDO берет на себя роль центра всей «аналитики»: создает для каждого из потребителей данных в компании инфраструктуру самостоятельного доступа.
  • Объедините всех единой целью изменения культуры работы с данными: необходимо тесно взаимодействовать с ИТ-специалистами и другими участниками С-круга вашей компании.

Учитывая все вышесказанное, можно сделать вывод, что переход к культуре data-driven необходим не всем.

Например, компании, основанные на сильном брендинге в качестве источника основного дохода, могут не видеть особой ценности в том, чтобы стать data-driven, поскольку решения по брендингу не требуют большого количества данных.

Пора внедрять data-driven. Как этот подход преобразует бизнес

Отличным примером применения трансформации data-driven на уровне всей компании является Uber: обширно используются данные, которые компания получает от пассажиров и водителей.

Алгоритмы Uber рассчитывают стоимость поездки, оценивают потоки людей, меняют цены, дают рекомендации водителям, как больше заработать, основываясь на собранных данных.

В компании такого уровня вся работа с данными требовала бы найма огромного штата дата-сайентистов и их погружения в бизнес-контекст. Вместо этого компания пошла по пути построения платформы управления данными, которая позволила использовать продвинутые аналитические инструменты широкому кругу пользователей.

Но стоить помнить, что и к сотрудникам, даже высокоуровневым, в таких условиях предъявляются высокие требования. Как минимум ожидается владение базовым инструментарием аналитика:

  • SQL;
  • основы Python;
  • BI-инструментов.

Подводя итог, можно сказать, что руководителям, «пощупавшим» данные, гораздо проще находить со своими аналитиками общий язык в дальнейшем.

Аналитик данных — это одна из важнейших ролей в компании. Глаза, ум и здравый смысл бизнеса.

Аналитик обязан «видеть цифру за каждым человеком и человека за каждой цифрой», а также уметь продать свое видение коллегам, которые могут иметь очень разный опыт и отношение к аналитике в целом. Эта роль даже в продуктовой компании предполагает максимальное количество общения с неаналитиками.

SQL – это язык структурированных запросов. СУРБД – система управления реляционными базами данных. Существуют следующие разновидности баз данных:

  • Система управления файлами
  • Иерархические
  • Сетевые
  • Реляционные
  • Объектно-ориентированные
  • Гибридные

1)  Иерархические – первые базы данных. Иерархическая база данных основана на древовидной структуре хранения информации и напоминает файловую систему компьютера. С точки зрения организации хранения информации, иерархическая база данных состоит из упорядоченного набора деревьев одного типа – каждая 
запись в базе данных реализована в виде отношений предок-потомок. Основной недостаток иерархической структуры базы данных –невозможность реализовать отношения многие ко многим. Иерархические базы данных наиболее пригодны для моделирования структур, являющихся иерархическими по своей природе. Иерархия подразумевает только одного родителя.

2)  Сетевые базы данных – являются расширением иерархических баз данных. Иерархические базы данных из-за большого количества недостатков просуществовали недолго и были заменены на сетевые базы данных.Сетевые базы данных представляют собой организацию данных в виде железнодорожных путей, где каждая крупная станция имеет связи с несколькими другими станциями. В сетевых базах данных имеется связь многие ко многим. Недостатком сетевых баз данных является сложность разработки больших приложений.

3)  Реляционные базы данных – произвели настоящий прорыв в развитии теории баз данных. Основная задача реляционной модели была упростить структуру базы данных. В ней отсутствовали явные указатели на предков и потомков, а все данные были представлены в виде простых таблиц, разбитых на строки и столбцы, на пересечении 
которых расположены данные.Особенности реляционной базы данных:

  • Данные хранятся в таблицах, состоящих из столбцов и строк
  • На пересечении каждого столбца и строки находится только одно значение
  • У каждого столбца есть свое имя, которое служит его названием, и все значения в одном столбце имеют один тип.
  • Столбцы располагаются в определенном порядке, который задается при создании таблицы, в отличие от строк, которые располагаются в произвольном порядке.
  • В таблице может не быть ни одной строчки, но должен быть хотя бы один столбец.
  • Запросы к базе данных возвращают результат в виде таблиц, которые тоже могут выступать как объект запросов.

Первичные ключи

Строки в реляционной базе данных неупорядоченные. Для выбора в таблице конкретной строки создается один или несколько столбцов, значения которых во всех строках уникальны. Такой столбец называется первичным ключом.
Первичный ключ (primary key) – является уникальным значением в столбце. Никакие из двух записей таблицы не могут иметь одинаковых значений первичного ключа.
По способу задания первичных ключей различают логические (естественные) ключи и суррогатные (искусственные).
Логический ключ – представляет собой значение, определяющее запись естественным образом.
Суррогатный ключ – представляет собой дополнительное поле в базе данных, предназначенное для обеспечения записей первичным ключом.

Нормализация базы данных

Нормализацией схемы базы данных – называется процедура, производимая над базой данных с целью удаления в ней избыточности. 

Централизованная архитектура

При централизованной архитектуре и приложение, СУБД и база данных размещаются на одном центральном мэйнфрейме – базовой универсальной вычислительной машине. Пользователи подключаются к нему посредством терминалов. Терминал представлял собой клавиатуру, монитор и сетевую карту, посредством которой происходит обмен данных терминала с мэйнфреймом. Роль приложения состоит в принятии вводимых данных с пользовательского терминала по сети и передаче их на обработку СУБД с последующей передачей полученного от СУБД ответа на монитор терминала.

Архитектура клиент-сервер

В клиент-серверной архитектуре персональные компьютеры объединены в локальную сеть, в этой же сети находится и сервер баз данных, на котором содержатся общие для всех клиентом базы данные и СУБД. Вычислительные возможности сервера полностью сосредоточены на обслуживании СУБД.

Трехуровневая архитектура интернета

Трехуровневая модель позволяет отделить клиентское программное обеспечение от серверной части, а на серверной стороне отделить веб-сервер от сервера базы данных. 
Несколько серверов, работающих над одной и той же задачей, функционируют надежнее и обходятся дешевле, чем один сервер высокой производительности.

Кластерная модель

Кластеры часто называют дешевыми супер ЭВМ. Ряд маломощных машин объединяют в локальную сеть. Специальное программное обеспечение распределяет вычисления между отдельными хостами сети. Выход из строя одного из хостов никак не отражается на работе все сети, а сам кластер легко расширяется за счет ввода дополнительных машин.

Как работают базы данных.

По сути, база данных – это набор файлов, в которых хранится информация. СУБД – система управления базами данных, управляет данными, берет на себя все низкоуровневые операции по работе с файлами, благодаря чему программист при работе с базой данных может оперировать лишь логическими конструкциями при помощи 
языка программирования, не прибегая к низкоуровневым операциям.

Язык структурированных запросов SQL позволяет производить следующие операции:

  • Выборку данных – извлечение из базы данных содержащейся в ней информации.
  • Организацию данных – определение структуры базы данных и установления отношений между ее элементами.
  • Обработку данных – добавление, изменение, удаление.
  • Управление доступом – ограничение возможностей ряда пользователей на доступ к некоторым категориям данных, защита данных от несанкционированного доступа.
  • Обеспечение целостности данных – защита базы данных от разрушения.
  • Управление состоянием СУБД.

Достоинства системы управления базами данных MySQL:

  • Скорость выполнения запросов.
  •  СУБД MySQL разработана с использованием языков C/C++ и оттестирована более чем на 23 платформах.
  • Открытый код доступен для просмотра и модернизации всем желающим.
  • Высокое качество и устойчивость работы.
  • Поддержка API для различных языков программирования
  • Наличие встроенного сервера. СУБД MySQL может быть использован как с внешним сервером, поддерживающим соединение с локальной машиной и с удаленным хостом, так и в качестве встроенного сервера.
  • Широкий выбор типов таблиц позволяет реализовать оптимальную для решаемой задачи производительность и функциональность.
  • Локализация выполнена корректна. 
  • Совместимость с другими базами данных и полностью удовлетворяет стандарту SQL.

Индексы

Индексы – основной способ ускорения работы баз данных. Чтобы найти нужную запись, необходимо сканировать всю таблицу, на что уходит большое количество времени.
Идея индексов состоит в том, чтобы создать для столбца копию, которая постоянно будет поддерживаться в отсортированном состоянии. Это позволяет очень быстро осуществлять поиск по такому столбцу, так, как заранее известно, где необходимо искать значение.
Добавление или удаление записи требует дополнительного времени на сортировку столбца, кроме того, создание копии увеличивает объем памяти, необходимый для размещения таблицы на жестком диске.

Существует несколько видов индексов:

  • Первичный ключ – главный индекс таблицы. В таблице может быть только один первичный ключ, и все значения такого индекса должны отличаться друг от друга, являться уникальными в пределах одного столбца.
  • Обычный индекс – таких индексов может быть несколько.
  • Уникальный индекс – уникальных индексов также может быть несколько, на значения индекса не должны повторяться.
  • Полнотекстовый индекс – специальный вид индекса для столбцов типа TEXT, позволяющий производить полнотекстовый поиск.

Типы и структура таблиц

СУБД MySQL поддерживает несколько видов таблиц, каждая из которых имеет свои возможности и ограничения.

MyISAM

MyISAM – является родным типом таблиц для базы СУБД MySQL. База данных в MySQL организуется как каталог. Таблицы базы данных организуются как файлы данного каталога. Каждая MyISAM таблица хранится на диске в трех файлах, имена которых совпадают с названием таблицы, а расширение может принимать одно из следующих значений:

  • Frm – содержит структуру таблицы, в файле данного типа хранится информация об именах и типах столбцов и индексов.
  • Myd – файл, в котором содержатся данные таблицы.
  • Myi – файл, котором содержатся индексы таблицы.

Особенности типа таблиц MyISAM:

  • Данные хранятся в кросс-платформенном формате, это позволяет переносить базы данных с сервера непосредственным копированием файлов, минуя промежуточные форматы.
  • Максимальное число индексов в таблице составляет 64. Каждый индекс может состоять максимум из 16 столбцов.
  • Для каждого из текстовых столбцов может быть назначена своя кодировка.
  • Допускается индексирования текстовых столбцов, в том числе и переменной длины.
  • Поддерживается полнотекстовый поиск.
  • Каждая таблица имеет специальный флаг, указывающий правильность закрытия таблиц. Если сервер останавливается аварийно, то при его повторном старте незакрытые флаги сигнализируют о возможных сбойных таблицах, сервер автоматически проверяет их и пытается восстановить.

MERGE

Тип таблиц MERGE позволяет сгруппировать несколько таблиц типа MyISAM в одну. Такой тип таблиц применяется для снятия ограничения на объем таблиц MyISAM. Таблицы MyISAM, которые подвергаются объединению в одну таблицу MERGE, должны иметь одинаковую структуру, то есть, одинаковые столбцы и индексы, а также порядок их следования. 
При создании таблицы типа MERGE будут образованы файлы структуры таблицы с расширением frm и файлы с расширением mrg. Файл mrgсодержит список индексных файлов, работа с которыми должна осуществляться как с единым файлом.

MEMORY (HEAP)

Тип таблиц MEMORY хранится в оперативной памяти, поэтому все запросы к такой таблице выполняются очень быстро. Недостатком является полная потеря данных в случае сбоя работы сервера, поэтому в таблице данного типа хранят только временную информацию, которую можно легко восстановить заново. 
При создании таблицы типа MEMORY она ассоциируется с одним-единственным файлом, имеющим расширение frm, в котором определяется структура таблицы.
При остановке или перезапуске сервера данный файл остается в текущей азе данных, но содержимое таблицы, которое хранится в оперативной памяти, теряется.

Ограничения MEMORY таблиц:

  • Индексы используются только в операциях сравнения совместимо с операторами = и <=>, с другими операторами, такими как > или < индексирование столбцов не имеет смысла
  • Возможно использование только неуникальных индексов.
  • Можно использовать записи фиксированной длины, поэтому в них не допустимы столбцы типов TEXT и BLOD.
  • В версиях, предшествующих MySQL 4.0.2, не поддерживается индексирование столбцов, содержащих NULL-значения.

EXAMPLE

Данный тип таблиц является заглушкой: можно создать таблицу данного типа, но хранить или получить из нее данные нельзя. При создании таблиц данного тип, точно также как и в случае MEMORY, создается один файл с расширением frm, в котором определяется структура таблицы.
EXAMPLE был введен для удобства сторонних разработчиков и демонстрирует, каким образом следует создавать собственные типы таблиц.

BDB (BerkeleyDB)

Таблицы типа BDB обслуживаются транзакционным обработчиком Berkeley DB, разработанным компанией Sleepycat. При создании таблиц данного типа формируются два файла: первый с расширением frm, в котором определяется структура базы данных, а второй с расширением db, в котором размещаются данные и индексы.

Особенности типа BDB:

  • Для каждой таблицы ведется журнал. Это позволяет значительно повысить устойчивость базы и увеличить вероятность успешного восстановления после сбоя.
  • Таблицы BDB хранятся в виде бинарных деревьев. Такое представление замедляет сканирование таблицы и увеличивает занимаемое место на жестком диске по сравнению с другими типами таблиц. С другой стороны, поиск отдельных значений в таких таблицах осуществляется быстрее.
  • Каждая таблица BDB должна иметь первичный ключ, в случае его отсутствия создается скрытый первичный ключ, снабженный атрибутом AUTO_INCREMENT.
  • Поддерживаются транзакции на уровне страниц.
  • Подсчет числа строк в таблице при помощи встроенной функции count() осуществляется медленнее, чем для MyISAM, так как в отличие от последних, для BDB-таблиц не поддерживается подсчет количества строк в таблице, и MySQL вынужден каждый раз сканировать таблицу заново.
  • Ключи не являются упакованными, и ключи занимают больше места.
  • Если таблица займет все пространство на диске, то будет выведено сообщение об ошибке и выполнен откат транзакции. 
  • Для обеспечения блокировок таблиц на уровне операционной системы в файл db в момент создания таблицы записывается путь к файлу. Это приводит к тому, что файлы нельзя перемещать из текущего каталога в другой каталог.
  • При создании резервных копий таблиц необходимо использовать утилиту mysqldump или создать резервные копии всех db файлов и файлов журналов. Обработчик таблицы хранит незавершенные транзакции в файлах журналов, их наличие требуется при запуске сервера MySQL.

InnoDB

Данный тип таблиц обеспечивает высокую производительность и устойчивое хранение данных в таблицах объемом вплоть до 1 Тбайт и нагрузкой на 
сервер до 800 вставок/обновлений в секунду.Особенности таблиц типа InnoDB:

  • Таблицы не создаются в базах данных, и для каждой из таблиц не выделяется отдельный файл данных. Исключение – файл определения с расширением frm, который создается по умолчанию. Все таблицы хранятся в едином табличном пространстве, поэтому имена таблиц должны быть уникальными.
  • Хранение данных в едином табличном пространстве позволяет снять ограничение на объем таблиц, так как файл с таблицами может быть разбит не несколько частей и распределен по нескольким дискам или даже хостам.
  • Данный тип таблиц поддерживает автоматическое восстановление после сбоев.
  • Обеспечивается поддержка транзакций.
  • Единственный тип таблиц, поддерживающий внешние ключи и каскадное удаление.
  • Выполняется блокировка на уровне отдельных записей.
  • Расширенная поддержка кодировок.
  • Рушатся при достижении объема в несколько гигабайт, однако заметно уступают в скорости и не поддерживают полнотекстовый поиск.

NDB Cluster 

Этот тип таблиц предназначен для организации кластеров, когда таблицы распределены между несколькими компьютерами, объединенными в локальную сеть.

ARCHIVE

Этот тип введен для хранения большого объема данных в сжатом формате. При создании данного типа MySQL, так же как и для таблиц любого другого типа, создает файл с именем, совпадающим с именем таблицы, и расширением frm. В этом файле хранится определение структуры таблицы. Помимо этого создаются два файла с расширением arz и arm, в которых хранятся данные и мета-данные.

CSV

Представляет собой обычный текстовой файл, записи в котором хранятся в строках, а поля разделены точкой с запятой. При создании таблицы в каталоге с текущей базой данных формируется два файла с именами, совпадающими с именем таблицы, и расширениями frm и csv.

FEDERATED

Позволяет хранить данные в удаленных таблицах, расположенных на другой машине сети. Во время создания таблицы в локальном каталоге создается только файл определения структуры таблицы с расширением frm, никакие другие файлы не создаются, так как все данные хранятся на удаленной машине.

BLACKHOLE

Таблица этого типа дословно переводится как черная дыра. Любые данные, помещаемые в таблицы этого типа, уничтожаются. Основное применение таблицы – это проверка синтаксиса дампов, когда необходимо проверить дамп на наличие ошибок, чтобы не производить реальное развертывание базы данных.

Транзакции 

Транзакция – это последовательность операторов SQL, выполняющихся как единая операция, которая не прерывается другими клиентами. То есть пока происходит работа с записями таблицы, никто другой не может получить доступ к этим записям. Доступ к записям автоматически блокируется.

Репликация

Репликация позволяет дублировать данные основного сервера на одном или более подчиненных серверов. Репликация может осуществляться в режиме онлайн, или время от времени – подчиненный сервер может загружаться только для того, чтобы загрузить обновления.

Хранимые процедуры

Хранимые процедуры позволяют объединить последовательность запросов и сохранить их на сервере.
Преимущества хранимых процедур:

  • Повторное использование кода 
  • Сокращение сетевого трафика.
  • Безопасность.
  • Простота доступа.
  • Выполнение деловой логики.

Триггеры

Триггер – эта хранимая процедура, привязанная к событию на изменения содержимого таблицы: вставка, обновление, удаление.

Представления

Представление – это запрос на выборку, которому присваивается уникальное имя и который может сохранять или удалять из базы данных как обычную хранимую процедуру.
Информационная схема – это стандартный набор представлений системной таблицы.

Представление CHARACTER_SETS

Содержит список и характеристики кодировок, доступных текущему пользователю.

Представление COLLATIONS

Содержит список и характеристики сортировок, доступных текущему пользователю.

Представление COLLATION_CHARACTER_SET_APPLICABILITY

Содержит всевозможные комбинации кодировок и сортировок, доступные текущему пользователю.

Представление COLUMN_PRIVILEGES

Содержит информацию о привилегиях текущего пользователя на столбцы таблиц.

Представление COLUMNS

Содержит информацию о доступных текущему пользователю столбцах во всех таблицах всех баз данных.

Представление KEY_COLUMN_USAGE

Содержит информацию об индексированных столбцах, доступных текущему пользователю. 

Представление ROUTINES

Содержит список и параметры хранимых процедур и функций, доступных текущему пользователю для выполнения.

Представление SCHEMA_PRIVILEGES

Содержит глобальные привилегии всех пользователей сервера MySQL.

Представление SCHEMATA

Содержит список и характеристики баз данных, доступных текущему пользователю.

Представление STATISTICS

Содержит разнообразную информацию об индексах.

Представление TABLE_CONSTRAINTS

Содержит информацию об ограничивающих индексах, которые имеют ограничение уникальности значения (PRIMARY KEY, UNIQUE) или ограничение внешнего ключа (FOREIGN KEY).

Представление TABLE_PRIVILEGES

Содержит информацию о табличных привилегиях.

Представление TABLES

Содержит список таблиц и их характеристики.

Представление USER_PRIVILEGES

Содержит информацию о глобальных привилегиях базы данных.

Представление VIEWS

Содержит информацию о глобальных привилегиях базы данных.

Реляционные базы данных

Реляционная модель базы данных состоит из трех частей:
Структурная часть – описывает, какие объекты рассматриваются реляционной моделью. Реляционная база данных состоит из набора отношений. Схемой реляционной базы данных называется набор заголовков отношений, входящих в базу данных.
Целостная часть – описывает ограничения специального вида, которые должны выполняться для любых отношений в любых реляционных базах данных. Это целостность сущностей и целостность внешних ключей.
Манипуляционная часть – описывает два эквивалентных способа манипулирования реляционными данными – реляционную алгебру и реляционное исчисление.

Термины реляционных баз данных.

Реляционный термин Описание
Отношение  Таблица
Заголовок отношения  Заголовок таблицы
Тело отношения Тело таблицы
Атрибут отношения Наименование столбца (поля) 
таблицы
Кортеж отношения Строка (запись) таблицы
Степень отношения Количество столбцов таблицы
Мощность (кардинальность) 
отношения
Количество строк таблицы
Домен Базовый или пользовательский тип 
данных

Атрибуты

Атрибуты сущности – это именованная характеристика, являющаяся некоторым свойством сущности.

При проектировании атрибутов полезно задавать такие вопросы:

  • Какие данные о сущности мы хотим хранить?
  • Какие свойства есть у экземпляра этой сущности, даже если вокруг нее больше ничего нет?
  • Есть ли у экземпляра этой сущности только один экземпляр этой вещи? 
  • Может ли изменяться описанная атрибутом характеристика сущности с течением времени?

Бинарные связи

Бинарные связи – это связи, в которые вступают ровно две сущности. Важнейшее свойство связи – кардинальное число. 

Типы бинарных связей:

  • Связь типа «один-к-одному» означает, что один экземпляр первой сущности связан не более чем с одним экземпляром второй сущности и, наоборот, один экземпляр второй сущности связан не более чем с одним экземпляром первой сущности.
  • Связь типа «один-ко-многим» означает, что один экземпляр первой сущности связан с несколькими экземплярами второй сущности, но при этом один экземпляр второй сущности связан не более чем с один экземпляром первой сущности.
  • Связь типа «много-ко-многим» означает, что каждый экземпляр первой сущности может быть связан с несколькими экземплярами второй сущности, и каждый экземпляр второй сущности может быть связан с несколькими экземплярами первой сущности. Эта связь должна быть заменена двумя связями типа один-ко-многим путем создания промежуточной сущности.

Ролевые связи

Ролевые связи необходимы, когда:

  • Экземпляры одной и той же сущности вступают в связи между собой.
  • В зависимости от значения одного из атрибутов сущности по-разному определяется само множество других ее атрибутов.
  • В зависимости от значения одного из атрибутов сущности она по-разному вступает в связи с другими сущностями.

Рекурсивные связи

Рекурсивная связь – это связь, в которой одни и те же сущности учувствуют несколько раз или в разных ролях. Классический пример рекурсивной связи –
это связь сущности с самой собой.

Различают три варианта рекурсивной связи:

  • Рекурсивная связь «один-к-одному», моделирующая цепочку.
  • Рекурсивная связь «один-ко-многим» или иерархическая рекурсивная связь.
  • Рекурсивная связь «много-ко-многим» или сетевая рекурсивная связь.

Логическое проектирование и оптимизация

OLTP – обработка транзакций в режиме реального времени. Способ организации БД, при котором система работает с небольшими по размерам транзакциями, но идущими большим потоком, и при этом клиенту требуется от системы минимальное время отклика. Примерами OLTP приложений могут быть системы складского учета, системы заказов билетов, банковские системы, выполняющие операции по переводу денег.
Особенности OLTP приложений:

  • Транзакций очень много.
  • Транзакции выполняются одновременно.
  • При возникновении ошибки транзакция должна целиком откатиться и вернуть систему к состоянию, которое было до начала транзакции (не должно быть ситуации, когда деньги сняты со счета, но не поступили на другой счет).
  • Все запросы к базе данных, которые должны выполняться в реальном времени, состоят из команд вставки, обновления, удаления.

OLAP системы характеризуются следующими признаками:

  • Добавление в систему новых данных происходит относительно редко крупными блоками.
  • Данные, добавленные в систему, обычно никогда не удаляются.
  • Перед загрузкой данные проходят различные процедуры очистки, связанные с тем, что в одну систему могут поступать данные из многих источников, имеющих различные форматы представления для одних и тех же понятий, данные могут быть некорректны, ошибочны
  • Запросы к системе являются нерегламентированными и, как правило, достаточно сложными. Очень часто новый запрос формулируется аналитиком для уточнения результата, полученного при выполнении предыдущего запроса.
  • Скорость выполнения запросов важна, но не критична.

Уровни моделирования реляционной базы данных

Внешний уровень – уровень представления базы данных с точки зрения пользователя.
Концептуальный – описывает какие данные хранятся в базе данных, а также, какие связи имеются между этими данными.
Внутренний – описывает физическое представление базы данных в компьютере, то есть отвечает на вопрос, как информация хранится в базе данных.

Вводятся следующие понятия:

  • Модель предметной области – знания о предметной области, описанные с помощью некоторого формального общепринятого способа.
  • Логическая (концептуальная) модель данных – является органической составляющей модели предметной области, описывает понятия предметной области в реляционных терминах данных.
  • Физическая модель данных – описывает данные средствами конкретной реляционной СУБД.
  • База данных и приложение – средства, реализованные на конкретной программно-аппаратной основе.

Критерии оценки качества логической модели

Критерии важные с точки зрения получения качественной базы данных:
1.  Адекватность базы данных предметной области.
2.  Скорость выполнения операций обновления данных.
3.  Скорость выполнения операций выборки данных. 
4.  Легкость разработки и сопровождения базы данных.
5.  Отсутствие неоправданной избыточности данных.

Физическое представление базы данных

Проблемы, которые приходится решать при проектировании физического представления базы данных:

  • Определение требований к системным ресурсам.
  • Выбор файловой структуры и определение группы файлов.
  • Анализ запросов и транзакций с целью корректного размещения базовых таблиц и индексов по группам файлов.
  • Определение вторичных индексов и размещение их в группах файлов.
  • Анализ адекватности базы данных, с точки зрения возможности выполнения всех заданных транзакций при допустимом уровне их конфликтности и приемлемом совокупном быстродействии.
  • Анализ необходимости введения контролируемой избыточности данных и средств ее реализации.
  • Определение необходимости применения специфических настроек сервера для конкретной системной конфигурации.
  • Разработка механизмов защиты.

Участники недавней конференции издательства «Открытые системы» поделились своими подходами к получению качественных данных и рекомендациями по решению такой задачи.

Работа секции «Опыт» конференции «Качество данных 2023», проведенной в феврале издательством «Открытые системы», вызвала особый интерес у ее участников. Впрочем, это вполне объяснимо: здесь они смогли познакомиться с самыми интересными из недавно реализованных проектов, связанных с получением и использованием качественных данных.

Миграция и оптимизация аналитических ландшафтов

Весной 2022 года розничная сеть «ВсеИнструменты.ру» столкнулась с серьезной проблемой, ставшей следствием западных санкций: компании пришлось в срочном порядке осуществлять миграцию систем хранения данных и аналитики из облачных сервисов одного из международных провайдеров на локальные мощности, причем этот переход следовало провести без остановки или заметных сбоев операционных бизнес-процессов компании. На то, чтобы вывести аналитику из облака, провайдер отвел всего две недели.

По словам Вадима Уланова, директора по данным компании «ВсеИнструменты.ру», на тот момент в ландшафте аналитики царил «зоопарк» технологий: PHP, Oracle, PostgreSQL, Golden Gate, Python, ClickHouse, PowerBI и пр. Последний рефакторинг кода проводился более трех лет назад, за это время многие из тех, кто разрабатывал процедуры для хранилища данных, покинули компанию. В результате образовалось значительное количество унаследованных программных модулей, которые были плохо документированы и практически не поддерживались. Их работа была нестабильной (сбои случались часто), поэтому исправления в них приходилось вносить регулярно.

От использовавшегося прежде ПО с открытым кодом решили отказаться. Вместо него выбрали платформу с максимальным количеством нужных приложений в рамках одного стека. Полный переезд на новую платформу занял около полутора месяцев. Команде проекта удалось не только реализовать весь базовый функционал, существовавший прежде, но и высвободить около 10 млн руб. в год за счет отказа от облаков и оптимизации ландшафта бизнес-аналитики. Кроме того, были снижены требования к квалификации разработчиков, благодаря чему экономия фонда оплаты труда при найме новых сотрудников составила около 20%. Благодаря тому, что специалисты при переходе на новую платформу заново переписали бизнес-логику хранилища данных и отказались от необоснованной кастомизации, скорость ежедневного обновления данных в хранилище увеличилась на 15%.

Перечисляя важнейшие уроки проекта миграции, Уланов отметил важность обучения сотрудников и формирования культуры работы с данными: «Если пользователи по-прежнему тянутся к Excel, значит, с ними недостаточно поработали. Нужно объяснять преимущества новых аналитических инструментов и добиваться того, чтобы люди поверили в их полезность и эффективность. И конечно, надо прививать сотрудникам культуру работы с данными».

В компании «ЦЕМРОС» (ранее «Евроцемент Груп») сейчас заканчивается проект перехода с прежней системы управления мастер-данными (MDM) на новую — его планируется завершить к апрелю. Как рассказали Илья Залозных, начальник отдела НСИ департамента информационно-цифровых технологий и архитектуры компании «ЦЕМРОС», и Елена Подгайная, руководитель проектов компании SOFROS, прежде в холдинге использовали решение «Парус» в качестве единой ERP-системы и разработанную своими руками систему MDM. К моменту начала проекта назрела необходимость существенно расширить ее функционал, но стоимость доработки была слишком велика. Кроме того, много сложностей возникало из-за того, что данные справочника материально-технических ресурсов были нечетко классифицированы, неточны или неполны, причем настолько, что однозначно идентифицировать многие позиции справочника было невозможно. Наконец, записи в справочниках нередко дублировались, что затрудняло слаженное функционирование информационных систем и подразделений компании. Если учесть, что число позиций в справочниках НСИ достигало 500 тыс., стало очевидно, что без перехода на новую MDM-систему накопившиеся проблемы решить не удастся.

Было решено переходить на новую систему на базе продукта «1С:MDM». Для ее интеграции с системами «Парус» и «1С:CRM» внедрили интеграционную шину DATAREON ESB.

В настоящее время компания находится на этапе перехода от прежней MDM-системы к новой: часть дочерних предприятий уже работают на базе новой системы, тогда как другая часть — пока на основе прежней. Как пояснил Залозных, такой подход был принят, чтобы снизить уровень стресса у сотрудников.

Благодаря внедрению новой MDM-системы и нормализации базы НСИ, существенно уменьшились затраты времени на поиск и анализ позиций в справочнике, сократились сроки выполнения конкурсных процедур на торговых площадках, ускорилась обработка заявок по справочникам. А за счет выявления и устранения дублей появилась возможность в перспективе сэкономить более 40 млн рублей благодаря более четкой идентификации остатков на складах. Кроме того, удалось провести инвентаризацию позиций МТР с привязкой технической документации. В результате оптимизации и усовершенствования бизнес-процессов по ведению справочников существенно повысилась продуктивность работы службы НСИ.

Рекомендации на основе лучших практик

Как привлечь внимание бизнеса к повышению качества данных? Для этого надо понять, что качество данных дает бизнесу, считает Андрей Трянин, начальник управления методологии и контроля работы с данными компании X5 Retail Group. Основываясь на этой идее, он и его коллеги решили разделить понятия технического качества данных и их бизнес-качества.

Андрей Трянин
Андрей Трянин: «Зачастую бизнес пытается решить свои проблемы на уровне процессов и людей, но не обращает внимания на слой данных»

«Одно дело — решение чисто технических проблем, таких, например, как обеспечение своевременного обновления информации в витринах данных. И другое — решение бизнес-проблем, которое возможно на основе анализа качественных данных, — поясняет Трянин. — Например, почему не продается товар, который есть и в остатках на складах, и в ассортименте? Бизнес не заявит о том, что данные о товарах нужно отслеживать и как-то анализировать. Зачастую бизнес вообще не ассоциирует подобные проблемы с данными, поэтому пытается решить их на уровне процессов, людей, но не обращает внимания на слой данных».

Предметно заниматься бизнес-качеством данных в X5 Retail Group начали с декабря. Проведенная работа уже дала вполне заметный экономический эффект.

«Мы подтвердили гипотезу, и эффект от внедрения изменений оценивается в ‘скромные’ 50 млн руб. — отмечает Трянин. — Для компании это немного, но для моей команды это сумма средств на два-три года».

Подход к управлению качеством данных, основанный на соглашениях SLA, описал Евгений Виноградов, директор департамента аналитических решений компании YooMoney. Он и его коллеги выяснили, на какие проблемы с качеством данных чаще всего жалуются пользователи. Как оказалось, замечания в первую очередь касались недоступности данных, их неактуальности или некорректности. У дата-инженеров обнаружились схожие претензии, но, кроме того, у них были и нарекания к качеству исходных данных.

«Решением проблем с качеством данных может стать фиксация в документе SLA требований к данным с указанием приемлемых диапазонов показателей», — считает Виноградов.

С его точки зрения, в SLA для аналитических систем наиболее важными показателями являются полнота данных и их точность. Также следует контролировать доступность данных для пользователей и соблюдение четких сроков завершения обработки информации за предыдущие периоды. Кроме того, полезно отслеживать длительность инцидентов с данными и их максимальное количество за месяц. Что касается вопроса о том, стоит ли отражать в SLA работоспособность источников данных, Виноградов и его коллеги пришли к выводу, что исключить из SLA можно только параметры работоспособности второстепенных данных. Ответственность за важные источники аналитикам все-таки приходится брать на себя. 

Евгений Виноградов
Евгений Виноградов: «Решением проблем с качеством данных может стать формирование документа SLA»

Время, к которому должно завершаться обновление данных за предыдущий день, допустимое количество инцидентов за месяц, сроки устранения инцидентов, а также допустимое количество плановых работ и время восстановления с резервной копии в случае повреждения основной базы данных — вот те параметры, которые сегодня являются ключевыми метриками контроля доступности аналитических систем в YooMoney.

«Дело осталось за малым — добиться того, чтобы зафиксированные в SLA договоренности соблюдались», — добавляет Виноградов.

Свой подход к обеспечению качества данных нашли в «М.Видео-Эльдорадо». Как рассказал Алексей Точилов, руководитель продукта Data Governance, в компании в силу исторических причин развиваются два хранилища данных — корпоративное и аналитическое. Они подчиняются разным департаментам, выстроены на базе разных технологических стеков, их сопровождают и поддерживают разные команды. До недавнего времени требования бизнес-заказчиков к данным в разных хранилищах формировались различным образом и проверки качества данных были реализованы по-разному. Неудивительно, что в некоторых случаях возникали расхождения в данных. Немало сложностей возникало и тогда, когда приходилось переносить отдельные активы данных из одного хранилища в другое: могли появляться дополнительные требования, обнаружить которые без выстроенной процедуры их отслеживания было проблематично.

Выход из ситуации был найден путем унификации процессов управления качеством данных. В частности, специалисты решили стандартизировать управление требованиями к данным, согласовать методологии проверок качества данных, обеспечить своевременное реагирование на инциденты с данными и их устранение.

За основу был взят каталог данных, а точнее — хранящиеся в нем метаданные и глоссарий, который содержит не только термины и определения данных, но и информацию об их семантике и происхождении (что особенно важно для поиска точек отказа при анализе инцидентов с данными). Управление качеством данных было решено реализовать на основе каталога данных: именно в нем теперь хранятся типы проверок качества, которые необходимо применить в отношении того или иного актива данных. Типы проверок, включающие описания их методологии в терминах бизнеса и описания алгоритмов, копируются в каталог из системы качества данных (она реализована на базе собственной разработки).

Теперь в каталоге данных фиксируются требования, касающиеся отдельных активов данных, вместе со ссылками на типы проверок, которые следует применить. Эти требования копируются в систему качества данных, и встроенный в нее планировщик заданий систематически запускает проверки согласно составленному расписанию. Их результаты сохраняются в системе качества данных, при этом каталог данных предоставляет возможность просмотра таких результатов. Таким образом, каталог данных выступает в роли единого окна для контроля данных, которое доступно всем, кто использует или поддерживает активы данных.

Нередко проблемы с качеством данных возникают из-за того, что не удается снизить их сложность. По словам Федора Медведева, директора департамента компании Naumen, отвечающего за цифровые сервисы и решения в образовании, помочь справиться с этой проблемой могут системы корпоративного поиска. В частности, поисковая система Naumen Enterprise Search, обладающая встроенными механизмами машинного обучения и средствами обработки запросов на естественном языке (Natural Language Processing, NLP), интегрирует разнородные источники. Система поиска использует единое окно доступа к данным, причем не только к внутренним, но и к внешним.

Внедренная в компании «Газпром Нефть» поисковая система Naumen сегодня охватывает около 50 тыс. пользователей, 50 источников данных и 30 млн документов, обрабатывая около 2,5 тыс. запросов ежедневно. В компании «Мосэнергосбыт» на основе такого же продукта выстроен автоматический мониторинг законодательства в области электроэнергетики: система опрашивает источники (внешние сайты) и ищет информацию о подготовке новых изменений в документах регуляторов. Кроме того, система помогает анализировать найденные данные, отслеживать упомянутые в документах сроки и пр. Что важно, она обеспечивает обсуждение найденных документов внутри организации (задействованы более 50 подразделений) и сведение различных позиций к единому мнению.

Нина Адамова, руководитель направления «Умный город» компании «МегаФон», считает, что вопрос доверия к предоставляемым руководителям данным сегодня является очень важным. Чтобы снизить информационную нагрузку, «Мегафон» создает для топ-менеджеров различных организаций персональные рабочие места — информационные панели, на которых визуализируются не более чем по шесть крупных диаграмм, отражающих актуальные данные по наиболее насущным вопросам, тогда как прочие сведения отображаются в свернутом виде — при желании их можно развернуть и изучить более подробно. Данные для таких систем могут извлекаться из десятков, а иногда и из сотен различных источников — как внутренних, имеющихся в головном офисе или дочерних организациях, так и внешних. К сожалению, раскрывать детали обеспечения качества данных для систем руководителей «Мегафон» пока не готов.

Понравилась статья? Поделить с друзьями:
  • Урсокапс инструкция по применению цена в минске
  • Руководство по ремонту эксплуатации тойоты калдина
  • Оплата штрафа по qr коду сбербанк онлайн инструкция
  • Ацетилцистеин капли инструкция по применению цена
  • Интра аэрозоль инструкция по применению в ветеринарии