[기고] EDW Keynote Speech

"The Transformation To Data-Driven Business Starts Here."

비즈니스 데이터 기반을 위한 전환이 여기에서 시작됩니다.

Enterprise Data World(이하 EDW)는 Dataversity(www.dataversity.net)에서 주최하는 데이터 관리 교육 컨퍼런스이다. 매년 다른 도시에서 개최되며 올 해는 2017년 4월, 미국 아틀란타에서 6일동안 진행되었다.

EDW 2017은 데이터와 관련된 다양한 20여가지의 기술을 주제로 매일 10~20여개의 세션이 진행되었다. 특히 이번 2017 EDW는 NoSQL, Governance and Stewardship, Data and Information Quality 등을 주제로 한 세션의 비중이 많았다.

[그림1] EDW 기술 주제 분포

EDW Keynote Speech

1) Key note

많은 기술 주제 중 이번에 소개할 내용은 EDW Keynote Speech(이하 Keynote)이다. 

MCG(McKnight Consulting Global Service)사의 CEO William McKnight는, "Rasing the Information Management Maturity Curve"라는 주제로 데이터 성숙도의 증가가 비즈니스 성공과 연관이 있으며, 데이터 관점에서 어떻게 성숙도 기준을 측정하는지에 대한 강연을 하였다.

[그림2] EDW Keynote Speech by William McKnight who is CEO of MCG

기업의 데이터 신뢰도와 이익 창출을 위한 데이터 성숙도에 대해 우선 기업의 빅데이터 요구 여부와 어떻게 데이터 성숙도를 향상 시킬지에 대하여 설명하도록 하겠다.

2) 빅데이터 기술의 사용

현재 기업의 빅데이터 기술이나 솔루션의 사용 또는 계획 현황을 보면 결과는 아래와 같이 볼 수 있다.

- 기업의 Big Data 사용 현황 -

[그림3] Big Data 현황

[그림3]은 기업의 빅데이터 도입 및 생산성 증대에 얼마나 영향이 있는지에 대한 설문이다. [그림3]을 보면 많은 기업들이 1년 이내 혹은 후에 Big Data 기술을 도입할 계획을 가지고 있으며, Big Data 기술을 도입/확장한 기업의 퍼포먼스가 크게 나타나는 것을 보여주고 있다.

기업 이익 창출에 데이터가 큰 기여를 하며, 중요하다고 인식하는 것이다. 때문에 Big Data 기술을 기업에 적용하는데 많은 관심을 두고, Big Data 기술과 솔루션이 기업에 절대적으로 필요하다고 말하기도 한다.

Big Data는 기업 이익창출을 위한 선택이 아닌 필수로 여겨지고 있다.

- 데이터 요구사항의 변화 -

기업은 기업의 이익을 위해서 꾸준히 데이터를 필요로 했는데, 데이터 요구 사항의 과거와 현재는 분명한 차이가 있다.

[그림4] 기업의 데이터 필요 사항의 과거와 현재

위 그림을 보면, 1990년대에는 기업이 필요한 데이터를 신속하게 전달받기를 요구하였다면, 2000년대는 '쓸모 있는 데이터'를 요구하였고, 최근 2010년대에 들어서는 모든 데이터를 효과적으로 빠르게 전달받기를 원하는 것을 알 수 있다.

기업의 데이터 확보에 대한 Needs가 규모나 성능적인 모든 면에서 점차적으로 성장 한 것 이다. 또한 요즘은 시스템의 성능이 과거보다 월등하게 발달하여 데이터 분석처리를 위한 기술적 환경이 갖추어지며 기업의 데이터에 대한 Needs를 충족시킬 수 있게 되었다.

데이터는 비즈니스를 위해 충분한 가치를 갖고 있다. 그 이유를 Speech에서는 아래의 6개로 설명하였다.

정보는 지속적으로 증가하고 있다.

사업은 실시간으로 이루어지고 있기 때문에 데이터는 모든 시간에 발생되고 있다.

우리가 갖고 있는 데이터는 경쟁자들과 차별을 줄 수 있다.

정보(데이터)의 품질은 고객에게 큰 영향(이익)을 준다.

우리가 사용하고 수집하는 정보는 지속적으로 필요하게 된다.

정보(데이터)는 중요한 비즈니스 자산이 된다.

데이터를 활용하여 이익을 창출하는 기업은 수익 향상을 위해 위 내용에 대한 인식이 필요하다.

3) 빅데이터의 방향

IDC(International Data Corporation, www.idc.com)은 Big Data 활용 추세가 지속적으로 증가할 것이며, Big Data 시장이 2019년까지 매년 23%씩 성장하여 총 486억달러 가치로 성장 할 것으로 예상 하고 있다.

4) 데이터 가치의 측정

[그림5] 데이터에 대한 가치 측정 방법

데이터에 대한 가치 측정은 1)사용자 만족도로 측정을 많이 하고 있다. 그 뒤로는 2)ROI와 성장도 그리고 3)데이터 성숙도로 데이터의 가치를 측정한다. EDW Keynote Speech에서는 빅데이터 시대에 사용자 만족을 위해 어떤 노력을 해야 하는지 데이터 성숙도 측면을 CMM 관점으로 설명했다.

① CMM의 레벨

[그림6] Data CMM 단계 정의

정보를 가치있게 만들고 유지하기 위해 CMM 기반으로 데이터 성숙도 단계를 정의했다. [그림6]은 데이터 정보 성숙도 유지 확보를 위해 정보공학에서 정의된 CMM(Capability Maturity Model)을 데이터에 맞게 재정의 한 것이다. Data CMM은 5단계로 구분되며 초기단계(Intial), 반복단계(Repeatable), 정의단계(Defined), 관리단계(Managed), 최적화단계(Optimizing)으로 나뉜다. Data CMM의 5단계는 데이터를 비즈니스로 활용하는 모든 기업의 데이터 성숙도 기준이 될 것이다.

② CMM level 1

Data CMM의 1단계는 아래와 같이 정의할 수 있다.

• 이질적이거나 일관성 없는 데이터 보유

• 부서간 소통 없음

• 주요 성과 지표 부족

• 일관된 정보 관리 아키텍처 부족

• 엔터프라이즈 BI와 분석 툴 없음

• 일관된 데이터 품질 관리의 부족

• 중복된 데이터 저장

• 데이터 모델링의 완성도가 부족

• 데이터 사전 정보 부족

• 일관된 생산경로(방법) 부족

고객사 또는 우리 회사의 시스템 관리 및 데이터 조직 체계가 위 사항에 해당되면 그 시스템은 Data CMM 1단계라고 정의한다. 데이터 관리 성숙도 수준을 높이기 위해서는 Data CMM 1단계의 문제를 모두 해결해야 한다고 볼 수 있다.

③ CMM Level 2 ~ CMM Level 5

[그림7] Data CMM Level 2 ~ CMM Level 5

Data CMM 2단계부터 5단계까지는 데이터 전략, 기술, 조직, 아키텍처로 구분하여 정의한다.

④ CMM Level 2

• 데이터 전략: 응용 프로그램 개발 또는 유지보수에 의해 데이터의 구조와 값이 달라짐

• 기술: 빅데이터를 위한 분석도구가 존재하지 않으며, Cloud 형태로 소수의 데이터를 관리함

• 조직: 빅데이터에 대한 거버넌스 정의 및 조직에 대한 변경관리가 없으며 조직구성 및 관리에 대해 Waterfall 방법론을 채택함. Agile 방식은 인식하고 추구하지만 적용하지 않음

• 아키텍처: DW(Data Warehouse)가 존재하지만, CMM2의 DW는 운영데이터를 복사하며 사용함

⑤ CMM Level 3

• 데이터 전략: 기업내에 데이터 관련 전문가를 보유하고 있고, 데이터 통제를 중앙에서 하지만 엄격하게 하고 있지 않은 상태
• 기술: 데이터를 MDM 허브로 컨트롤 하고 3^rd Party Data**가 비즈니스에 활용됨. 빅데이터 분석을 위해 클라우드와 하둡 기술이 도입되고 분석 시스템을 사용함
   **3^rd Party Data: 회사 자체 고객이 아닌 불특정 소비자에 대해 수집된 정보(ex. 고용정보, 신용점수, 알레르기 및 질병 정보, 집 주소, 생일 등)
• 조직: 기업에 데이터 거버넌스 조직이 명목상으로 존재함. 애자일 방법론을 채택하지만, 적극적으로 채택하지 않음
• 아키텍처: 데이터 분석 및 사용을 위한 DW를 보유하지만, 변경 및 적용이 상대적으로 느림. 데이터 품질관리에 관심을 갖고 품질 개선을 수행함.

⑥ CMM Level 4

• 데이터 전략: 응용(어플리케이션)에서 작성(승인)된 데이터 계층을 보유하고, 그에 따라 데이터를 관리함
• 기술: 데이터 분석 및 개발을 하둡으로 수행하며, 분석 저장소가 구축 됨. 데이터의 검색 및 연결, 계층관리, 병합, 데이터 강화와 메타데이터 관리 그리고 실시간 데이터 제공을 위해 MDM Hub를 보유하고 지속적인 관리를 수행함
• 조직: CDO(Chief of Data Officer)가 기업의 데이터 관리 조직 및 권한을 갖고 관리함. 데이터 분석을 위한 애자일 방법론으로 조직이 운영됨
• 아키텍처: EDW의 데이터 품질 관리, 마스터데이터와 Raw데이터가 실시간으로 Data Lake에 적재되어 통합데이터를 소비자에게 제공가능 상태로 구성됨

⑦ CMM Level 5

• 데이터 전략: 데이터를 자산으로 활용하여 기업 비즈니스에 큰 영향을 끼침. 데이터 아키텍처를 기반으로 모든 개발이 이루어짐
• 기술: 개발 또는 생산이 하둡 기반으로 진행됨. 요구사항을 위한 분석 저장 기술을 보유하여 데이터 분석에 활용됨(in memory, Columnar, NoSQL, 데이터 시각화)
• 조직: Major 주제 영역별 데이터 거버넌스 조직이 운영되고, 프로그램(Program)과 그 이하 모든 프로젝트(Project)에 대한 변경관리 조직이 구성됨. CIA(Cheif Information Architect) 보유
• 아키텍처: 표준, 엔터프라이즈 모델, 데이터 변경에 대한 EDW 데이터 품질관리를 수행함

Data CMM 측정 레벨을 활용하여 고객사 또는 우리 데이터의 성숙도를 객관적으로 측정하고 보완하여 더욱 성숙된 데이터를 관리할 수 있을 것이다.

5) 데이터 성숙도 향상을 위해 필요한 것은

데이터에 대한 신뢰 구축

실패를 두려워 마라

CMM을 시작 하라

Give and Take 분위기 조성

오픈 마인드를 가져라

→ 정보(DATA)는 차세대 천연 자원이 될 것

이제는 DT 시대

많은 이들은 정보(Data)가 미래의 천연 자원이 될 것이라고 말한다. 정보의 양이 기하급수적으로 증가하고 있으며, 그 규모가 방대하다. 그것을 관리하는 체계와 방법, 활용하는 방법 또한 다양해지고 고도화 되고 있으므로 정보를 활용하여 그릴 수 있는 미래의 모습은 무궁무진하다고 볼 수 있다. 

알리바바社의 마윈 회장은 "세상은 이제 IT 시대는 지고 DT(Data Technology)시대로 가고있다."고 했다. 데이터의 거대화와 분석기술의 발전으로 비즈니스를 위해선 빅데이터 기술과 데이터를 다루는 기술이 필수적으로 필요하다. 이를 위해선 우리가 가지고 있는 데이터의 관리 기술 향상과 성숙도 향상이 필수적이라고 할 수 있다. 

EDW Key Note에서 소개된 데이터 성숙도 모형을 통해 우리의 데이터 성숙도를 높일 수 있는 계기가 되길 바란다.