[빅 데이터, 너 어디까지 왔니?] Machine Data에서 Business Insight 를, Splunk

 

Data는 관점에 따라 다양하게 분류될 수 있습니다. 관점 중 하나는 Data의 생성 주체로, 인간이 만들어 내는 Data와 기계가 만들어 내는 Data로 구분해 볼 수 있습니다. 우리는 후자를 영어로 'Machine-generated Data'라 부릅니다. 오늘 소개해 드릴 기업은 Splunk (http://splunk.com/) 로, 기계가 만들어 내는 엄청난 양의 Data를 Monitoring 하고 분석해 Business Insight를 제공하는 기업입니다.

 

 

Machine Data

앞서 말씀 드린 Machine-generated data를 Splunk에서는 ‘Machine Data’라 부릅니다. 다양한 Server와 Database, Smartphone과 Tablet,  Sensor들이 쉴 새 없이 생성해 내는 Machine Data를 분석하는 것이 Splunk의 역할입니다. Machine Data로부터 의미 있는 Insight를 도출해 내는 과정을 Splunk에서는 ‘Operational Intelligence’라고 부릅니다.

 

[Image 1. 출처: “Product Tour”, Splunk (http://www.splunk.com/view/product-tour/SP-CAAAAGV)]

 

Machine Data에는 우리가 필요로 하는 엄청난 정보가 포함되어 있습니다. 온갖 기기들이 만들어 내는 Data에는 장비와 기기들의 행동도 담겨 있지만, 고객의 다양한 행동, 보안 위협, Fraud 등의 다양한 정보가 담겨 있습니다. 최근까지도 Machine Data는 기술적 장벽으로 적극적으로 활용되지 못했습니다. Splunk의 등장으로 Machine Data의 활용은 그 속도를 더해가고 있습니다. 특히 고객과의 접점이 Web에서 Mobile로 넘어가고, IoT로 인해 다양한 Sensor가 다양한 형태의 Data를 생산하고 있는 시대에 Splunk의 Machine Data 분석 기술은 빛을 보고 있습니다.

 

Splunk는 Machine Data 계의 Google입니다. Google이 Crawling을 통해 Web 상의 Data를 수집하고 검색 서비스를 제공하는 것처럼, Splunk는 기업이 다루는 다양한 Machine으로부터 발생하는 Data를 수집해 Indexing하고, 다양한 View로 결과를 검색하는 서비스를 제공하고 있습니다. 이 과정이 만만치 않은 이유는, Machine들이 내놓는 Data의 Format이 일정하지 않으므로 기존의 방식으로는 준실시간으로 처리하기가 어렵기 때문입니다.

 

 

Domino’s Pizza와 Splunk

Domino’s Pizza의 Server와 Database들은 쉴 새 없이 Data와 Log를 쏟아 내고 있습니다. 고객이 주문할 때마다 관련 Data가 Server와 Database들에 저장되기 때문입니다. 그 중에서도 가장 높은 비율을 차지하는 것은 20가지가 넘는 다양한 Type의 Middleware Application Log입니다. Domino’s Pizza는 Data와 Log를 분석해 Marketing insight를 얻고 싶었지만, 만 개 이상의 국내외 매장에서 일어나는 Event를 분석하기란 쉽지 않은 일이었습니다.

 

[Image 2. 출처: “SplunkLive! Detroit April 2013 - Domino's Pizza”, Splunk, Slideshare, April 23rd, 2013 (http://www.slideshare.net/Splunk/splunklive-detroit-april-2013-dominos-pizza)]

 

그러나 이제는 Splunk의 Machine Data 분석을 통해 고객들이 Domino’s Pizza의 각 지점에서 어떤 Menu와 Side dish를 어떤 Coupon을 이용해 구매했는지, PC, Mobile 등 어떤 기기로 주문했는지를 실시간으로 분석해 주고 있습니다. Mobile의 경우 iOS, Android, Kindle 여부까지도 확인할 수 있습니다. 분 당 주문 수, 매장 당 Transaction 수 등이 지역 별로 표시됩니다. 즉, 고객들의 행태를 실시간으로 분석해 Online Promotion 등을 펼침으로써 Business에 도움을 주고 있는 것입니다. Super Bowl과 같이 가장 높은 매출이 발생할 때도 이상 없이 분석을 수행하고 있습니다. 특히 Log 분석을 통해 Network나 Payment 관련 이슈가 발생하는지 여부를 실시간으로 확인합니다.

 

[Video 1. Domino’s Pizza는 Splunk의 기술을 이용해 실시간으로 고객을 분석하고 있습니다.

출처: “Slicing Data For Domino’s Pizza”, Splunk, YouTube (http://www.youtube.com/watch?v=LXMjN6kVmUY)]

 

 

Splunk Enterprise

Domino’s Pizza가 채택한 것은 ‘Splunk Enterprise’입니다. Splunk Enterprise는 Domino’s Pizza가 기존에 Business 분석에 소요하던 시간을 획기적으로 줄였습니다. 다양한 종류의 Coupon을 시험적으로 적용하고, 어떤 Coupon이 가장 효과적인지를 단숨에 알아내는 Splunk의 Enterprise Solution 덕에 Domino’s Pizza는 훨씬 더 수월하게 Online Marketing을 펼치고 있습니다.

최신 Version은 Splunk Enterprise 6로, 무료로 Download 해서 사용하실 수 있습니다. Splunk Enterprise 6를 제 Windows PC에 설치해 사용해 보았습니다.

 

[Image 3. Splunk Enterprise로 Windows Application Log 분석하기]

 

Server가 Log file을 수시로 생성하는 것처럼, Windows PC로 Windows Application Log를 수시로 생성하고 있습니다. Splunk Enterprise의 분석 대상으로 Windows Application Log로 지정할 수 있으며, 위와 같이 Log 분석을 통해 시간 별 Event를 확인하고 시각화 할 수 있습니다. 일종의 검색 Engine이므로, 상단의 녹색 창에 검색어를 입력해 결과를 조회할 수 있습니다. 여기서 중요한 것은, IT 전문가가 아닌 사용자도 분석 결과를 어렵지 않게 이해할 수 있다는 점입니다. Splunk는 Big Data를 IT만의 점유물이 아닌 Business를 위한 도구로 제공하고 있습니다.

 

[Video 2. Splunk Enterprise 6

출처: “Splunk Enterprise 6”, Splunk, YouTube (http://www.youtube.com/watch?v=AUQAkEPl3b8)]

 

 

Splunk Conference와 Splunk Answers

Splunk가 주최하는 Conference는 독특합니다. 자사의 Solution을 자랑하듯 늘어놓는 것이 아니라, 고객사들이 직접 나서서 어떻게 Splunk의 Solution을 사용하고 있는지 경험을 공유합니다. 고객사들이 다루는 Data의 종류와 용도가 다르므로, 다양한 Case study가 Conference를 통해 펼쳐집니다. 그 가운데 Splunk는 고객이 필요로 하는 사항들과 Solution의 보완 사항을 발견합니다. 이 같은 노력은 고객에게 더 좋은 서비스를 제공하는 선순환으로 이어집니다. Splunk Conference와 기술 자료는 Slideshare (http://www.slideshare.net/Splunk) 를 통해 공유되고 있습니다.

 

‘Splunk Answers‘는 Splunk 사용자 간에 지식과 경험을 공유하는 장입니다. 질문을 올리면 절반 이상은 Splunk 담당자가 아닌, 일반 Splunk  사용자들이 답변을 합니다. Gamification 요소들도 적용해 적극적인 참여자들에게 Badge를 수여하고, 각 질문과 답변에 Thumb up과 Thumb down으로 선호를 표시할 수 있습니다.

 

[Image 4. ‘Splunk Answers‘는 Splunk 사용자 간에 지식과 경험을 공유하는 장입니다. 출처: Splunk Answers (http://answers.splunk.com/answers/123265/splunk-with-gsn3)]

 

 

 

References

Ÿ   Splunk (http://splunk.com/)

Ÿ   “머신데이터 대중화, 고프리 설리반 스플렁크  CEO”, 유병률, 머니투데이, January 23^rd, 2014 (http://me2.do/xWeGy579)

Ÿ   “오늘 인터넷서 가장 핫한 상품? 로그파일에 다 있죠”, 황미리, 매일경제, May 31^st, 2013 (http://news.mk.co.kr/newsRead.php?no=424061&year=2013)

Ÿ   “Splunk”, Wikipedia

Ÿ   “Machine-generated Data”, Wikipedia