Twitter의 시대에서 Instagram의 시대로! 

최근 몇 년 간 Social Media의 명확한 변화 중 하나는 텍스트에서 이미지로 무게 중심이 이동했다는 점입니다. 서버, 스토리지, 통신망, 모바일 등의 발전은 소통의 장을 활짝 열어 주었습니다.


  

[Image 1, 2. Twitter Instagram]


이미지로의 이동이 Social Media에 국한되는 이야기는 아닙니다. 데이터 분석 역시 텍스트를 넘어 이미지를 Input으로 활용하고 있습니다. Computer Vision, Image Processing과 더불어 Deep Learning 기술의 진보는 이미지를 자유자재로 분석하고, 의미를 도출하는 데 속도를 내고 있습니다.


[Image 3. Google Street View가 찍은 멕시코의 피라미드 (https://www.google.com/streetview/#mexico-highlights/chichen-itza)]


사진 속 무엇? 자동차!

Google Street View 차량들은 이 시간에도 세계 곳곳에서 쉴 새 없이 사진을 찍고 있습니다. 세상의 많은 객체들이 그 사진에 담겨 있습니다. 그 객체들을 분석하면 어떤 문제를 풀 수 있을까요? 스탠포드 Timnit Gebru는 사진 속 자동차에 주목했습니다. 그리고 Census에 주목했습니다.

자동차는 상대적으로 인식과 구분이 용이합니다. 차종과 가격, 색상 등 속성 역시 어렵지 않게 알 수 있습니다. 무엇보다 전국 각지의 도로나 주거지에는 수 천 만 대의 차량이 있습니다. 자동차를 통해 개인을 분석하기는 불가능하지만, 세대 혹은 지역적 특성을 분석하기에는 제격입니다. 실제로 미국 가구의 90%가 차를 갖고 있습니다.

또 하나는 Census입니다. 미국은 수 천 억의 예산을 들여 Census를 실시합니다. 큰 예산만큼이나 엄청난 인적 노동과 시간을 필요로 하는 일입니다. 인구 수나 도시의 크기에 따라 조사 주기가 달라지므로, 지역 간 정확한 비교가 어려울 수 있습니다. 이 같은 Census의 문제를 Google Street View 상의 자동차 이미지로 풀고자 하는 것이 Timnit Gebru 팀의 목표입니다.

 

Training - Algorithm - Inference

본격적인 이미지 분석을 시작하기 전에, 참조할 수 있는 차량 데이터와 기본 이미지를 수집합니다. Edmunds.com에서 1990년 이후 생산된 차종 정보를 수집합니다. 이미지 분석이 가능하도록 외형으로 구분이 가능한 모델을 재분류합니다. cars.com craigslist.com에서 비교적 정확한 자동차 이미지를 Crawling 합니다.


[Image 4. 차량 정보와 이미지 추출 출처: ‘Fine-Grained Car Detection for Visual Census Estimation’, Timnit Gebru 외 (https://arxiv.org/pdf/1709.02480.pdf)]


미국 내 100개 도시에서 촬영한 5천만 장의 Google Street View 이미지가 분석의 대상입니다그 중에서 2,200만장의 이미지에서 자동차가 식별되었습니다각 이미지에서 자동차의 브랜드모델연식차종가격 정보를 추출해 2,700개에 달하는 카테고리로 분류했습니다미국 전체 자동차의 8%에 이르는 데이터입니다.

우선 35개 도시의 데이터를 이용해 Training을 수행하고, Algorithm을 도출했습니다. CNN 기반으로 Inference를 수행해 도시 별 결과를 예측했습니다물론 GPU가 빠질 수 없습니다. NVIDIA Tesla K40 GPU를 사용했습니다. 예측 정확도가 80%를 상회할 만큼 의미 있는 결과를 얻었습니다물론 100% 정확하지는 않지만기존의 Census 설문을 보완할 수 있는 도구로 활용할 수 있을 것입니다.


[Image 5. 자동차 이미지 분석 출처: ‘Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US’, Timnit Gebru 외 (https://arxiv.org/pdf/1702.06683.pdf)]


0.2 vs. 10

분석에 소요된 시간은 단 2주였습니다. 한 장의 이미지를 분석하는 데 불과 0.2초밖에 걸리지 않았습니다. 전문가가 한 장의 이미지를 분석하는 데 10초 정도 걸린다고 합니다. 물론 길지 않은 시간입니다. 하지만 인간의 힘으로는 분석에 10년 이상 소요될 분량입니다. Census의 실시간 분석이 가능할 수 있다는 이야기입니다. 어제와 오늘이 다를 만큼 급격히 일어나는 사회적 변화를 이해하고 대응할 수 있다는 이야기입니다.

 

Insights

자동차와 관련된 Insight는 과연 무엇이었을까요? 몇 가지 소개해 드립니다. 

Ÿ   세단의 비율이 높은 지역은 민주당을, 픽업 트럭의 비율이 높은 지역은 공화당을 선호합니다.

Ÿ   아시아인들이 많이 거주하는 지역에는 Toyota Honda 차량의 비중이 높습니다. Chrysler, Buick 등의 차량이 많은 지역은 African American의 비율이 높습니다.

 

서비스 - 데이터 - 인사이트

Computer Vision Deep Learning은 더욱 다양한 영역에서 활용될 것입니다. Amazon ‘Amazon Go’를 통해 Commerce 영역에서 활용하고 있습니다. 의료에서도 X-Ray CT 등의 이미지 분석은 탁월한 속도와 정확도를 보여 주고 있습니다.


[Link 1. ‘Amazon Go’]


Google Street View는 일반 사용자들에게 길을 알려 주고, 지리적 특성이나 현재의 모습을 보여 주기 위해 시작되었습니다. 서비스를 제공하는 과정에서 이미지 데이터가 수집되고 적재되고 있습니다. 그 데이터는 분석의 대상이 되어 공공 정책이나 서비스에 활용될 것입니다. 이처럼 서비스가 데이터로, 데이터가 인사이트로 연결될 수 있습니다. 데이터 개방이 중요한 이유입니다.





티스토리 툴바