"빅데이터에는 네트워크 정보와 숨겨진 패턴이 담겨져 있습니다."

2018년 7월 5일 IT 전문 라이브 채널 클라우드촌에 사이람이 출연하였습니다. 

클라우드촌(https://chontv.com)은 다양한 분야의 전문가를 초대하여 이야기를 들어보는 캐주얼 비즈니스 라이브 채널로, 이번에는 저희 사이람과 '소셜 네트워크 분석을 통해 숨겨진 패턴을 찾아라!' 라는 주제로 진행되었습니다. 

소셜 네트워크 분석이란, 빅데이터 속 개체 간 관계(네트워크)를 분석하여 관계의 패턴 및 구조, 확산 과정, 중심부와 군집 그룹 등을 파악하는 기법입니다. 

"인간은 사회적 맥락 속에서만 개인이 된다(알프레드 아들러)"

이번 생방송을 통해 사이람이 그동안 소셜 네트워크 분석 방법을 적용한 대표적인 사례를 생생한 라이브로 소개해 드릴 수 있었는데요 :)

첫번째로 소개드린 사례는 조직 내 관계 분석을 통한 조직 소통/협업 현황 분석입니다. 

흔히 조직도로 대표되는 관리 체계와 실제 업무를 수행하는 소통 체계는 다른 경우가 많습니다. 문제는 실제 소통 흐름 및 체계를 파악하기가 쉽지 않다는 점입니다. 

하지만, 구성원 간 발생한 실제 행위의 관계 패턴을 조사하여 소셜 네트워크 분석 기법을 적용하면, 매우 간단하게 소통 구조를 파악할 수 있고, 그 속에서의 핵심 영향력자(매개자)를 발견할 수 있습니다. 

두번째는 텍스트 네트워크 분석입니다. 

빅데이터가 넘쳐나는 요즘, 세상에 존재하는 데이터의 80%이상이 비정형 데이터로 추산된다고 합니다(Chakraborty and Pagolu, 2014).

그 중에서도 텍스트는 가장 큰 비중으로 차지하는 비정형 데이터로, 엄청난 양의 텍스트 데이터를 기존의 방법으로 이해하기 위해서는 어마어마한 시간과 비용이 필요합니다. 

하지만 텍스트 네트워크 분석을 활용하면, 텍스트를 다 읽어보지 않고도 텍스트의 내용을 가시적으로, 또한 구조적으로 이해할 수 있습니다. 

NetMiner는 비정형 텍스트를 별도의 전처리 없이 불러와서 단어를 추출하고, 단어 네트워크를 구성하며, 숨겨진 토픽을 찾아낼 수 있는 기능(시맨틱 네트워크 분석, Semantic Network Analysis)을 포함하고 있습니다. 

이번 생방송에서는 NetMiner의 시맨틱 네트워크 분석 기능을 활용한 연설문 분석, 소셜 미디어 분석 사례를 소개해 드렸죠? :)

< 19대 대선 후보의 연설문 분석 >

<트럼프 취임사 분석>

마지막으로 NetMiner의 확장 프로그램인 SNS Data Collector 기능을 활용하여 '일본 축구' 라는 키워드로 1주일치 트윗글을 실시간으로 수집하고, 수집한 트윗글에 대한 간단한 분석을 시연하였습니다.  

아래와 같이 검색 키워드만 입력해주면, 언제든지 쉽게 SNS 데이터를 NetMiner로 수집할 수 있습니다. 

    

<출처: 클라우드촌(https://chontv.com)>

SNS Data Collector 는 트윗글의 작성일시, 작성자, RT가 된 횟수, 트윗글 전문 등을 수집할 수 있습니다. 또한 트위터 이용자에 대한 세부 정보와 이용자 간 네트워크도 자동으로 구성합니다. 

데이터가 있으니 분석을 해볼까요?

일본 축구에 대해 가장 많이 사용된 단어(워드클라우드)와 주로 이야기 하고 있는 주제(LDA 토픽 분석)는 무엇인지 확인해 보았습니다. 

먼저 첫번째 워드클라우드를 통해, 7월 3일 벨기에-일본의 16강 경기가 있었기 때문에, 벨기에가 가장 많이 사용된 단어로 확인이 되었습니다. 

그리고 두번째는 토픽 분석 결과입니다. 파란점이 주제이고, 빨간점이 그 주제를 형성하고 있는 주요 키워드입니다. 

주요 키워드를 통해 각각의 주제를 해석해보면, 한국 축구와의 비교, 한준희 아나운서의 편파 해설 관련 논란, 벨기에-일본 전 경기 내용, 월드컵 등의 주제들이 있는 것을 알 수 있었습니다. 

그런데 손흥민 선수 주변에 송금, 입금과 같은 단어가 있었습니다. 뭘까요? 손흥민 선수에게 어떤 일이 생긴 걸까요? 이 단어들이 어떤 트윗에서 사용되었는지 원문을 확인해 봤습니다

놀랍게도, 핫이슈를 해쉬태그로 넣어 검색 결과에 자사의 서비스가 나타나게 하는 소위 스팸 트윗에 사용된 단어들이 한 그룹으로 분류된 결과였습니다! 

NetMiner를 활용하면 주요 주제 뿐만 아니라 이러한 광고 메시지도 쉽게 걸러낼 수 있다는 점! 흥미롭죠?

보다 자세한 내용은 아래 클라우드촌을 방문하시면 영상을 통해 확인하실 수 있습니다. 

감사합니다. 

클라우드촌 방송 영상 보러가기>>