NetMiner를 이용한 데이터 수집과 분석 - 커뮤니티, 뉴스, 유튜브 데이터 이용하기 오픈 세미나 결과
2023년 NetMiner를 이용한 데이터 수집과 분석 오픈 세미나
안녕하세요, 사이람입니다.
2023년 11월 24일, 「NetMiner를 이용한 데이터 수집과 분석 – 커뮤니티, 뉴스, 유튜브 데이터 이용하기」 라이브 줌(zoom) 오픈 세미나가 진행되었습니다.
이번 무료 공개 세미나는 넷마이너 데이터 수집기와 활용 방향, 기존의 SNS Data Collector(YouTube)와 올해 7월과 10월에 새롭게 출시한
News Data Collector & Community Data Collector 사용법 및 이를 활용한 분석 사례에 대해서 이야기를 나누는 자리였습니다.
대학(원)생, 연구 기관, 교수 및 연구원, 초중고교 교사, 정부 기관 등 넷마이너 분석 소프트웨어 서비스를 이용하고 계신 많은 분들이 이번 오픈 세미나에 열정적으로 참여 해주셨습니다.
넷마이너 데이터 수집기 종류와 소개
넷마이너 데이터 수집기는 Biblio Data Collector, SNS Data Collector, News Data Collector, Community Data Collector 총 4 종류로 구성 되어있습니다.
기존에는 데이터 수집부터 분석 결과를 도출하기 까지의 과정이 매우 어렵고 오랜 시간이 걸린다는 고충이 있었습니다.
하지만, 넷마이너 데이터 수집기는 연구자들의 이런 고민을 해결하는데 매우 효과적인 도구입니다!
넷마이너 데이터 수집기는 공개 API 및 웹 크롤링 방식으로 데이터를 수집하고, 수집한 텍스트에 대한 자연어 처리와 네트워크 데이터 구성을 하는 확장 프로그램입니다.
프로그래밍에 익숙하지 않은 이용자들에게 No Code 방식의 온라인 데이터 수집 기능을 제공하고, 전문 분석 소프트웨어인 'NetMiner'와 연동하여 다양한 분석까지 가능한 매우 편리한 도구입니다.
SNS Data Collector는 FaceBook · Instagram · Twitter · YouTube에서 데이터를 수집할 수 있었는데, 최근 SNS 플랫폼에서 사이트 변동이 많아 데이터 수집에 애로사항이 발생했고,
현재는 YouTube에서만 데이터 수집이 가능합니다.
News Data Collector에서 수집하는 데이터 출처는 다음과 같습니다.
경향 · 동아일보 · 중앙일보 · 조선일보 · 한겨레 · 한국일보 총 6개의 신문사와 KBS · MBC · SBS 3개의 방송사 총 9곳의 언론사에서 데이터를 수집합니다. (2023년 11월 기준)
Community Data Collector에서 수집하는 데이터 출처는 다음과 같습니다.
디시인사이드 · MLBPARK · 루리웹 · SLR클럽 · 뽐뿌 · 클리앙 · 82Cook · 웃긴대학 · 와이고수 · 이토렌드 · 인벤 · 일간베스트 총 12곳의 커뮤니티에서 데이터를 수집합니다. (2023년 11월 기준)
커뮤니티의 경우, 해당 커뮤니티의 모든 게시판에서 데이터를 수집하는 것이 아니라 정치 및 사회적 이슈를 다루는 게시판에서 수집하는 것으로 제한하여 이용자가 데이터 수집을 효율적으로 할 수 있게 합니다.
넷마이너와 넷마이너 데이터 수집기를 활용한 분석 방법론
1. 수집된 데이터를 이용하여 다양한 개체 간 관계를 구성할 수 있습니다
- 통계적인 관점 또는 일반적인 데이터 분석 관점에서는 단지 어떤 매체 또는 이용자에 대해서만 분석을 진행하지만, 넷마이너의 관점에서는 데이터 요소들 간의 관계를 고려한 네트워크 분석을 진행할 수 있습니다.
2, 다층적 융복합 분석 방법을 적용할 수 있습니다.
- 넷마이너와 넷마이너 데이터 수집기를 연동하여 Mixed Method Social Network Analysis 방법론을 적용할 수 있습니다.
- 사회 네트워크 구조를 이해하고 분석하기 위해 정량적인 분석뿐만 아니라 정성적 방법을 통해 문맥적이고 깊은 이해를 추가하는데 유용합니다.
3. 뉴스 · SNS · 온라인 커뮤니티의 텍스트를 이용하여 다양한 연구 주제를 선정할 수 있습니다.
- 여론 동향 분석(공공정책, 사회적/정치적 이슈, 여론을 이야기하는 행위자들 단의 관계, 브랜드 및 제품)
- 재난 및 위기 상황 정보 전파 분석
- 사람들의 인식 변화 분석 & 트랜드 분석(건강 및 웰빙, 환경 보호, 교육 변화 및 온라인 학습)
- 사회적 영향 분석(기술 발전, 문화 및 엔터테인먼트) 등
넷마이너 데이터 수집기 사용법
News Data Collector와 Community Data Collector는 기존 넷마이너 확장 프로그램인 SNS Data Collecto, Biblio Data Collector와 굉장히 유사한 모양을 갖고 있어,
이를 이용하신 경험이 있으신 분들은 익숙하게 다룰 수 있습니다.
첫 번째, 검색어만 입력하면 곧바로 온라인에서 뉴스 또는 커뮤니티 데이터를 수집할 수 있습니다.
두 번째, 클릭 몇 번으로 텍스트에서 쉽게 단어를 추출하고, 다양한 네트워크 데이터를 자동으로 구조화해서 저장합니다.
세 번째, 텍스트 마이닝과 네트워크 분석을 단 1개의 프로그램에서 할 수 있습니다.
<News Data Collector 시연 영상>
<Community Data Collector 시연 영상>
분석 사례1. 유튜브 이용자 네트워크와 감성 분석(검색어: '간호법 제정')
올해 5월, 간호법 거부권 행사로 이슈가 되었습니다. 유튜브 댓글에서는 간호법에 대한 여론이 어떻게 형성되었는지 파악해보도록 하겠습니다.
데이터는 간호법 제정과 관련된 유튜브 영상 중, 간호법에 관련된 의견을 댓글로 표현한 111명의 이용자를 판별했고 이들이 댓글을 작성한 총 258개의 영상을 대상으로 분석을 시작하였습니다.
전체적인 시각화 결과를 살펴보면, 긍정적 이용자끼리 응집되지 않은, 감성이 혼재된 네트워크 구조를 보였습니다.
하나의 거대한 컴포넌트와 소규모의 컴포넌트로 구성된 파편화된 구조를 보이고 있습니다.
그리고 평균적으로 1명의 이용자가 3명의 이용자와 같은 2개 이상의 비디오에 댓글을 달았다는 것을 알 수 있습니다.
이용자 수는 부정적인 댓글을 작성한 사람이 긍정적인 댓글을 작성한 이용자보다 더 많았습니다.
같은 감성을 가진 사람들보다 다른 감성을 가진 사람들 간의 링크 연결이 다소 많은 것으로 나타났습니다. 동일한 이슈에 대해 같은 감성을 가진 사람들의 반응만 나타나는 것은 아니라는 것을 알 수 있습니다.
앞서 확인했던 거대 컴포넌트를 추출한 다음, 이용자 간 네트워크에서 응집구조 분석을 진행하여 네트워크 구조상으로 응집된 그룹이 공통의 감성을 갖고 있는지 확인했습니다.
그 결과, 총 6개의 커뮤니티로 묶이는 것을 확인할 수 있었습니다.
1번과 3번 커뮤니티는 부정적인 댓글을 작성한 이용자의 비중이 더 컸고, 2번과 6번 커뮤니티는 긍정적인 댓글을 작성한 이용자의 비중이 더 큰 것을 확인할 수 있었습니다.
2번 & 6번 커뮤니티의 주요 비디오에는 대한간호협회 채널에서 제작한 비디오 혹은 간호사들의 단축근무, 간호법 거부권 행사 비판에 대한 비디오인 것을 확인할 수 있습니다.
1번 & 3번 커뮤니티의 주요 비디오에는 간호법을 반대하는 의사, 간호조무사의 파업 뉴스 그리고 간호법 거부권에 관련된 영상에 많은 이용자가 댓글을 남긴 비디오인 것을 확인할 수 있습니다.
어떤 감성을 가진 이용자들이 활동 반경이 더 넓게 나타나는지를 확인해보기 위해 이용자와 비디오 업로드 채널 간 네트워크를 구성하여 시각화를 한 결과,
부정 감성의 이용자들과 긍정 감성의 이용자들의 연결 채널 수는 2개 정도로 큰 차이가 나타나지 않았습니다.
긍정적 댓글을 작성한 이용자들은 '대한간호협회', '팩트 TV 뉴스' 채널에 가장 많이 댓글을 작성했으며, 부정적 댓글을 작성한 이용자들은 '팩트 TV 뉴스', '위대한 이슈'
채널에 가장 많은 댓글을 작성했습니다.
이러한 분석 결과에서 착안하여 긍정/부정 입장을 가진 이용자들이 자주 방문하는 채널이나 긍정/부정 입장에 따라 이들이 선호하는 채널 혹은 컨텐츠로 파악하는 방향으로
심화하여 분석을 시도해볼 수 있습니다.
분석 사례2. 사회적 이슈에 관한 뉴스 및 커뮤니티 여론 비교
10월 말, '국민의 힘' 정부 여당에서 김포시를 서울특별시에 편입하는 방안을 당론으로 추진하겠다는 뉴스가 보도된 이후 김포시 뿐만 아니라 구리시, 하남시 등
다른 서울 인근 지역도 서울로 편입시키자는 목소리가 빗발치면서 '메가 서울' 이슈가 급부상하기 시작했습니다.
따라서 '메가 서울' 이슈에 대한 뉴스와 커뮤니티의 여론을 비교 분석을 해보았습니다.
언론사 8곳, 커뮤니티 사이트 12곳에서 '메가 서울' 이슈와 관련된 뉴스 기사와 커뮤니티 게시글을 수집했습니다.
수집 후 전처리까지 완료하여 최종적으로 분석에 사용할 데이터는 뉴스 기사 497개, 커뮤니티 게시글 1,315개입니다.
텍스트 처리 대상 데이터는 뉴스 기사 /커뮤니티 게시글 제목(Title)과 본문 내용(Content)입니다.
'메가 서울' 이슈에 대해 가장 많은 기사를 보도한 언론사는 'KBS'이고 가장 적은 기사를 보도한 언론사는 '조선일보'였습니다. 방송 3사(KBS, SBS, MBC)가
'메가 서울' 이슈 기사의 약 58%를 차지하고 있었습니다.
'메가 서울' 이슈에 대해 가장 많은 게시글이 작성된 커뮤니티는 'MLBPARK'였고, 가장 적은 게시글이 작성된 커뮤니티는 '뽐뿌'였습니다.
상위 5개 커뮤니티(MLBPARK, 클리앙, 루리웹, SLR클럽, 일간베스트)가 '메가 서울' 이슈 게시글의 약 85%를 차지했습니다.
'메가 서울' 이슈와 관련된 뉴스 기사에서는 10월 31일 '국민의 힘' 김기현 당대표가 '김포시 서울 편입'을 당론으로 추진하면서, 11월 1일에 보도량이 급증했습니다.
이후 기사 수가 급감하다가 11월 6일에 유정복 인천시장이 '메가 서울' 이슈에 비판적인 목소리를 내는 기자회견을 하면서 다시 기사 수가 급증하는 모습을 보였습니다.
'메가 서울' 이슈와 관련된 커뮤니티 게시글도 국민의 힘에서 '메가 서울'을 당론으로 추진했을 때와 유정복 인천시장의 비판적인 목소리를 냈을 때 최고점을 찍었습니다.
다만, 뉴스에서는 11월 1일에 관련 기사량이 최고점을 찍었던 반면에, 커뮤니티에서는 그보다 하루 전인 10월 31일에 최고점을 찍은 것을 알 수 있습니다.
즉, 커뮤니티에서 이슈에 대해 반응하는 속도가 더 빨랐다는 것을 알 수 있었습니다.
뉴스 기사에서는 총 6개의 토픽을 발견했으며, 이 중에서 가장 많은 비중을 차지한 토픽은 25%의 비중을 차지한 '국민의 힘, 김포 서울 편입 당론 추진' 이었습니다.
커뮤니티에서는 총 8개의 토픽을 발견했으며, 이 중에서 가장 많은 비중을 차지한 토픽은 18%의 비중을 차지한 '서울 인근 지역의 서울 편입 추진' 이었습니다.
뉴스와 커뮤니티에서는 공통적으로 서울 편입에 대한 여야와 정치 주요인사의 입장에 관한 이슈가 등장했습니다.
뉴스 기사는 정부 및 지자체의 입장, 간담회 등 '메가 서울' 이슈에 관련된 내용 발표 혹은 이벤트에 대한 토픽이 주를 이뤘다면,
커뮤니티는 메가 서울에 대한 사회적인 영향 혹은 논란에 대한 토픽이 등장했다는 차이를 보였습니다.
언론사별로 어떤 토픽의 보도량이 많은지 비교 분석하였습니다. 우선 방송사와 신문사로 나누어 비교했습니다.
방송사 중에서 KBS는 '메가시티 부산 이슈로 확대'에 대한 토픽 비중이 컸습니다. SBS는 '메가 서울에 관한 정치인들의 입장' 토픽 비중이 컸습니다.
MBC는 '국민의 힘 김포 서울 편입 당론 추진'에 대한 비중이 크게 나타났습니다.
결론적으로 비중을 크게 차지하는 토픽이 방송사마다 모두 상이하다는 것을 확인할 수 있었습니다.
신문사를 진보(경향, 한겨레) / 보수(조선일보, 중앙일보, 동아일보) 언론으로 구분하여 살펴보았습니다.
진보 성향 신문사에서는 인천시장 및 경기도지사의 메가 서울 반대 입장에 대한 보도가 많았고, 보수 성향 신문사에서는 여당과 관련된 토픽의 보도량이 진보 성향 신문사보다 많았습니다.
또한 진보 성향 신문사에서도 보수 성향 신문사 못지않게 비중이 큰 '국민의 힘, 김포 서울 편입 당론 추진'에 대해서는 이를 반대하는 입장에 대한 보도량이 많이 나타났습니다.
현재, 보수 성향 신문사와 진보 성향 신문사의 토픽 비중 차이가 나타났으므로, 추후 메가 서울 이슈가 계속해서 이어진다면,
시계열적으로 토픽 비중을 분석하여, 메가 서울 이슈에 대한 각 신문사의 성향에 따라 보도 기조가 어떤 식으로 변화하는지에 대한 심층적인 분석을 할 수 있습니다.
k-means 기법으로 토픽의 비중이 유사하게 나타나는 커뮤니티들을 클러스터링한 결과, 총 4개의 클러스터로 분리가 되었습니다.
가장 많은 커뮤니티가 포함된 빨간색 그룹은 '쓰레기 매립지 유치 논란', '선거 및 부동산 영향', '서울 인근 지역의 서울 편입 추진'에 대한 상대적으로 보편적인 토픽의 비중이 높았습니다.
반면, 초록색 그룹은 무속논란 등 자극적인 이슈에 대한 게시글 비중이 높게 나타났습니다.
노란색 그룹은 다른 커뮤니티와 다르게 더불어 민주당의 입장에 대한 토픽의 비중이 높게 나타났습니다.
파란색 그룹은 게시글 자체가 적고, 쓰레기 매립지 유치 논란에 대한 토픽의 비중이 컸습니다.
결론적으로 내용이 유사한 커뮤니티들이 같은 그룹으로 묶였으며, 각 커뮤니티의 성향과 연결을 지어서 더 심화된 분석을 진행해 볼 수도 있습니다.
MLBPARK에서는 '쓰레기 매립지 유치 논란', '서울 인근 지역의 서울 편입 추진'이 다른 커뮤니티에 비해 높은 비중을 차지했습니다.
SLR클럽은 '메가 서울이 선거와 부동산에 미칠 영향'의 비중이 높았습니다.
일간베스트에서는 '메가 서울로 불거진 무속논란'과 '메가 서울이 지방 도시에 미치는 영향'이 높은 비중을 차지한 것을 확인할 수 있었습니다.
루리웹에서는 '더불어 민주당의 메가 서울 이슈 입장'에 대한 토픽이 다른 커뮤니티보다 높은 비중을 차지했습니다.
최종적으로 분석결과를 요약하자면 다음과 같습니다.
- 뉴스와 커뮤니티에서 생산되는 컨텐츠는 유사점보다 차이점이 확실했습니다.
- 뉴스는 이슈에 대한 입장, 발표 등 사건, 이벤트 중심의 토픽을 다룬다면, 커뮤니티는 이슈에서 발생한 파급 효과 또는 관련 논란 등의 토픽이 등장했습니다.
- 뉴스와 커뮤니티 별로 생성되는 컨텐츠의 특성 차이가 존재하여 이를 비교 분석함으로써 여론의 차이 및 타겟팅 집단을 특정할 수 있습니다.
<2023 오픈 세미나 Full Video>
이번 오픈 세미나 참석자를 대상으로 한 설문 조사 결과, 응답자의 63%가 "향후 넷마이너의 데이터 수집기를 구입하실 의사가 있다"고 답변해주셨습니다.
많은 분들의 관심 덕분에 성공적으로 오픈 세미나를 마칠 수 있었습니다. 보내주신 의견은 소중히 반영하여 앞으로 더욱 쉽고 편리하게 프로그램을 사용하실 수 있도록 노력하겠습니다.
그리고 NetMiner 홈페이지 리뉴얼 이벤트를 학교 및 기관/기업 고객을 대상으로 2023년 12월 31일까지 진행 중입니다.
NetMiner가 궁금하시다면? NetMiner를 구매하고 싶으시다면? 리뉴얼된 넷마이너 홈페이지를 방문해 보세요~
감사합니다.
NetMiner Data Collector 보러가기 >>
NetMiner + NetMiner Data Collector 무료로 시작하기 >>