▶간단한 데이터스크래핑 프로그램 OutWitHub
이번글에서는 'OutWitHub'라는 소프트웨어를 활용하여 간단하게 데이터 스크래핑을 하는 과정에 대해서 살펴보고자 합니다.
outWitHub를 활용한 데이터 스크래핑방법
OutWitHub 다운로드 및 설치
outWit hub사이트에서 소프트웨어를 다운로드받습니다. 용량도 크지않고, 간단하게 크롤링하는 것을 목적으로 한다면 시험버전으로도 충분합니다.
권장설정으로 설치하는데 걸리는 시간은 채 몇분도 걸리지않습니다. 다운로드를 받는동안 다른 일하고 있을 필요 없이 스피드하게 설치하고 스피드하게 실행해봅니다. 설치를 완료하셨다면, 크롤링하고싶은 페이지의 구조를 들여다보아야합니다.
데이터 스크래핑을 할 웹사이트를 정하기
저는 매일같이 접속하다 MILK서비스가 나온뒤로 가지않고있던 '네이버뮤직'에 들어가봤습니다.
저는 OutWit Hub의 크롤링기능을 활용하여 , 네이버뮤직에서도 "네이버 TOP 100 곡 이름"을 스크래핑해보려고합니다.
웹페이지 소스보는법
스크래핑을 하기전에 이 페이지의 구조를 슥- 들여다봅니다. 이 사이트의 소스를 보려고하는데요, 방법은 여러가지가 있습니다.
웹페이지의 소스보는법(크롬기준)
페이지화면에서 우클릭 > 페이지소스보기
구글크롬 우측상단버튼 > 도구 더보기 > 소스더보기
소스보기 단축키 사용 : Ctrl + U
소스페이지를 열어보면 새로운세계(?)가 펼쳐집니다. 우리에게 익숙했던 인터페이스화면이 아니라, 오로지 문자로만 가득한 페이지의 모습을 목격하게 됩니다. 여기서 저같이 스크래핑이 처음인 분들은 정신이 혼미해지기 시작하실텐데요, 별거없습니다. 따라서 정신 집중하고 "뭘 스크래핑하려했지?"라고 다시 되뇌어봅니다.
다시 익숙한 인터페이스화면으로 돌아가서, 1위를 기록하고있는 곡의 이름을 찾아봅니다. 제가 보고있는 지금은 다비치의 "또 운다 또"라는 곡이 1위를 하고 있습니다. 이것을 기억하고 다시 소스페이지로 돌아갑니다.
Ctrl + F 키를 이용하여 찾기기능을 열어준 뒤, 앞서 확인한 노래제목을 찾아봅니다. (굳이 찾기기능을 쓰지않고 화면상의 스크롤을 내려가며 찾는 방법이 있긴하지만, 이게 더 편합니다.) 찾아보니 제목역시 외계어(?)로 쌓여있습니다.
그리고 다음 노래제목도 찾아보니 마찬가지로 외계어(?)로 둘러쌓여있습니다. 그런데 여기서 중요한것은 "이 외계어가 무슨 기능을 하느냐"가 아닙니다. 우리는 여기서 일정한 "규칙성"만 찾으면됩니다.
데이터스크래핑 - 규칙성을 찾기
설치한 Outwithub 창으로 돌아간 뒤, 크롤링하고자하는 사이트의 URL주소를 입력해줍니다. 인터넷이 잘 연결되어있다면, 페이지 로드가 되실것입니다.
구조화가 잘 된 페이지와 그렇지 않은페이지 별 OutWitHub사용법
(스크래핑을 하는 우리의 입장에서)구조화가 잘 된 웹페이지들은 대부분 <table>이나 <ol>또는 <ul>형태의 리스트들입니다.
그러나 위의 경우처럼 웹페이지들이 구조화가 잘 되어있는 상황은 그리 많지않습니다. 이런 경우에 OutWitHub 카테고리의 [scrapers] 자세히보면 1위곡인 "또 운다 또"와 2위곡인 "슬픔 속에 그댈 지워야만 해"앞에 동일한 태그가 있다는 것을 확인하실 수 있습니다. 바로 이것을 가지고 OutwitHub에서 크롤링을 해올것입니다.
그다음에는 왼쪽 메뉴창에서 [scrapers]라는 버튼을 클릭해봅니다. 우리는 아직 여기서 아무것도 만들어본 적이 없기때문에, 하단에 보이는 [new]버튼을 클릭하여 새로운 스크래퍼를 만들어줍니다. 파워포인트로치면 새문서 만들기 후 문서의 이름을 지정해주는 작업입니다.
잘 생성하셨다면 앞서 네이버뮤직소스를 들여다보면서 확인했던 그 규칙있는 태그들을 집어넣어줄 차례입니다. [Description] 은 원하는 이름써주시고, 그 오른쪽에 있는 [Marker Before]에다가 아까 찾아놓았던 "<span class="ellipsis>"를, 그리고 [Marker After]에다가는 "</span>"을 입력해줍니다. 여기까지 하셨다면 다음을 위해 [save]를 한번 눌러줍니다.
[scraped]에서 원하는 데이터가 스크래핑 되어온 것을 확인하셨다면 그 데이터들을 선택 후 [catch]버튼을 눌러줍니다. 그러면 위 사진처럼 Export창에도 가져온 데이터들이 가득가득차게됩니다. 이상태에서 우측하단에 있는 [Export]버튼을 눌러줍니다. 이 [Export]버튼을 눌러보면 새로운 선택메뉴가 나오는데요, 여기서 원하는 형식을 선택한 후 저장해주시면 됩니다.
저는 CSV형태로 저장해서 엑셀로 열어보았습니다. 아까 OutWitHub에서 보았던 데이터들이 잘 저장되어있는 모습입니다.
나름 자세하게 그 과정을 써본다고 썼는데 이해가 잘안되신다면 Outwithub 튜토리얼영상을 통해 차근차근따라해보시는 것이 좋습니다. 아래 튜토리얼 영상을 함께 링크해드립니다.
'아카이브 > ICT' 카테고리의 다른 글
▶ICT노트 :: 열린정부, 공공데이터개방, 정보공개 이해하기 (0) | 2015.01.23 |
---|---|
▶ICT노트 :: 국내 웹브라우저 시장 점유율 상승 - 구글크롬(Chrome) (0) | 2015.01.22 |
▶정보공개시스템 뜯어보기① 목적과 용어정리 (0) | 2015.01.18 |
▶2015년 ICT시장의 10대 주목이슈 ① 레드오션 속의 생존경쟁 (0) | 2015.01.15 |
▶ICT노트 :: 2015년 ICT시장 전망 (0) | 2015.01.15 |