개발 공부 - 웹 크롤러

웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다.

웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용된다.

웹 크롤러는 봇이나 소프트웨어 에이전트의 한 형태이다. 웹 크롤러는 대개 시드(seeds)라고 불리는 URL 리스트에서부터 시작하는데, 페이지의 모든 하이퍼링크를 인식하여 URL 리스트를 갱신한다. 갱신된 URL 리스트는 재귀적으로 다시 방문한다.

• 웹 크롤러는 검색엔진 등에서 쓰이며, 웹 페이지나 정적인 자원으로부터 콘텐츠를 수집하는 장치이다.

• 웹페이지에 접속 후 웹페이지에 있는 링크들에 접속하여 재귀적으로 콘텐츠를 수집한다.

• 용례

  • 검색 엔진 인덱싱
    • 웹 페이지들을 모아 검색 엔진을 위한 로컬 인덱스를 생성한다. (googlebot)
  • 웹 아카이빙
    • 나중에 사용할 목적으로 웹에 있는 정보들을 장기 저장한다.
  • 웹 마이닝
    • 인터넷으로부터 유용한 지식/자원 등을 도출해낸다. (주주 총회/연차 보고서)
  • 웹 모니터링
    • 저작권/상표권 침해를 모니터링한다.

• 데이터의 규모에 따라 웹 크롤러 설계는 달라질 것이므로 설계할 데이터의 규모와 기능을 알아내야 한다.

참조 : https://velog.io/@monkb/%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%9F%AC-%EC%84%A4%EA%B3%84