web robot1

• 

  15. Web Robot Web Robot?사람과의 상호작용 없이 연속된 웹 트랜잭션들을 자동으로 수행하는 소프트웨어 프로그램방식에 따라 “크롤러” “웜” “스파이더” “봇” 등 다양하다. ex) 검색엔진, 주식 그래프 로봇 등크롤러와 크롤링웹 크롤러의 작동 방식 (crawl : 기어다니기)페이지를 방문한다.방문한 페이지의 하위 페이지를 방문한다.하위 페이지의 하위페이지를 방문한다.위의 행동을 재귀적으로 반복한다. ex) 검색엔진 → 크롤링을 하면서 만나는 모든 문서를 끌어와 나중에 검색 가능한 데이터베이스로 만들어진다.루트 집합크롤링을 시작하는 출발지점몇 몇 페이지들은 성격상 찾아가지 못 할 수 있다. 때문에 신중히 골라야 한다.인기가 많거나 새로 생성된 페이지들의 목록, 자주 링크되지 않는 잘 알려지져 있지 않은 페이지.. Study/HTTP 2024. 5. 21.