Python/Scrapy (1) 썸네일형 리스트형 0. 이해하기 보통 간편한 requests로 웹 크롤링을 시작한다. python을 잘 몰라도 HTTP에 대한 이해가 있고(브라우저의 개발자모드에서 요청과 응답을 확인할 수 있는 정도) requests와 BeautifulSoup의 사용법만 익히면 다른 고민 없이도 스크립트 작성이 가능하다. 복잡하지 않다면 로그인 세션을 생성하는 것도 가능하고(조금 복잡한 경우도 가능하다), 자신의 웹에 대한 이해도에 따라 활용도가 늘어나니 배우는 재미도 있다. 문제는 양. 1개의 URL을 5분에 한번씩 스크래핑해서 원하는 정보를 받는 건 requests로 충분하다. 그런데 100개라면? 예를 들어서 동일URL을 스크래핑하는데, 페이지 분할이 되어 있어서 URL에 page 파라미터를 1~100까지 변경시켜가면서 스크래핑 해야한다면? 실제.. 이전 1 다음
