[파이썬] 웹 크롤링 시작하기 1. requests 모듈로 요청 보내기

requests 모듈은 파이썬 웹 스크래핑에서 활용되는 모듈로, http에 응답을 요청해서 받을 수 있다.

 

requests 모듈이 설치되어있는지 확인하고 설치를 진행하기 위해 아래와 같이 설치 명령어 pip install 로 확인해본다.

pip install requests

requests 모듈이 설치되어있지 않다면 설치가 진행되며,
이미 설치된 경우는 Requrement already satisfied.. 이하의 메세지가 뜬다.

 

requests 모듈이 잘 설치되었다면, import 해서 모듈을 불러온다.

import requests

requests.get() 을 사용해서 요청을 보낼 수 있다.

어떤 사이트에 요청을 보내 볼까?

코로나 관련 정보 수집을 위해, 질병관리청에 요청을 보내보고자 한다.

질병관리청 URL : https://www.kdca.go.kr/index.es?sid=a2 

질병관리청

 

요청을 보낼 URL을 텍스트 형태로("" 따옴표 안에 입력해야 함) requests.get() 함수에 아래와 같이 입력한다.

requests.get("https://www.kdca.go.kr/index.es?sid=a2") #requests.get("요청을 보낼 URL")

위와 같이 코드를 입력하고, 실행하면 다음과 같은 응답이 수신된다.

<Response [200]>

http에 응답을 보냈을 때 응답 코드가 200인 경우는, 요청이 성공했고 서버가 응답한 것이다.

우리가 웹서핑을 하다 접하게 되는 "404 not found" 에러의 경우, 서버로 전송한 요청이 처리되지 못한 것이다.

http 상태 코드의 종류로는 1xx, 2xx, 3xx, 4xx, 5xx 가 있는데

2xx 의 경우 성공, 4xx의 경우 클라이언트 오류, 5xx의 경우 서버 오류 등, 요청 및 응답 상태에 따른 코드들이 회신된다.

 

https://ko.wikipedia.org/wiki/HTTP_%EC%83%81%ED%83%9C_%EC%BD%94%EB%93%9C

HTTP 상태 코드 - 위키백과, 우리 모두의 백과사전