웹 스크래핑을 위한 최고의 Python HTTP 클라이언트

HTTP 클라이언트는 웹 서버나 API에 요청을 보내고 응답을 수신할 수 있도록 하는 유용한 Python 라이브러리입니다. 이를 통해 다양한 유형의 HTTP 요청(GET, POST, PUT, DELETE 등)을 쉽게 전송하고, 데이터를 가져오거나 제출하며, 웹사이트나 API에서 작업을 수행할 수 있습니다.

웹 스크래핑 작업에서는 이러한 클라이언트를 Beautiful Soup이나 html5lib 같은 HTML 파싱 라이브러리와 함께 사용하는 경우가 많습니다.

이 글에서는 Requests, urllib3, Uplink, GRequests, HTTPX, aiohttp 등 최고의 Python HTTP 클라이언트 몇 가지를 살펴보겠습니다. 각 클라이언트를 기능, 사용 편의성, 문서 및 지원, 인기도를 기준으로 평가할 것입니다. 이 글을 마치면 여러분의 사용 사례에 가장 적합한 라이브러리가 무엇인지 더 잘 이해하게 될 것입니다.

Requests

가장 인기 있는 Python HTTP 클라이언트인 Requests 라이브러리부터 살펴보겠습니다. 이 라이브러리는 매주 3천만 건의 다운로드라는 놀라운 기록을 보유하고 있습니다.

Requests로 HTTP 요청과 응답을 처리하는 예시는 다음과 같습니다:

import requests

print("`requests` 라이브러리 테스트 중...")
resp = requests.get('https://httpbin.org/get', params={"foo": "bar"})
if resp.status_code == 200:     # 성공
    print(f"응답 텍스트: {resp.text} (HTTP-{resp.status_code})")
else:   # 오류
    print(f"오류: HTTP-{resp.status_code}")

참고: httpbin.org는 다양한 HTTP 메서드 테스트를 위한 샘플 응답을 제공합니다.

이 코드 스니펫에서 requests.get(...) 메서드는 원하는 URL과 단일 쿼리 매개변수 foo를 받습니다. params 인자를 사용하여 어떤 쿼리 매개변수도 전달할 수 있습니다.

Requests 및 기타 HTTP 클라이언트를 사용하면 URL에 쿼리 문자열을 수동으로 추가하거나 데이터를 인코딩할 필요가 없습니다. 라이브러리가 이를 처리해 줍니다. JSON 데이터를 전송하려면 data 인수를 사용하여 Python 사전(dictionary)을 전달하면 되며, resp.json()을 통해 JSON 응답을 직접 받을 수 있습니다.

Requests 라이브러리는 기본적으로 HTTP 리다이렉션(3xx)을 자동으로 처리합니다. 이는 웹 스크래핑 시 리다이렉션된 URL의 콘텐츠에 접근하는 데 유용합니다. 또한 SSL(Secure Sockets Layer) 연결도 지원합니다.

내부적으로 Requests는 연결 풀링 및 SSL 검증과 같은 저수준 HTTP 작업을 관리하기 위해 urllib3를 사용하며, 개발자에게 더 높은 수준의 파이썬적인 API를 제공합니다.

또한 Requests는 세션 관리를 지원하여 쿠키, 헤더 또는 인증 토큰과 같은 매개 변수를 여러 요청에 걸쳐 유지할 수 있습니다. 이는 제한된 콘텐츠에 접근하기 위해 이러한 매개 변수를 유지하는 것이 필수적인 웹 스크래핑 작업에 특히 유용합니다.

Requests 라이브러리는 또한 스트리밍을 지원하여 파일 다운로드나 API의 스트리밍 데이터 처리와 같이 대용량 응답이 포함된 웹 스크래핑 작업에 유용합니다.

응답 데이터를 메모리에 모두 로드하지 않고 효율적으로 처리하려면 iter_content() 또는 iter_lines()와 같은 메서드를 사용할 수 있습니다:

import requests

print("스트리밍으로 `requests` 라이브러리 테스트 중...")
resp = requests.get('https://httpbin.org/stream/10', stream=True)
for chunk in resp.iter_content(chunk_size=1024):
    print(chunk.decode('utf-8'))

그러나 Requests 라이브러리는 내장된 비동기 기능과 캐싱 지원이 부족합니다( requests-cache를 통해 이용 가능함). 또한 Requests는 HTTP/2를 지원하지 않으며, 이 토론에서 언급된 바와 같이 가까운 시일 내에 추가될 가능성은 낮습니다.

참고: HTTP/2는 HTTP/1.1보다 빠르고 효율적으로 설계된 HTTP 프로토콜의 최신 버전입니다. 멀티플렉싱을 통해 단일 전송 제어 프로토콜(TCP) 연결로 여러 요청과 응답을 처리할 수 있어 클라이언트-서버 연결 수가 줄어들고 페이지 로딩 속도가 빨라집니다. 다만 HTTP/2 지원은 아직 제한적입니다.

Requests 라이브러리는 Python의 HTTP 상호작용을 단순화합니다. 간단한 메서드, 간결한 구문, 효율성을 위한 자동 연결 풀링, 내장된 JSON 디코딩 기능으로 탁월합니다. 사용 편의성, 세션 관리, 스트리밍 기능, 방대한 문서 덕분에 개발자들 사이에서 인기 있는 선택지입니다.

urllib3

urllib3은 HTTP 요청을 생성하기 위한 검증되고 널리 사용되는 라이브러리입니다. 개발자뿐만 아니라 다양한 HTTP 클라이언트에서도 활용됩니다. 웹 스크래핑에서 저수준 HTTP 요청을 처리하기 위한 유용한 기능과 사용자 정의 옵션을 제공합니다.

다음은 urllib3을 사용하여 HTTP 요청을 수행하는 기본 예시입니다:

import urllib3

print("`urllib3` 라이브러리 테스트 중...")
http = urllib3.PoolManager()    # 연결 풀링을 위한 PoolManager
resp = http.request('GET', 'https://httpbin.org/get', fields={"foo": "bar"})

if resp.status == 200:     # 성공
    print(f"응답: {resp.data.decode('utf-8')} (HTTP-{resp.status})")
else:    # 오류
    print(f"오류: HTTP-{resp.status}")

이 코드 조각에서 urllib3.PoolManager() 는 여러 요청에 재사용할 수 있는 연결 풀을 생성합니다. 이는 각 요청마다 새 연결을 설정하는 오버헤드를 피함으로써 성능을 향상시킵니다. URL과 함께 필드 인수를 사용하여 필요한 쿼리 매개변수를 전달할 수 있습니다.

urllib3의 주목할 만한 기능 중 하나는 스트리밍 응답 처리 능력으로, 대량의 데이터를 메모리에 모두 로드하지 않고도 효율적으로 처리할 수 있게 합니다. 이는 웹 스크래핑 중 대용량 파일 다운로드나 스트리밍 API 활용에 유용합니다.

urllib3은 기본적으로 자동 리디렉션을 지원하며 SSL 기능이 내장되어 있습니다. 그러나 비동기 처리 기능, 캐싱 지원, 세션 관리(쿠키 등) 기능은 내장되어 있지 않으며 HTTP/2도 지원하지 않습니다.

urllib3의 연결 풀링 처리 방식은 Requests 라이브러리보다 사용자 친화적이지 않지만, 일부 클라이언트처럼 클래스 기반 접근이나 데코레이터를 요구하지 않고 간단한 스크립팅 구문을 사용하므로 기본적인 HTTP 상호작용에 유용합니다. 또한 urllib3는 잘 관리된 문서를 제공합니다.

세션 관리가 필요하지 않고 강력한 라이브러리를 원한다면, urllib3는 간단한 웹 스크래핑 작업에 적합합니다.

Uplink

Uplink는 강력하지만 덜 알려진 Python HTTP 클라이언트입니다. 클래스 기반 인터페이스를 사용하여 RESTful API와의 상호작용을 단순화하므로, API 호출이 포함된 웹 스크래핑에 특히 유용합니다.

Uplink를 사용하여 API 엔드포인트를 호출하는 샘플 코드를 살펴보세요:

import uplink

@uplink.json
class JSONPlaceholderAPI(uplink.Consumer):
    @uplink.get("/posts/{post_id}")
    def get_post(self, post_id):
        pass


def demo_uplink():
    print("Testing `uplink` library...")
    api = JSONPlaceholderAPI(base_url="https://jsonplaceholder.typicode.com")
    resp = api.get_post(post_id=1)
    if resp.status_code == 200:     # 성공
        print(f"응답: {resp.json()} (HTTP-{resp.status_code})")
    else:   # 오류
        print(f"오류:HTTP-{resp.status_code}")

이 코드 스니펫은 uplink.Consumer를 상속하는 JSONPlaceholderAPI 클래스를 정의합니다. @uplink.get 데코레이터를 사용하여 JSONPlaceholder API에 대한 HTTP GET 요청을 생성해 특정 게시물을 가져옵니다. post_id 매개변수는 이 데코레이터( @uplink.get("/posts/{post_id}"))를 통해 엔드포인트에 동적으로 포함됩니다. https://jsonplaceholder.typicode.com 사이트는 테스트 및 개발을 위한 JSON 응답을 제공하는 REST API를 시뮬레이션합니다.

Uplink는 SSL을 지원하며 최종 응답을 가져오기 위한 리디렉션을 자동으로 처리합니다. 또한 Bring Your Own HTTP Library와 같은 고급 기능도 제공합니다.

그러나 Uplink는 스트리밍 응답, 비동기 요청, 캐싱( requests-cache 사용 가능), HTTP/2에 대한 내장 지원이 없습니다.

Uplink는 강력한 기능에 대한 충분한 문서를 제공하지만, 적극적으로 유지 관리되지 않으며(마지막 릴리스는 2022년 3월 0.9.7) 인기도 높지 않습니다. 클래스 기반 접근 방식과 데코레이터 구문은 객체 지향 개발자에게 매력적일 수 있지만, Python의 스크립팅 스타일을 선호하는 사용자에게는 사용 편의성이 다소 떨어집니다.

사용자들은 주로 HTML 페이지가 아닌 다양한 RESTful API 엔드포인트에서 데이터를 수집해야 할 때 Uplink를 선택합니다.

GRequests

GRequests는 잘 알려진 Requests 라이브러리의 확장판으로, 비동기 요청을 지원합니다. 여러 웹사이트나 API에서 데이터를 동시에 가져올 수 있게 해줍니다.

다음 요청을 보내기 전에 각 응답을 기다리는 순차적 요청과 달리, GRequests는 요청을 동시에 보내 효율성을 향상시킵니다. 이는 여러 웹사이트나 API에서 데이터를 가져올 때 특히 유용합니다.

다음 예시를 살펴보세요:

import grequests

print("`grequests` 라이브러리 테스트 중...")
# 여러 URL에서 데이터 가져오기
urls = [
    'https://www.python.org/',
    'http://httpbin.org/get',
    'http://httpbin.org/ip',
]

responses = grequests.map((grequests.get(url) for url in urls))
for resp in responses:
    print(f"Response for: {resp.url} ==> HTTP-{resp.status_code}")

이 코드에서 GRequests는 grequests.map(...)을 사용하여 서로 다른 URL로 세 개의 GET 요청을 동시에 전송하고 응답을 responses라는 리스트에 수집합니다. 그런 다음 이 응답들을 반복하여 출력합니다. 내부적으로 GRequests는 비동기 HTTP 요청을 위해 코루틴 기반 네트워킹 라이브러리인 gevent를 사용합니다. 이를 통해 복잡한 동시성 관리를 하지 않고도 여러 HTTP 요청을 동시에 보낼 수 있습니다. 특정 주제나 카테고리에 대한 뉴스를 여러 웹사이트에서 스크래핑하는 것이 이러한 기능의 실용적인 적용 사례가 될 수 있습니다.

GRequests는 리다이렉션 자동 처리, SSL 지원, 스트리밍 응답을 메모리에 한 번에 모두 로드하지 않고 처리하는 기능 등도 지원합니다. 다만 GRequests 자체에는 HTTP/2 지원이나 캐싱 기능이 내장되어 있지 않다는 점( requests-cache를 사용할 수는 있음)을 유의해야 합니다.

GRequests는 기본 라이브러리인 Requests와 유사한 직관적인 메서드로 비동기 HTTP 요청을 단순화합니다. 복잡한 async/await 구문 없이도 동시성을 처리할 수 있어 사용이 용이합니다. 다만, 코드베이스가 매우 작고(0.7.0 버전 기준 213줄) 개발 활동이 줄어들어 문서화가 최소한으로 이루어지고 있습니다. 이러한 요인들이 낮은 인기로 이어지고 있습니다.

여러 소스에서 동시에 데이터를 수집해야 할 때 사용하기 쉬운 비동기 기능을 위해 GRequests를 고려해 볼 수 있습니다.

HTTPX

HTTPX는 Python용 현대적이고 기능이 풍부한 HTTP 클라이언트로, 모든 유형의 웹 스크래핑 프로젝트에 널리 사용됩니다. Python의 Requests 라이브러리를 대체하도록 설계되었으며 비동기 지원과 향상된 성능을 제공합니다.

다음 예제는 HTTPX를 사용한 비동기 HTTP GET 요청을 보여줍니다:

import httpx
import asyncio

async def fetch_posts():
    async with httpx.AsyncClient() as client:
        response = await client.get('https://jsonplaceholder.typicode.com/posts')
        return response.json()

async def httpx_demo():
    print("Testing `httpx` library...")
    posts = await fetch_posts()
    for idx, post in enumerate(posts):
        print(f"Post #{idx+1}: {post['title']}")

# 코드 실행을 위한 비동기 진입점
asyncio.run(httpx_demo())

이 코드는 fetch_posts()라는 비동기 함수를 정의합니다. 이 함수는 httpx.AsyncClient()를 사용하여 https://jsonplaceholder.typicode.com/posts API에서 더미 블로그 게시물을 가져옵니다. 또 다른 비동기 함수인 httpx_demo()는 fetch_posts() 가 해당 게시물을 반환할 때까지 기다린 후, 루프를 통해 게시물 제목을 출력합니다. 마지막으로 asyncio.run(httpx_demo()) 는 httpx_demo()를 비동기적으로 실행하기 위한 진입점 역할을 합니다.

HTTPX는 비동기 HTTP 클라이언트에 대한 내장 지원 외에도 HTTP/2를 기본적으로 지원합니다. 이를 통해 단일 TCP 연결로 여러 리소스를 동시에 더 빠르게 로드할 수 있어, 웹 스크래핑 시 웹사이트가 브라우저 지문을 추적하기 어렵게 만듭니다.

HTTP/2 요청을 보내려면 HTTPX 클라이언트 생성 시 http2=True 매개변수를 설정하기만 하면 됩니다:

import httpx

client = httpx.Client(http2=True)
response = client.get("https://http2.github.io/")
print(response)

HTTP/2를 사용하려면 HTTPX를 http2 지원 버전으로 설치해야 합니다:

pip install httpx[http2]

또한 HTTPX는 스트리밍 응답에 대한 탁월한 지원을 제공하여, 전체 응답을 메모리에 로드하지 않고도 대용량 응답이나 데이터 스트림을 효율적으로 처리할 수 있습니다.

HTTPX를 사용한 텍스트 응답 스트리밍 예시는 다음과 같습니다:

with httpx.stream("GET", "https://httpbin.org/stream/10") as resp:
   for text in resp.iter_text():
       print(text)

HTTPX에는 내장 캐싱 기능이 없지만, 대신 Hishel을 사용할 수 있습니다.

HTTPX는 기본적으로 HTTP 리디렉션을 따르지 않지만, follow_redirects 매개변수로 이를 활성화할 수 있습니다:

import httpx

# http --> https 리다이렉션 테스트
response = httpx.get('http://github.com/', follow_redirects=True)

비동기 기능으로 인해 다소 복잡해지긴 하지만, HTTPX는 HTTP 통신을 위한 간단한 메서드를 제공하고 사용하기 쉬운 동기식 요청을 지원합니다. 이로 인해 초보자부터 숙련된 개발자까지 모두 접근하기 쉽습니다. 또한, 방대한 문서와 HTTPX 통합을 위한 도구를 개발하는 활발한 개발자 커뮤니티 덕분에 사용량이 증가하고 있습니다.

기능이 풍부한 비동기 HTTP 클라이언트를 찾고 있다면 HTTPX를 고려해 보세요.

aiohttp

HTTPX와 유사하게 aiohttp는 HTTP 요청에 대한 내장 비동기 지원을 제공합니다. 그러나 aiohttp는 비동기 프로그래밍 전용으로 설계되어 동시 및 비차단 요청이 필요한 시나리오에서 탁월한 성능을 발휘합니다. 이로 인해 고성능 웹 스크래핑 프로젝트에 적합하며 프록시와도 쉽게 사용할 수 있습니다.

aiohttp를 사용하여 여러 URL을 동시에 스크래핑하는 방법은 다음과 같습니다:

import asyncio
import aiohttp

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()    

async def demo_aiohttp():
    print("Testing `aiohttp` library...")
    urls = [
        'https://www.python.org/',
        'http://httpbin.org/get',
        'http://httpbin.org/ip',
    ]
    tasks = [fetch_data(url) for url in urls]
    responses = await asyncio.gather(*tasks)
    for resp_text in responses:
        print(f"응답: {resp_text}")

# 코드 실행을 위한 비동기 진입점      
asyncio.run(demo_aiohttp())

비동기 함수 fetch_data(...) 는 aiohttp.ClientSession() 을 생성하고 지정된 URL로 GET 요청을 보냅니다. 그런 다음 각 URL에 대한 작업 목록을 생성하고 asyncio.gather(...)로 동시 실행합니다. 모든 작업이 완료되면 스크랩된 데이터(이 경우 응답 텍스트)를 수집하여 출력합니다. 실제 실행은 asyncio.run(demo_aiohttp())로 시작됩니다.

aiohttp는 HTTP 리다이렉션을 자동으로 처리하고 스트리밍 응답을 지원하여 과도한 메모리 사용 없이 대용량 파일이나 데이터 스트림을 효율적으로 관리합니다. 또한 다양한 타사 미들웨어 및 확장 기능을 통해 유연성을 제공합니다.

또한, aiohttp는 필요한 경우 개발 서버 역할을 할 수 있지만, 이 글은 오로지 HTTP 클라이언트 기능에만 초점을 맞춥니다.

그러나 aiohttp는 HTTP/2 지원과 내장 캐싱 기능이 부족합니다. 그럼에도 필요 시 aiohttp-client-cache 같은 라이브러리를 사용해 캐싱을 통합할 수 있습니다.

aiohttp는 Requests 같은 단순한 HTTP 클라이언트보다 사용법이 복잡할 수 있으며, 특히 초보자에게 그렇습니다. 비동기적 특성과 추가 기능들은 파이썬 비동기 프로그래밍에 대한 깊은 이해를 요구합니다. 그럼에도 GitHub에서 14.7K 스타를 기록하고 수많은 서드파티 라이브러리가 구축된 인기 라이브러리입니다. aiohttp는 개발자를 위한 포괄적인 문서도 제공합니다.

완벽한 비동기 지원을 원한다면 aiohttp를 고려해 보세요. 그 비동기 성능은 주식 가격 모니터링이나 선거와 같은 실시간 이벤트 추적과 같은 실시간 데이터 스크래핑 작업에 이상적입니다.

주요 Python HTTP 클라이언트에 대한 간략한 개요는 다음 표를 참조하세요:

	Requests	urllib3	Uplink	GRequests	HTTPX	aiohttp
사용 편의성	쉬움	쉬움-보통	보통	쉬움	보통	중간
자동 리디렉션	예	예	예	예	활성화 필요	예
SSL 지원	예	예	예	예	예	예
비동기 기능	아니요	아니요	아니요	예	예	예
스트리밍 응답	예	예	아니요	예	예	예
HTTP/2 지원	아니요	아니요	아니요	아니요	예	아니요
캐싱 지원	경유: 요청 캐시	아니요	Via:requests-cache	Via:requests-cache	Via: Hishel	Via: aiohttp-client-cache

결론

이 글에서는 Requests, urllib3, Uplink, GRequests, HTTPX, aiohttp 등 몇 가지 인기 있는 Python HTTP 클라이언트에 대해 모두 알아보았습니다. 각 클라이언트는 단순성, 비동기 지원, 스트리밍, HTTP/2와 같은 고유한 기능을 갖추고 있습니다.

Requests, Uplink, GRequests는 단순성으로 유명하지만, aiohttp와 HTTPX는 강력한 비동기 기능을 제공합니다. Requests가 여전히 가장 인기 있지만, aiohttp와 HTTPX는 비동기 기능 덕분에 점차 주목받고 있습니다. 결국 여러분의 요구에 맞는 클라이언트를 선택하려면 각각을 검토해야 합니다.

실제 웹 스크래핑 작업에서는 HTTP 클라이언트 외에도 봇 방지 조치 우회 및 프록시 사용 등 더 많은 요소를 고려해야 합니다. 다행히 Bright Data가 도움을 드릴 수 있습니다.

Bright Data는 웹 스크레이퍼 IDE( 웹 스크레이퍼 통합 개발 환경)와 같은 도구로 웹 스크래핑을 더 쉽게 만듭니다. 이 IDE는 미리 만들어진 JavaScript 함수와 템플릿을 제공하며, 웹 언락커(Web Unlocker)는 CAPTCHA와 봇 방지 조치를 우회합니다. Bright Data 스크래핑 브라우저는 다단계 데이터 수집을 위해 Puppeteer, Playwright, Selenium과 연동됩니다. 또한 Bright Data 프록시 네트워크 및 서비스를 통해 다양한 지역에서 접근이 가능합니다. 이러한 도구들은 프록시 관리나 CAPTCHA 해결 같은 복잡한 작업을 처리하므로, 여러분은 필요한 데이터 수집에 집중할 수 있습니다.

지금 무료 체험을 시작하여 Bright Data가 제공하는 모든 기능을 경험해 보세요.