コピペで始めるPython aiohttp非同期HTTPリクエスト

• Pythonで初めて非同期HTTPリクエストをやろうと思って調べている
• 調べてみると、asyncとかawaitとか、aiohttpを使うの難しそう
• 最初はとにかくコピペで動くシンプルなコードが欲しい

この3点に当てはまる初心者の方へ向けて、コピペするだけ10秒ですぐ動かせるコードを2パターン用意しました。

技術的な解説は他のサイトへ譲ります。

とにかく、まずはシンプルなコードを動かしてイメージを掴むためだけの記事です。

コピペでPython aiohttp非同期HTTPリクエスト

準備：aiohttp ライブラリインストール

まだaiohttpをインストールしていないかたは、pipしておきましょう。

Successfully installed...と出ればOK。

コピペで実行1：HTTPステータスコードチェック

以下ソースコードをご自分のエディタへ貼り付け、実行してみてください。

コード内に例示しているURL(https://webscraper.io/test-sites)は、スクレイピング練習用サイトとして提供してくれているので採用しました。

4つめはわざと存在しない(HTTPステータスコード 404が返ってくる)URLを置いています。

aiohttp-sample1.pyimport aiohttp
import asyncio
from bs4 import BeautifulSoup


async def main():
    # 対象URLがリスト化されていると仮定(この例では全て同じURL)
    url_list = [
        'https://webscraper.io/test-sites',
        'https://webscraper.io/test-sites',
        'https://webscraper.io/test-sites',
        'https://webscraper.io/test-sites-not-exists',
        'https://webscraper.io/test-sites',
    ]
    async with aiohttp.ClientSession() as session:
        # fetch_urlするタスクを対象URLの数だけ生成(5URLなので5タスク)
        tasks = [fetch_url(i, session, url) for i, url in enumerate(url_list, start=1)]
        # 5タスク全ての完了を待つ。resultにはfetch_urlでreturnした結果がリスト化される
        results = await asyncio.gather(*tasks)
    # 5タスク完了後、print
    print(results)


async def fetch_url(i, session, url):
    async with session.get(url) as response:
        if response.status == 200:
            print(result := f'{i}個目：成功')
            return result
        else:
            print(result := f'{i}個目：失敗...')
            return result


if __name__ == "__main__":
    asyncio.run(main())
    # ↑の代わりに以下のようにしても動く
    # loop = asyncio.get_event_loop()
    # loop.run_until_complete(main())

▼実行結果

print結果を見ると、実行中は完了順番がバラバラですが、全タスク完了後にreturnされたresultsを見ると、実行した順番で結果も格納されていることが分かります。

コピペで実行2：要素のスクレイピング

aiohttpで非同期スクレイピング処理をする場合を想定して、HTMLを解析するライブラリBeautifulSoupを組み込む場合の簡単な例です。

未インストールのかたはpipしておきましょう。

そして、以下コピペして実行します。webサイト上のH1タグを取ってくるだけです。

aiohttp-sample2.pyimport aiohttp
import asyncio
from bs4 import BeautifulSoup


async def main():
    url_list = [
        'https://webscraper.io/test-sites',
        'https://webscraper.io/test-sites',
        'https://webscraper.io/test-sites',
        'https://webscraper.io/test-sites-not-exists',
        'https://webscraper.io/test-sites',
    ]
    async with aiohttp.ClientSession() as session:
        tasks = [scrape_h1_tag(session, url) for url in url_list]
        results = await asyncio.gather(*tasks)
    print(results)


async def scrape_h1_tag(session, url):
    async with session.get(url) as response:
        response_text = await response.text()
        soup = BeautifulSoup(response_text, 'html.parser')
        h1_tag = soup.select_one('.col-md-12 > h1')
        return h1_tag if h1_tag is not None else 'h1取得失敗...'


if __name__ == "__main__":
    asyncio.run(main())

▼実行結果

22行目で await response.text() とするのがなかなか見慣れないポイントですね。

このawaitを書き忘れると以下「awaitしてないよ」と怒られるので注意。

・・・

以上、aiohttpで簡単に非同期HTTPリクエストするコードでした。

上記例では5URLしか用意していないので、Python標準のrequestsライブラリで同期リクエストするのと比べて処理速度の速さ実感がありませんが、100個以上用意すれば速度の速さに驚くこと間違いなし。