ウェブスクレイピングと API 自動化

機能説明

このスキルは、ウェブサイトのデータスクレイピングと API インターフェースの呼び出しを自動化するために特化しており、以下を含みます。

• ウェブサイトの構造の分析とスクレイピング
• REST/GraphQL API の呼び出しとテスト
• 自動化されたクローリングスクリプトの作成
• データ解析とクレンジング
• アンチクローリングメカニズムの処理
• 定期的なタスクとデータストレージ

使用シーン

• 「このウェブサイトの製品情報をスクレイピングする」
• 「この API を呼び出して、返されたデータを解析するのを手伝って」
• 「ニュースを定期的に取得するスクリプトを作成する」
• 「このウェブサイトの API インターフェースドキュメントを分析する」
• 「このウェブサイトのアンチクローリング制限を回避する」

技術スタック

Python クローリング

• requests: HTTP リクエストライブラリ
• BeautifulSoup4: HTML 解析
• Scrapy: プロフェッショナルなクローリングフレームワーク
• Selenium: ブラウザ自動化
• Playwright: 最新のブラウザ自動化

JavaScript クローリング

• axios: HTTP クライアント
• cheerio: サーバーサイド jQuery
• puppeteer: Chrome 自動化
• node-fetch: Fetch API

ワークフロー

1. 目標分析:

   • ウェブサイトの構造とデータの場所を確認する
   • API インターフェースと認証方法を分析する
   • アンチクローリングメカニズムを評価する

2. ソリューション設計:

   • 適切な技術スタックを選択する
   • データ抽出戦略を設計する
   • エラー処理と再試行メカニズムを計画する

3. スクリプト開発:

   • クローリングコードを記述する
   • データ解析ロジックを実装する
   • ログと監視を追加する

4. テストと最適化:

   • データの正確性を検証する
   • パフォーマンスと安定性を最適化する
   • 境界条件を処理する

ベストプラクティス

• robots.txt ルールを遵守する
• 適切なリクエスト間隔を設定する
• User-Agent とリクエストヘッダーを使用する
• エラー再試行メカニズムを実装する
• データの重複排除と検証
• プロキシプールを使用する（必要な場合）
• 元のデータとログを保存する

共通シーンの例

1. 簡単なウェブページスクレイピング

import requests
from bs4 import BeautifulSoup

def scrape_website(url):
    headers = {'User-Agent': 'Mozilla/5.0'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    # データの抽出
    data = []
    for item in soup.select('.product'):
        data.append({
            'title': item.select_one('.title').text,
            'price': item.select_one('.price').text
        })
    return data

2. API 呼び出し

import requests

def call_api(endpoint, params=None):
    headers = {
        'Authorization': 'Bearer YOUR_TOKEN',
        'Content-Type': 'application/json'
    }
    response = requests.get(endpoint, headers=headers, params=params)
    return response.json()

3. 動的なウェブページのスクレイピング

from selenium import webdriver
from selenium.webdriver.common.by import By

def scrape_dynamic_page(url):
    driver = webdriver.Chrome()
    driver.get(url)

    # ページのロードを待機
    driver.implicitly_wait(10)

    # データの抽出
    elements = driver.find_elements(By.CLASS_NAME, 'item')
    data = [elem.text for elem in elements]

    driver.quit()
    return data

アンチクローリング対策

• リクエストヘッダーの偽装: 本物のブラウザをシミュレートする
• プロキシのローテーション: プロキシプールを使用する
• 検証コードの処理: OCR またはサードパーティサービス
• Cookie 管理: セッション状態を維持する
• リクエスト頻度の制御: 制限のトリガーを回避する
• JavaScript レンダリング: Selenium/Playwright を使用する

データストレージソリューション

• CSV/Excel: 簡単なデータエクスポート
• JSON: 構造化されたデータストレージ
• データベース: MySQL、PostgreSQL、MongoDB
• クラウドストレージ: S3、OSS
• データウェアハウス: 大規模なデータ分析に使用