Webサイトの新着を定期チェックしてスプレッドシートに記録する仕組み(Pythonスクレイピング)

Webサイトの新着を定期チェックしてスプレッドシートに記録する仕組み(Pythonスクレイピング) Python

こんにちは!ともです。「あのサイト、更新されたかな」と、毎日同じページを開いて確認する作業、地味に時間を取られますよね。お知らせページの新着チェック、価格ページの見直し確認など、目視の巡回は件数が増えるほど負担になります。

この記事では、Webサイトの新着情報をPythonで自動チェックし、見つけた新着をGoogleスプレッドシートへ記録していく仕組みの作り方をまとめます。人手の巡回をプログラムに置き換える、スクレイピングの本格版の作例です。

【この記事で分かること】

この記事で分かること
この記事で分かること
  • 完成品で何ができるようになるか
  • スクレイピングを始める前に守る約束ごと
  • 必要なものとコスト
  • 使うライブラリの導入と、Googleスプレッドシート連携の初期設定
  • チェックと記録を行うコードの骨格

【完成品のイメージ:新着がシートにたまっていく】

完成品のイメージ:新着がシートにたまっていく
完成品のイメージ:新着がシートにたまっていく

完成すると、プログラムを実行するたびに、対象ページの新着記事タイトルとリンクがスプレッドシートへ1行ずつ追加されていきます。すでに記録済みのものは追加されないので、シートを見れば「前回チェック以降の新着」がそのまま一覧になります。

手作業との違いは、確認そのものを人がやらなくてよくなることです。あとは、このプログラムを決まった間隔で実行する仕組みと組み合わせれば、巡回作業はほぼ自動になります。定期実行の方法は後半で考え方だけ触れます。

【始める前に:スクレイピングの約束ごと】

始める前に:スクレイピングの約束ごと
始める前に:スクレイピングの約束ごと

スクレイピングは便利な反面、相手のサーバーに負荷をかける行為でもあります。作る前に、次の3つの約束ごとを必ず押さえてください。

1つ目は、対象サイトの利用規約とrobots.txtを確認することです。スクレイピング自体を禁止しているサイトもあり、禁止されている対象には使えません。2つ目は、アクセスの間隔を十分に空けることです。短時間に大量のリクエストを送るのは厳禁で、この記事のコードでも取得のたびに待機時間を入れます。

3つ目は、実験の対象を「自分の管理サイト」や「公開データを提供しているサイト」に限ることです。この記事の作例も、その前提で読んでください。約束ごとを守れる対象かどうかが、技術より先に来る判断です。

【必要なものとコスト】

必要なものとコスト
必要なものとコスト

使うライブラリはすべて無料で公開されているものです。Googleスプレッドシートも、通常のGoogleアカウントの範囲で使えます。

項目内容
使うツールPython/requests/BeautifulSoup4/gspread/Googleスプレッドシート
料金の目安無料(約0円)
前提Pythonの環境構築が済んでいること/Googleアカウント/規約確認済みのチェック対象

Python本体の用意がまだの場合は、先に環境構築の記事で土台を整えてください。

Pythonの環境構築の手順

【難易度と進め方の目安】

難易度と進め方の目安
難易度と進め方の目安

難易度は中くらいです。コードの量は多くありませんが、Google側の連携設定(サービスアカウントの発行)が一度だけ必要で、そこが一番の山場です。目安の所要時間は、初期設定込みで1時間前後です。

進め方は「ライブラリの導入→Google連携の初期設定→ページ取得のコード→記録のコード→動作確認」の順番です。

【インストール・初期設定】

インストール・初期設定
インストール・初期設定

まず、仮想環境を有効化した状態で、使うライブラリをまとめて入れます。

# ページ取得用の requests、HTML解析用の beautifulsoup4、シート操作用の gspread を入れる
pip install requests beautifulsoup4 gspread

次に、Googleスプレッドシートへプログラムから書き込むための初期設定を行います。大まかな流れは次のとおりです。

  1. Google Cloudの管理画面でプロジェクトを作り、「Google Sheets API」を有効にする
  2. サービスアカウントを作成し、鍵ファイル(JSON)をダウンロードする
  3. 記録先のスプレッドシートを作成し、サービスアカウントのメールアドレス宛てに「編集者」として共有する
  4. 鍵ファイルをプロジェクトのフォルダに置く(ファイル名はこの記事では service-account.json とします)

鍵ファイルは、プログラムの「身分証」にあたるものです。GitHubなどの公開場所には絶対に上げないでください。コードを記録する仕組みとセットで、秘密ファイルの扱いも意識しておきましょう。

GitのインストールとGitHub連携の手順

【作り方の骨格1:ページを取得して新着を取り出す】

作り方の骨格1:ページを取得して新着を取り出す
作り方の骨格1:ページを取得して新着を取り出す

最初に、対象ページを取得し、新着の一覧を取り出す部分を作ります。

# 必要なライブラリを読み込む
import time
import requests
from bs4 import BeautifulSoup

# チェックしたいページのURL(自分の管理サイトなど、許可のある対象だけに使う)
TARGET_URL = "https://example.com/news"

# ページの内容を取得する(30秒待っても応答がなければエラーにする)
response = requests.get(TARGET_URL, timeout=30)

# 相手サーバーへ連続アクセスしないよう、取得のあとに少し待つ
time.sleep(3)

# 取得したHTMLを解析しやすい形に変換する
soup = BeautifulSoup(response.text, "html.parser")

# 新着一覧のリンクをたどり、タイトルとURLの組を取り出す
items = []
for link in soup.select(".news-list a"):
    items.append({"title": link.get_text(strip=True), "url": link.get("href")})

# 取り出せた件数を表示して確認する
print(f"{len(items)}件の新着候補が見つかりました")

ポイントは2つです。.news-list a の部分は、対象ページの構造に合わせて書き換える場所で、ここがサイトごとに変わります。もう1つは time.sleep(3) で、複数ページを巡回する作りに広げる場合も、1回の取得ごとに必ず待機を入れてください。

目印(セレクタ)の調べ方も押さえておきましょう。ブラウザで対象ページを開き、開発者ツール(WindowsはF12キー、MacはOption+Command+I)を開くと、ページのHTMLを確認できます。新着一覧の部分にマウスを合わせると対応するHTMLがハイライトされるので、そこに付いているクラス名が .news-list に当たる目印です。スクレイピングの作業時間の大半は、実はこの「目印探し」です。コード自体は短いので、焦らず構造を見る習慣を付けてください。

【作り方の骨格2:新しいものだけをシートへ記録する】

作り方の骨格2:新しいものだけをシートへ記録する
作り方の骨格2:新しいものだけをシートへ記録する

次に、取り出した新着のうち、まだ記録されていないものだけをシートへ追加します。

# シート操作用のライブラリを読み込む
import gspread

# 鍵ファイルを使ってGoogleスプレッドシートに接続する
client = gspread.service_account(filename="service-account.json")

# 記録先のシートを開く(シート名は自分のものに合わせる)
sheet = client.open("新着チェック記録").sheet1

# すでに記録済みのURL一覧(2列目)を取得する
recorded_urls = sheet.col_values(2)

# 未記録の新着だけを、シートの末尾へ1行ずつ追加する
for item in items:
    if item["url"] not in recorded_urls:
        sheet.append_row([item["title"], item["url"]])

「記録済みかどうかをURLで比べる」のが、この仕組みの肝です。タイトルは変わることがありますが、URLは基本的に変わらないため、重複チェックの軸にしやすいからです。

【定期実行の考え方】

定期実行の考え方
定期実行の考え方

このプログラムは、実行したタイミングでチェックする作りです。「毎日決まった時刻に」を実現するには、WindowsのタスクスケジューラやMacのlaunchdなど、OS側の定期実行の仕組みに登録する方法が基本になります。

ただし、定期実行にするほど、相手サーバーへの配慮はより大切になります。実行間隔は「1日1回」など控えめに設定し、対象サイトの規約の範囲内で運用してください。

運用を始めたら、シート側の見方も決めておくと楽です。たとえば「確認日」の列を1列足して、いつ記録した行か分かるようにしておくと、あとで「先週からの新着だけ」を抜き出すような使い方もできます。記録は、ためるだけでは意味がありません。週に1回はシートを開いて新着を眺める、という人の側の習慣とセットにして初めて、巡回を任せる意味が出てきます。

【つまずきやすい点】

つまずきやすい点
つまずきやすい点

よくあるつまずきは4つです。1つ目は、ページの構造が変わって新着が取れなくなることです。サイトのリニューアルで .news-list のような目印が変わると、取得件数が0になります。件数を表示して確認する行を入れておくと、異変に気づきやすくなります。

2つ目は、ログインが必要なページはこの方法では取れないことです。requestsは「素のアクセス」なので、認証が要るページは対象にできません。3つ目は、シートへの共有設定の忘れです。サービスアカウントへの共有を忘れると接続エラーになるので、初期設定の手順3を確認してください。

4つ目は、短い間隔で何度も実行してしまうことです。動作確認のつもりで繰り返し実行すると、相手サーバーからアクセスを制限される場合があります。確認のための実行でも間隔を意識し、テストは自分の管理サイトで行ってください。

【まとめ】

まとめ
まとめ

Webサイトの新着チェックは、「ページ取得→新着の取り出し→未記録分だけシートへ追加」という3段の流れで自動化できます。大事なのは、規約の確認とアクセス間隔という約束ごとを守り、自分の管理サイトや公開データの範囲で使うことです。

記録したデータがたまってきたら、次はその集計です。シートやCSVの集計を自動化する作例もあわせてどうぞ。

CSV・Excelの集計を自動化して月次レポート表を一発で作る仕組み

なお、「ここまでコードを書かずに済ませたい」という場合は、ノーコードでサービス同士をつなぐ方法もあります。対象や規模に合わせて選んでください。

ノーコードとは何か

なお、「自分で作るのではなく、業務の自動化そのものを相談したい」という場合は、作ってもらう選択肢もあります。

\ 業務の自動化やAI活用を、代わりに作ってほしい方はこちら /

コメント

タイトルとURLをコピーしました