Pythonでブラウザーを自動操縦してデータを収集したい

スクレイピング（Selenium、Firefox、自動ログイン）

クジラ飛行机

2022.06.29

全1141文字

今や大人気のスクリプト言語「Python」は、PC内の処理はもちろんインターネットやクラウドとの親和性も高いという特徴を持つ。Pythonを使ってExcelファイルの変換などPC内で完結する処理から、クラウドを活用した各種自動化処理まで便利なスクリプトの数々を紹介する。

　Pythonを使って任意のWebサイトからデータを取得するのは比較的簡単です。しかし、最近ではJavaScriptなどを利用して動的に画面を構成したりデータを取得したりすることによって構成されるWebサイトが増えています。このようなサイトからデータを取得するのは骨が折れる作業となります。そこで試したいのがWebブラウザーをPythonから操縦するフレームワーク「Selenium」です。Seleniumを使うとFirefox/Chromeといった主要なブラウザーをPythonなどのプログラミング言語から自動操縦できます。

　ここでは、Ubuntu上のFirefoxを操作し、会員制のWebサイトからデータファイルをダウンロードするスクリプト「autologin.py」を紹介します（図1）。まずはスクリプトに必要なライブラリをインストールしてください。