- 1. 概要
- 2. 参考サイト
1. 概要
ウェブスクレイピングで「BeautifulSoup」を知ったので、調子にのって、リンクチェックをやってみようという寸法です。
一度は、断念して「Ruby」で作成したのですが、もう一度挑戦してみようと思った次第です。
2. 参考サイト
「urllib.request.urlopen」のタイムアウトや「User-Agent」がないとエラーになる件に関して・・・。
「urllib で url から画像ダウンロードするときにタイムアウトを設定する」
「BeautifulSoup」に関して
「10分で理解する Beautiful Soup」
いきなり、「SSL」エラーとなったので解消するために。
「SSL 証明書が正しくないサイトに対して Python でアクセスする」（2025年2月13日、リンク切れになりました）
例外処理に関して。
「python - pythonですべての例外をキャッチし、詳細を表示させたい。 - スタック・オーバーフロー」
「Python のソースファイルの行番号を取得したい - 私の私による私のための記録」
「urllib2 で timeout を捕まえる — そこはかとなく書くよん。」
ログのファイル出力
「[python] print()でデータをファイルに書き込む - Qiita」
|
|
