史坦利Stanley程式Maker的部落格

我的需求及目標如下
(1)Python爬蟲程式環境及上傳程式
(2)在GCP執行Python爬蟲程式
(3)設定自動排程每日執行
 

使用爬蟲程式注意事項

1. 進行網絡抓取時請仔細閱讀數據合法使用聲明。通常情況下，您抓取的數據不能商用。
2. 您的程序不要過於頻繁的向網站發出數據請求（也被稱為垃圾請求），這種做法可能會使網站列為黑名
    單。 所以對一個網站每數秒後才進行一次數據更新是比較好的做法，我們要使程式的行為與人類的行為相
    似。
3. 網站佈局時間會變化，所以要時常重新訪問網站，如果需要的話，先檢查網站更新時間。

(1)Python爬蟲程式環境及上傳程式
      sudo pip install BeautifulSoup4
       用pip list 確定版本及套件

(2)  上傳python 程式, py 格式要用UFT-8

(3) 撰寫擷取 yahoo 頭條新聞簡單程式

import requests
from bs4 import BeautifulSoup

# 下載 Yahoo 首頁內容
r = requests.get('https://tw.yahoo.com/')

# 確認是否下載成功
if r.status_code == requests.codes.ok:
  # 以 BeautifulSoup 解析 HTML 程式碼
  soup = BeautifulSoup(r.text, 'html.parser')

  # 以 CSS 的 class 抓出各類頭條新聞
  stories = soup.find_all('a', class_='story-title')
  for s in stories:
    # 新聞標題
    print("標題：" + s.text)
    # 新聞網址
    print("網址：" + s.get('href'))

(4) 程式結果:

(5)在GCP上設定Crontab自動排程Python程式

• 輸入crontab -l 可以查看目前有在GCP排程的程式
• 輸入crontab -r 可以刪除所有在GCP排程的程式
• 輸入crontab -e 可以編輯目前正在GCP上排程的P程式