投資、科技、旅遊


蒐集網頁資料通過驗證的「工人智慧」

搜集資料是資料分析的基礎

資料科學是將大量資料經過電腦演算法的運算,結合統計、電腦科學技術,產生有用的預測跟洞察趨勢的科學。最近在學習Python,其中一個很重要的原因是希望運用資料科學幫助投資,甚至於開發量化交易程式,然而「大量資料」的產生在無法自動化時,是費時費力的工作。

資料科學是透過計算、統計、視覺化呈現以洞察資料價值的科學,資料來源:Harvard CS109

蒐集資料是資料分析、處理的基礎,例如Tesla的無人駕駛,除了採用全球算力排名第五的超級電腦外,透過實際在道路上行駛的百萬輛汽車,傳回來1.5 PB (peta bytes)的影像資料,經過自動標註 (labeling) 後訓練深度學習模型、開發自動駕駛功能。

一般應用是不可能在短時間內產生大量的資料,網際網路就成為最佳的資料來源,透過蒐集分析網路上的大量資料就是網路爬蟲 (web crawling) 的由來。

閱讀重點:

  • 蒐集大量資料是資料科學的基礎
  • 網路爬蟲是自動化蒐集網路資料的技術
  • CAPTCHA驗證是區分人與電腦的圖靈測試,目的在阻止惡意網路攻擊
  • 2captcha以大量「人工」提供準確、快速、低成本的CAPTCHA線上驗證服務,協助自動化資料蒐集

網路爬蟲 (web crawling) 就是搜集網路資料的技術,透過程式自動擷取、解析網頁上的資訊,整理成結構化的檔案格式,方便後續的數據分析,要成為「資料科學家」要先學會搜集資料,「網路爬蟲」便成為必要的能力。

在金融投資領域,網路爬蟲可以實現諸多不同的用途,例如:

  • 定期搜尋商品價格,當降價時即時通知
  • 從股票資訊網站獲取股價、財報、成交量等資料,追蹤、預測股價走勢
  • 定時自動下載財金網站新聞標題、內容,分析的出優質的財經資訊,快速掌握最新市場資訊

網路爬蟲與網頁抓取 Web Crawling & Web Scraping

網路爬蟲包含了兩個分類,分別是「網路爬蟲 web crawler」和「網頁抓取 web scraper」。

網路爬蟲(web crawling)主要是為建立網頁索引並蒐索內容,像是Google的搜索引擎,透過網路爬蟲將抓到的資料儲存下來,以便生成索引供用戶搜尋

網頁抓取(web scraping)是從特定網頁抓取部分內容,將資料存儲至檔案或資料庫,以供其它分析的用途,因此一般我們提到的網路爬蟲其實指的是網頁抓取(web scraping)喔。


網頁爬蟲CAPTCHA驗證

網路爬蟲流程

網路爬蟲的流程依序為:請求網頁內容、抓取所需資料、分析與儲存整理過的資料,請求網頁內容部分通常是最容易遇到驗證不是機器人的情況。

網路爬蟲 / 網頁抓取流程,資料來源:data-ox.com

請求網頁內容驗證CAPTCHA

網路爬蟲進行的第一步是向目標網站請求特定網址(URL)的內容,白話文來說就是在瀏覽器(如:Chrome)的網址列輸入文字,按下Enter鍵。

然而抓取網頁資料經常會遇到驗證程序,例如台灣高鐵的網路訂票系統,需要輸入扭曲的字元


台灣證券交易所的會員登入,就需要用點選方式驗證不是機器人


或者多次資料抓取後,需要進一步的以圖片進行驗證


也有像銀行需要輸入驗證數字的類型,來避免受到網路攻擊

兆豐銀行登入畫面

這些驗證程序稱為 CAPTCHACompletely Automated Public Turing test to tell Computers and Humans) 是自動區分人類和電腦的圖靈測試,也有像Google的reCAPTCHA,透過大量人類輸入驗證碼的過程,幫助經過掃描下來的典籍完成數位化,例如《紐約時報》的數位化,更甚者是同時協助訓練 AI 影像辨識模型。


網路爬蟲是否合法?

基本上網路爬蟲和網頁抓取並不違法,其實 Google 上搜尋的資料也是 Google 透過網路爬蟲搜集來的,但是否違法還是取決於抓取方式、資料的使用,若過度爬蟲造成對方伺服器很大的負擔,或搭配了駭客技術攻擊網站,還是可能違法。

Python的網路爬蟲工具

Python其實是非常適合網路爬蟲的程式語言,爬蟲的原理其實是模擬人類操作瀏覽器的行為,而Python有很完善的套件讓整個工作能夠有效簡化。

BeautifulSoup: 解析網頁的套件,說明文件在此 https://reurl.cc/YOkL8O

Selenium: 抓取由Javascript產生的動態網頁內容,中文介紹文件在此 https://reurl.cc/Q9V0e0

但是面對各種不同驗證的要求上,還需要有對應的解決方案。


網頁自動驗證方案

CAPTCHA的驗證的主要目的在於防範惡意的大量自動化網路攻擊程式,例如垃圾訊息、賭博、詐騙、竊取用戶資料等問題。CAPTCHA本身也是自動化作業,設計在網站的特定位置彈出,對於合理的資料搜集也造成一定的阻礙,因此自動通過驗證的服務商也就因應而生。

OCR 光學字元辨識

例如透過開源的 OpenCV 進行影像處理、文字辨識,但僅適合文字、數字等簡單的驗證方式,正確率也不是很高,根據 towardsdatascience.com 的資料準確率大約只有1/3。

Machine Learning 深度學習

需要建立 AI 神經網路模型,透過足夠的資料訓練、足夠強大的電腦,針對「特定的驗證圖案」可以得到還不錯的結果,例如這篇 PyTorch實戰 - 高鐵驗證碼辨識。但網路爬蟲還需要自建、訓練 AI 模型,還侷限在特定圖案應用,有點不太實際。

Online Solving Service 在線人工服務

既然「人工智慧」需要的資源所費不貲,那麼在線的「工人智慧」對各種不同CAPTCHA驗證,能夠提供真實人類的高準確率驗證服務,當程式送出驗證需求時透過服務商的伺服器,由真人進行驗證後將結果回傳,根據 towardsdatascience.com 提供高達99%的準確率,而2captcha.com就是其中的領導廠商。


2captcha.com的online服務

2captcha提供強大的Captcha辨識服務,在首頁左側是Captcha的驗證服務,每1,000次驗證 USD0.5,右側則是加入真人驗證輸入識別碼賺錢。

是的,2captcha高達 99%的準確率,就是使用了真人來進行驗證,接近 10秒的驗證速度也是因為擁有充沛超過 7萬個網路大軍替客戶服務!網路上也有不少介紹加入2captcha進行驗證碼輸入來賺錢的文章。


2captcha.com首頁的服務介紹

服務優點

根據towardsdatascience的分析,2captcha.com服務的優點有

  • 速度快,圖案、文字類的Captcha驗證僅需 17秒,較複雜的reCaptcha大約 23秒(根據2captcha.com的最新數據,Captcha為 11秒、reCaptcha為 20秒)
  • 高達 99% 的準確率
  • 驗證錯誤時可以得到退款
  • 大量驗證能力,每分鐘可超過10,000個captcha的驗證
  • 支持多種不同程式語言
2captcha.com 驗證速度,資料來源:2captcha.com網站

運作方式

實際操作2captcha通過驗證的運作方式很簡單:註冊、安裝API、傳送CAPTCHA、接收回傳訊息,API支援多種主流程式語言 python、php、javascript、GO、Ruby ...


首先透過email進行註冊


驗證完email後登入的畫面是個資訊豐富的dashboard看板


安裝 API 套件

看板頁面靠中間位置的Account settings處有API Key,安裝 API 時需要使用,可以點選右上角的 Copy 複製下來


註冊後安裝 API

 pip3 install 2captcha-python 

填入前面取得的 API Key

from twocaptcha import TwoCaptcha
solver = TwoCaptcha('YOUR_API_KEY') 

2captcha.com的實際範例

2chaptcha.com網站上有詳細的介紹,在Python程式中使用其服務 https://2captcha.com/demo,下面舉兩個範例介紹:

一般Captcha的文字驗證


程序上是 1. 下載影像檔案; 2. 透過2Captcha API傳送影像; 3.  將回傳的代碼填入; 4. 傳送驗證結果

import sys
import os

sys.path.append(os.path.dirname(os.path.dirname(os.path.realpath(__file__))))

from twocaptcha import TwoCaptcha

api_key = os.getenv('APIKEY_2CAPTCHA', 'YOUR_API_KEY')

solver = TwoCaptcha(api_key)

try:
    result = solver.normal('path/to/captcha.jpg')

except Exception as e:
    sys.exit(e)

else:
    sys.exit('solved: ' + str(result))

reCaptcha V2 的「我不是機器人」驗證

先利用瀏覽器例如Chrome的開發人員選項,檢視原始碼功能性,開啟網頁的程式碼,找到 data-sitekey 屬性

<div class="g-recaptcha" data-sitekey="6LeIxboZAAAAAFQy7d8GPzgRZu2bV0GwKS8ue_cH" id="recaptcha"></div>

sitekeyurl 兩個資料填入 2Captcha API:

import sys
import os

sys.path.append(os.path.dirname(os.path.dirname(os.path.realpath(__file__))))

from twocaptcha import TwoCaptcha

api_key = os.getenv('APIKEY_2CAPTCHA', 'YOUR_API_KEY')

solver = TwoCaptcha(api_key)

try:
    result = solver.recaptcha(
        sitekey='6LeIxboZAAAAAFQy7d8GPzgRZu2bV0GwKS8ue_cH',
        url='https://xxx.com')

except Exception as e:
    sys.exit(e)

else:
    sys.exit('solved: ' + str(result))

等待系統回傳類似下方的驗證碼:

"03AGdBq27lvCYmKkaqDdxWLfMe3ovADGfGlSyiR-fN_EJrZGniTAmdH1XSjK8ralsctfjOLX2K0T7dJfxPqqga8dtSG2Lmns8Gk2ckcU6PQzUFieBqrtpkr5PPwnngew0Rnot2ik1y8m202u6pHTIquExlEYSlzS8vfoyPPt8fCf-Zrbu8vWkiY8Ogj17ommHMgkguZbmEyOdfLTXzhRko-a655_jJdCMjEtMxva-b78DnGlXu9d0o6vEmrw9n8ABu4lLsWnIbYPH0beXRRIkUE3si64Xhwkh1aO3L1HaIR3sfR0vOs3GV1OBzry_tFsZM0ZhSQovKJwjLlotrYajyTSRv3hgvXtLlLxXzbAwgeI91-wM7AFEte0uO_DhcNajxZr7E50wU9vuAe_drGWe4q-hNx4PQPenjaw"

在網站程式碼中,找到 textarea with id="g-recaptcha-response",填入收到的驗證碼,再回傳網頁的驗證就可以通過了。


費用

2captcha.com網站上清楚的列出了收費標準,1,000次一般的 captcha驗證為 $0.76,1,000次的 reCaptcha則為 $2.99,相對於99%的準確率,收費算是合理。


結語

網路爬蟲是搜集資料的利器,也是以資料科學進行大量資料分析、洞察有用資訊的重要手段,利用2captcha提供的API,能快速、準確的通過驗證,完成蒐集資料的前置作業。

2captcha的人工驗證服務雖然需要收費,但也能防止網路資訊被濫用,對有實際爬蟲需求的程式設計師而言,能更專注於資料的分析與處理。



本文由 2captcha.com 贊助撰寫,如有業務合作事宜請emailFacebook私訊聯繫。

0 comments