受巨大的商業(yè)利益驅(qū)動，爬蟲現(xiàn)象普遍存在于各行各業(yè)，如高科技與金融、旅游與酒店、數(shù)字媒體、電子商務(wù)、社交媒體等。其中，電商領(lǐng)域的爬蟲現(xiàn)象顯著高于其他行業(yè)。
善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利，有助于提升企業(yè)的網(wǎng)絡(luò)可見度和營收；中性的爬蟲則涉及了許多提供“爬蟲即服務(wù)”的公司，如Web scraping bots、BrightData等，它們旨在幫助用戶進行信息收集與聚合，從事市場調(diào)研、競品分析等非惡意活動，但這類工具也許會被不當(dāng)使用與濫用；有害的爬蟲也就是“壞爬蟲”，可能從事撞庫攻擊、庫存抓取等惡意行為，不僅威脅到用戶的賬戶安全，也會嚴重損害企業(yè)利益與安全。
撞庫攻擊：利用從暗網(wǎng)等非法渠道獲取的龐大用戶名和密碼列表，通過自動化程序嘗試登錄其他網(wǎng)站，以尋找可復(fù)用的憑證。一旦用戶賬戶被非法入侵，企業(yè)信譽和資產(chǎn)都可能受到波及。
“庫存抓取”機器人：專門緊盯新品或限量版商品，一旦發(fā)現(xiàn)便迅速搶購一空，再轉(zhuǎn)而在自己的平臺上高價銷售，不僅擾亂了市場秩序，也嚴重損害了企業(yè)的合法權(quán)益和利潤，更是對電商生態(tài)產(chǎn)生潛在威脅。
那么，在實際應(yīng)用中，不法分子是如何利用爬蟲技術(shù)從電商領(lǐng)域獲利的呢？鈦媒體App了解到，爬蟲玩轉(zhuǎn)了“全網(wǎng)最低價”策略，首先是廣泛搜集各銷售網(wǎng)站數(shù)據(jù)，包括產(chǎn)品價格、庫存等關(guān)鍵信息；通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺。基于這些信息，轉(zhuǎn)而在另一個平臺上開設(shè)自己的店鋪，以準新或全新未開封的產(chǎn)品進行轉(zhuǎn)售，利用價格優(yōu)勢實現(xiàn)盈利。甚至還可能利用腳本搶占庫存、購買促銷商品后轉(zhuǎn)售牟利，給電商生態(tài)帶來潛在威脅。
值得注意的是，隨著技術(shù)的進步，融入了AI和機器學(xué)習(xí)技術(shù)的爬蟲服務(wù)也日益智能化，它們能自動從多個數(shù)據(jù)源抓取內(nèi)容，通過預(yù)設(shè)的邏輯進行數(shù)據(jù)抽取與分析，這種一站式解決方案無疑是把雙刃劍。尤其對電商網(wǎng)站的所有者來說，爬蟲技術(shù)演進后，其隱蔽性越來越強，特別是采用“無頭瀏覽器”等技術(shù)的爬蟲已經(jīng)能模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識別與攔截。此外，不斷泛濫的爬蟲還會不斷變化，一次防御過后，下一次還可能會出現(xiàn)變種，這對企業(yè)構(gòu)成了巨大的挑戰(zhàn)。
點擊報名參與創(chuàng)新場景50的評選
Akamai北亞區(qū)技術(shù)總監(jiān)劉燁告訴鈦媒體App，面對日趨復(fù)雜的網(wǎng)絡(luò)爬蟲，企業(yè)的應(yīng)對策略應(yīng)分而治之，以確保好的爬蟲能夠正常訪問，而對壞的爬蟲進行處理。這就要求，首先要能夠識別爬蟲，其次，針對不同類型的爬蟲再采取相應(yīng)的應(yīng)對措施。
識別的核心，即如何分析行為并利用數(shù)據(jù)庫查看特征。具體來看有兩種方法：第一種方法是通過觀察足夠多的請求，建立一個大型數(shù)據(jù)庫，用于記錄并分析請求的特征。如果請求來自惡意爬蟲，則需要識別其來源和特征。第二種方法是判斷數(shù)據(jù)庫之外的請求是人還是爬蟲，需要分析其行為，以確定是否可能影響企業(yè)敏感信息或?qū)﹄娚叹W(wǎng)站造成不利影響。
針對識別出的壞爬蟲，下一步則是考慮采取什么樣的應(yīng)對方法。劉燁表示：“通常我們提到的應(yīng)對措施是針對其它產(chǎn)品，如應(yīng)用防火墻（WAF），其主要模式是‘報警’和‘阻止’。然而處理爬蟲時，通常不是簡單地阻攔或禁止，而是管理它們。一旦識別出爬蟲，即使是惡意爬蟲，也應(yīng)該采取不同的處理方式。”
處理爬蟲的方法可以有多種不同選擇。例如，可以選擇不禁止它，但不做任何響應(yīng)，讓它誤以為連接仍在進行；或者是給它提供虛假信息，例如在它抓取價格時返回給它一個虛假的價格；當(dāng)然也可以選擇直接禁止它。以上措施一般是根據(jù)實際情況進行動態(tài)調(diào)整。
具體到Akamai的做法，其提出了雙重應(yīng)對策略。首先，在邊緣網(wǎng)絡(luò)層面，利用預(yù)定義的訪問異常特征和協(xié)議指紋來快速識別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標移動軌跡、鍵盤敲擊模式）和設(shè)備指紋，結(jié)合機器學(xué)習(xí)模型，進一步細化識別精度，確保對潛在威脅的精準打擊。
同時，面對AI加持下不斷變化的爬蟲，企業(yè)和安全廠商也應(yīng)采取更多自動化策略。當(dāng)出現(xiàn)新的攻擊類型時，不需要人為干預(yù)，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。這是應(yīng)對快速變化的攻擊類型和產(chǎn)品演進的重要措施。
關(guān)于電商場景中可能遇到的爬蟲問題，包含三個具體例子，分別針對爬蟲識別、被動成本、“撞庫”威脅。
第一個例子是對電商網(wǎng)站高風(fēng)險爬蟲的識別管理。通過一周的監(jiān)測，Akamai判斷出某客戶電商網(wǎng)站的人類訪問、高風(fēng)險爬蟲、中風(fēng)險爬蟲、善意爬蟲類型，識別出使用高級腳本的惡意爬蟲比例高達97%，進行爬蟲管理后，這一比例降至不到1/3，有效禁掉了大部分高風(fēng)險爬蟲。
第二個案例是針對爬蟲帶來的被動成本威脅。當(dāng)企業(yè)短信接口被爬蟲觸發(fā)時，頻繁的短信發(fā)送導(dǎo)致了成本損失。通過爬蟲管理平臺能夠識別并處理這類爬蟲，從而降低費用損失。
第三個案例涉及“撞庫”類型的爬蟲。企業(yè)在日志中發(fā)現(xiàn)大量“訪問不成功”的信息，這則是明顯的撞庫請求。通過有效過濾來提升賬戶安全，確保業(yè)務(wù)安全。（本文首發(fā)鈦媒體APP 作者 | 賈雨微）
「關(guān)于創(chuàng)新場景50」
場景不是案例，它更加精準、也更加抽象。數(shù)字化就是創(chuàng)新場景的不斷疊加和迭代。
在此背景下，鈦媒體重磅推出「創(chuàng)新場景50」評選，每年遴選并解讀50個全行業(yè)與業(yè)務(wù)深度融合的創(chuàng)新性場景及其解決方案，并在鈦媒體年度ITValue Summit 數(shù)字價值年會上隆重頒獎、深度交流。
目前場景正在征集中，更精準的解讀、更廣泛的曝光、更強大的品牌勢能，歡迎你提出問題，更歡迎你留下解決的方法和工具。點擊這里投遞更多場景信息
點擊進入2024 ITValue Summit數(shù)字價值年會，了解更多信息。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論
想甄別真假爬蟲，真的很難啊
爬蟲技術(shù)隱秘性越來越強了。
這些網(wǎng)絡(luò)流氓真不好對付啊