首頁產業互聯網正文【幹貨】爬蟲兇猛：爬支付寶、爬微信、竊取現金貸放貸數據2017-11-13 06:35· 微信公眾號： 一本財經 戈森 “不管是網站還是APP，隻要有賬號密碼就可以爬，連央行的征信報告都能爬”，某數據負責人聲稱，“技術好，就沒有爬不到的數據”。 從今年開始，爬蟲行業競爭越發激烈。
一些公司開發出“骨骼清奇”的爬蟲產品，開始搶奪市場。
最近，現金貸行業出現一種“同業爬蟲”產品，可以直接將其他現金貸平臺的放款額和風控數據爬出來。
“別人放多少，我就放多少，自己都不用做風控瞭”，某產品使用者稱，這一“風控奇招”在圈內開始悄然盛行。
大數據行業激烈競爭，爬蟲在其中越發勢力微薄，他們隻能靠這些劍走偏鋒的產品突圍瞭嗎？
爬蟲兇猛
“同業爬蟲？！”
第一次聽到這個詞，王浩一臉懵逼。
兩個月前，王浩的公司轉型現金貸，他在市面上四處尋找風控系統和數據源，此時，摩羯科技的商務人員，給他推薦瞭這個最新的“爬蟲產品”。
“對方說，這是一款特別討巧的產品，用瞭之後，你基本可以不用其他風控”，當王浩明白其背後的邏輯後，“不得不服”。
如何檢驗借款人是桃園靜電機出租一個好用戶？
最簡單的辦法，就是看這個用戶在其他現金貸平臺上的授信額度，“別人放款多少，我就放款多少”。
王浩稱，這就相當於別的現金貸平臺，幫你做瞭風控。
同業爬蟲是一款專門爬取現金貸數據的產品，隻需要你提供其他現金貸平臺的用戶名和密碼，就可以爬取用戶的所有信息。
“這個產品，最早是我們給玖富定制的，他們使用瞭一年，爬過100多傢同業的數據”，摩羯科技的商務人員稱，後來發現產品運行不錯，所以決定變成產品大規模推廣。
△ 可爬取數據的現金貸平臺，目前產品介紹上顯示為95傢
具體怎麼做到的？
摩羯科技的商務人員，用爬取某個現金貸平臺舉例：
而返回的結果，主要是以下信息：
如果條件允許，甚至會有更為細致的數據維度：
“也就是說，你在其他現金貸平臺註冊填寫的所有信息，都可能被爬出來”，王浩稱。
“隻需用戶授權賬號和密碼，成功率在85%以上”，魔蠍科技的商務對一本財經稱。
而產品說明中，同業爬蟲的優勢被描述得極為誘人：相對於電商、社交等弱數據而言，同業數據本身屬於金融范疇，最能反映個人近期的征信信息。
在沒有足夠能力做大數據風控的情況下，同業爬蟲可借鑒多平臺的風控經驗。
“這個方式太野蠻瞭，直接把別人傢的風控成果竊取”，王浩稱，這和信用卡“以卡辦卡”的道理很像，如果你有別的信用卡，我就給你發卡，“但是這個方式直接把同業數據全部掠奪，粗獷多瞭”。
產品一出現，不少準備做現金貸的平臺就蜂擁而至。
在人人都做現金貸的時代，這個“劍走偏鋒”的技術，確實省去風控環節，讓項目得以快速上線。
而更多有趣的爬蟲產品，在不斷推向市場。
大傢都知道支付寶的數據“金貴”，市面上開始出現一些專門爬取支付寶數據的產品。
摩羯科技的支付寶爬蟲產品操作極為簡單，隻需要用支付寶掃描一下登錄“二維碼”，就可登錄。
而後臺的爬取結果無比細致：支付寶用戶的真實姓名、手機號、收貨地址、近一年的購物信息，甚至詳細到每筆交易的金額。
“這個產品挺可怕的，我和商務在測試這個產品時，中間去小賣部買瞭包煙，回來就發現爬取瞭這次交易”，某業內人士稱。
爬蟲產品遠遠不止這些。
某大數據公司的業務員稱，公司最近開發瞭新項目，可爬取旅行網站、外賣平臺、地圖、共享單車等平臺的個人信息，甚至可以定制化抓取，“拿到第一手鮮活原始數據”。
爬蟲越發兇猛，而其背後的原因，要從爬蟲行業的生產現狀說起……
光明與黑暗
爬蟲技術也並不神秘，無非分為三步：“爬”上網頁、“鏟”下數據，進行加工清洗。
爬蟲有光明的一面。
類似百度谷歌這樣的搜索引擎，其核心邏輯，也是爬蟲——爬到用戶要的關鍵詞，再展現搜索結果。
“讓有價值的東西，更好地呈現，這是爬蟲最大的功勞”，一爬蟲公司的聯合創始人金苑稱。
爬蟲也有黑暗的一面。
大數據時代，爬蟲成為低成本獲取數據的捷徑，經常淪為“黑暗武器”。
2014年，互聯網創業高潮中，爬蟲技術迎來瞭一次小爆發。
“爬蟲生態鏈裡有這麼一類公司，專門替人爬蟲，增加APP的虛擬訪問量”，金苑稱，1萬瀏覽量，報價10元。
“很多公司去競爭對手網站或APP上爬數據，然後拿過來自己用”，金苑稱。
在2016年，有媒體曝出，大眾點評網起訴百度，稱百度未經許可，使用爬蟲技術從“大眾點評網”上大量獲取用戶點評信息，用於自傢的百度地圖及百度知道產品。
最終一審判決，要求百度停止不正當競爭行為，並賠償323萬。
光明與黑暗的交集中，爬蟲行業在台北靜電機租賃2016年，才迎來瞭真正爆發。
2016年，現金貸行業成為爬蟲產品的最大買傢。
爬蟲公司為其提供五花八門的服務：例如爬取淘寶、社交網絡、網上銀行等。
“不管是網站還是APP，隻要有賬號密碼就可以爬，連央行的征信報告都能爬”，某數據負責人聲稱，“技術好，就沒有爬不到的數據”。
這其中最火的產品，是通話記錄（運營商數據）爬取。
在這一波浪潮中，崛起瞭眾多爬蟲公司，其中做得最大的是“聚信立”。
“爬取通訊錄，主要是用於用戶失聯後，可以找他們的親朋好友催款”，某平臺的風控負責人平元鑫稱，但通訊錄的偽造成本較低，“將聯系人改一個號碼就行”，有時候可能會失效。
而通話記錄的數據，則可靠得多。
而爬取方式也很簡單，隻要用戶提供手機號碼和服務碼，就可登陸各大運營商的系統爬取。
聚信立爬取數據後，提供給客戶的“個人用戶報告”極為細致：包括通話號碼、次數、時長等信息。
“聚信立爬取一次的價格，是1到3塊，但也成瞭現金貸公司的標配，聚信立賺瞭很多錢”，平元鑫稱。
“你就算吧，每放款一個用戶，就得支付聚信立1到3元，如果用戶去其他平臺借款，還要再收一次”，平元鑫認為，聚信立成瞭現金貸時代的最大贏傢之一。
某種程度上，爬蟲技術撐起瞭現金貸的黃金時代，為其提供大量的風控養料。
但爬蟲行業的好日子，並沒有持續太長時間。
在聚信立的領頭下，大量的公司開始湧進——市場熱鬧起來。
“成立的公司越來越多，但大部分都是代理商，真正有爬蟲技術的，也就30多傢”，金苑稱。
為瞭搶奪用戶，行業開始打價格戰，甚至免費。
“比如，融360和富數，都是你買他傢產品，可能會免費附贈爬蟲服務”，金苑稱，很多公司卯足瞭勁，開始追趕聚信立，搶奪客戶。
爬蟲產品同質化嚴重，客戶挑選的標準，自然變成“誰傢便宜用誰”。
突然間，一門好生意，變得掙錢都難瞭，爬蟲行業陷入艱難存活的旋渦中。
“盡管爬蟲沒有門檻，找幾個技術就可以幹，卻是一個臟活累活”，從事爬蟲工程師三年的韓蘇稱，幾乎每天，爬蟲和反爬之間都在戰鬥。
每天早上一坐到公司，打開電腦，韓蘇就知道，今天的戰爭開始瞭。
“誰都不想把自己的數據免費貢獻出來，為瞭反爬，他們也會動用一切手段”，韓蘇稱。
比如，對於單一IP和設備頻繁登錄，直接封掉；網站調整為動態的，隻有正常用戶行為，才能調取數據等等。
“比如以前一個移動商城隻要一個短信驗證碼，後來升級瞭，驗證碼又加瞭一個，我們就得重新寫爬蟲代碼”，韓蘇稱。
在爬蟲公司，後臺會有一套監控系統，可以實時看成功失敗的比例。
而韓蘇需要每個小時去查看一次，一旦失敗率上升，就要馬上找到原因，並處理。
近來機器學習、canvas指紋等新技術，也被頻繁用到反爬軟件裡，爬取難度越來越大，數據越來越不穩定。
“爬蟲開始變成一個重運營、重技術的活”，韓蘇稱，數據穩定性，成為爬蟲公司最大的宣傳點。
“前有伏兵（反爬），後有追兵”，韓蘇如此形容夾縫中的爬蟲行業。
未來之路台中靜電油煙處理機出租
今年6月1日，《網絡安全法》開始實施，無比嚴苛：
未經授權爬取用戶手機通訊錄超過50條記錄，公司法人最高可獲刑3年；
未經授權讀取用戶公積金社保記錄的超過5萬條的，公司法人最高可獲刑7年。
整個大數據行業面臨生死劫，上萬數據接口關停，大量數據源被生生切斷，行業90%的公司面臨淘汰。
而有意思的是，在這輪清洗中，爬蟲技術卻成瞭最後的救命稻草。
“安全法規定，獲取用戶的數據，必須授權，而爬蟲就打瞭一個擦邊球”，某大數據公司的CEO稱。
“爬蟲需要用戶授權用戶名和密碼，隻是大部分用戶不知道，爬取的數據如此具體，將他所有數據翻遍”，該CEO稱。
但激烈競爭依然存在，爬蟲行業未來的命運又將如何？
很多爬蟲公司為瞭存活，各種產品開始出現，如同業爬蟲、支付寶爬蟲、而摩羯科技的最新產品，是爬微信。
但多位業內人士稱，這樣的競爭方式，不是“康莊大道”，而是“羊腸小道”。
業內人士稱，現金貸早期，客戶資質都比較好，後期騙貸和欺詐的都來瞭，隻靠簡單的爬蟲技術，很難擋住他們。
“爬蟲公司要提供更多價值，比如，給對方的風控產品，定制化數據，或者自己也可以建立風控模型”，金苑稱。
已有幾傢頭部公司開始瞭轉型的嘗試，一傢爬蟲公司正準備將所有數據整合，做一整套的現金貸風控解決方案。
而老大哥“聚信立”，也有這方面的嘗試。
“現在最關鍵的能力，不是建模能力，而是整合和清洗能力”，聚信立的CEO羅皓對一本財經稱，因為數據維度越來越多，電商、支付等信息，可能都關系到“還款能力”，需要整合起來。
但這條路，也不是很好走，因為很多大數據公司和風控產品公司，都在這塊領域搶肉吃，爬蟲公司又如何和他們競爭？
部分從業者對於爬蟲技術的未來命運不太樂觀，在大數據行業，沒有獨傢數據源的公司，都難以存活，何況沒什麼門檻的爬蟲技術？
“孤立無支的爬蟲技術，競爭力越發微弱。被收購，成為大數據公司或者大公司的一個爬蟲部門，也許也是一條出路”，金苑稱。
“存在即是合理”，也有部分從業者比較樂觀，現金貸的黃金時代，他們永不會缺業務。
在大數據的涅槃重生時代，爬蟲行業也到瞭一個關鍵節點。
是深耕行業，還是劍走偏鋒，他們可能會走向兩條截然不同的路。
（應受訪者要求，本文部分人名為化名）
【本文為合作媒體授權投資界轉載，文章版權歸原作者及原出處所有。文章系作者個人觀點，不代表投資界立場，轉載請聯系原作者及原出處獲得授權。有任何疑問都請聯系（editor@zero2ipo.com.cn）】
分享長微博分享到微信
現金貸支付寶大數據爬蟲分享相關閱讀直擊新三板VC/PE天使巨頭生死獨角獸大數據“奧斯卡”盛宴來襲，親赴十年之約2017/11/09CCF大數據區塊鏈大數據雲服務
企業小數據加平臺大數據，看蘭蔻雙十一快閃店如何圈粉2017/11/08蘭蔻快閃店銀泰雙十一
還有什麼地方不能用支付寶？答案你可能想不到2017/11/05支付寶天貓雙11螞蟻金服馬雲
AUGI SPORTS｜重機車靴｜重機車靴推薦｜重機專用車靴｜重機防摔鞋｜重機防摔鞋推薦｜重機防摔鞋
AUGI SPORTS｜augisports｜racing boots｜urban boots｜motorcycle boots
文章標籤
全站熱搜
留言列表
