第279章 未雨綢繆

　　“嗯…其實我們還缺一塊，需要有自己的媒體，另外游戲社區的建設也要加速，保證能跟上我們的步伐。

　　…幾位如果有認識的人才，歡迎推薦，推薦成功獎勵還是不少的，哈…”

　　內部推薦獎勵是個很常見的事情，各大互聯網公司基本都有一套獎勵機制。

　　陸道升笑并不是嘉盛的機制有什么特殊，而是笑目前拿到這個獎勵最多的人居然是自己的舅舅張瑞安。

　　一次閑聊天時，陸道升跟張瑞安吐苦水說人才難招，自己老早弄了一個游戲網站，為了做起來還準備了些翻譯的資料以及用hao123進行引流，但是一直未見起色。

　　反思其原因，和自己精力實在是被牽扯太多，沒工夫管關系很大，再一個就是自己沒有那種恨不得泡在游戲里或是熱愛刷論壇的狀態，GET不到用戶真正的點。

　　網游網站做得不成功，作為重生者居然沒有攻無不克戰無不勝，失落多少是有一些的。

　　不過說完也就說完了，陸道升成年人一個，吐槽也就排解一下郁悶。

　　但是言者無心聽者有意，張瑞安回去自己琢磨了一下，覺得陸道升是頭疼找不到癡迷游戲的又喜歡泡論壇的人。

　　這樣的人在網吧里容易發現…而張瑞安恰巧還是遍及全國的星海潮網吧的老板…

　　很快嘉盛就有了合適的進行游戲論壇運營的人才，游戲網站在經過幾次改版升級后，獲得了新生。

　　嗯…升總之游戲論壇搞出聲色來還是值得開心的，沒能復刻眾多重生中言出法隨心想事成的激爽劇情，陸道升假裝自己一點都不失落。

　　不過雖然撿了便宜，陸道升還是勸張瑞安盡早出手星海潮網吧。

　　網吧現在確實日進斗金而且還沒發新批到網吧證，香得不行，但是陸道升還是覺得現在賣了去市中心換成房子鋪面更省心省力。

　　“傳媒這塊吧，我也沒有很好的想法，不太清楚該怎么做。

　　嗯…其實可以去問問林筱笑的導師，看看能不能從浦外的新聞系那里找人才…之前沒想到…”

　　停下思考了一會兒，陸道升想到了另一個事情。

　　“對了，說道傳媒我想到另外一個事兒，反爬蟲。

　　今后做了內容發布到網上肯定會被搜索引擎爬取嘛，我們需要未雨綢繆，提前進行反爬蟲技術的研發。

　　琦哥，這事兒交給你了。”

　　話說谷歌在國內已經沒有幾天好蹦跶了，今后嘉盛在國內面對的搜索引擎除了自家的尋知，就剩下百度，未來可能會有360搜索引擎，如果自己沒來得及徹底剿滅周教主的話。

　　不論是引擎還是360搜素引擎，在陸道升看來都不是什么好鳥，提前防范一下很有必要。

　　要提供搜索引擎服務，需要解決數據的搜集和數據的組織兩個大問題。

　　其中數據的搜集即指的是使用爬蟲來對互聯網網站內容進行爬取，搜集到自家的后臺中。

　　數據的組織即如何將爬取下的海量數據進行處理，以使得用戶能通過搜索快速獲得高相關性的結果。

　　陸道升要提前做好針對準備的就是百度的數據搜集過程，即通過反爬蟲機制來限制百度對嘉盛旗下網站的內容爬取。

　　這并不是對百度的進攻性策略，而是一種自保的防御手段。

　　前世曾爆出國內某搜索引擎大量采用快照的形式來承接用戶的跳轉，大量屏蔽了用戶對原網站的訪問的事件。

　　快照本來是搜索引擎為了應對一些網絡連接或是網站失效等問題，將網站內容緩存在搜索引擎服務器上提供給用戶，以保障用戶搜索體驗的方式。

　　但是刻意的濫用，就會變成對原網站的剝削吸血，用了你的內容還不給你流量，把流量帶來的各類收益（例如業務推廣、收入等）全部攔截。

　　也許有人會問，那既然這樣，能不能就不讓搜索引擎爬取網站內容，這樣就沒有快照，用戶也只能來到網站進行訪問。

　　這么干不是不行，可以采取robots協議實現。

　　簡單來說，在搜索行業里存在一種robots協議，按照協議規范在網站的目錄下部署xt文件，告知搜索引擎的爬蟲哪些內容不應被爬取。

　　即便有robots協議，爬蟲還是可以爬取網站內容，但是搜索引擎服務卻不能將爬取到的內容進行展現，否則就可以直接去法院把搜索引擎公司告得灰頭土臉。

　　但由于在PC互聯網時代的中后期，搜索引擎就是最大的互聯網流量入口，擁有互聯網上最強大的話語權。

　　中小網站如果拒絕搜索引擎的爬取，其實和自絕于互聯網沒啥兩樣。

　　如果網站的擁有者還希望網站能被人們訪問到的話，就只能乖乖接受搜索引擎的爬取，并祈禱搜索引擎公司足夠講道理，不過分使用快照等方式進行截流。

　　其實robots協議里存在白名單的機制，看上去嘉盛可以只允許自家的搜索引的爬蟲進行爬取，拒絕其他搜索引擎的爬蟲。

　　但實際上這一點也是行不通的。

　　前世為了打擊360，百度就曾使用robots協議白名單，禁止360抓取百度百科、百度貼吧和百度知道的內容，而谷歌、Bing、搜狗和搜搜等搜索引擎還可以自由抓取。

　　360認為百度對robots協議的使用具有歧視性而拒絕遵守，百度也因此起訴360不遵守robots協議。

　　本來robots協議作為行業通用守則，雖然不具備明確的法律效力，但是依然非常具有參考價值，百度覺得贏面很大。

　　但雙方對簿公堂后，由于百度難以“證明競爭對手的行為具有不正當性”，無法采取針對性限制360爬蟲措施的正當性，所以最終沒能借助法律手段達到阻攔360的目的。

　　2014年8月7日法院對百度訴360案做出的一審判決：回百度有關不正當競爭的訴求，判定其必須修改爬蟲協議。

　　同時，法院認為360強制采用網頁快照，已經超出網頁快照的合理范圍，違反了反不正當競爭法，因而判決向百度賠償70萬元。

　　陸道升知道采用robots協議白名單的方式最終不會有效果，也沒有興趣辛苦嘉盛的法務部累死累活就弄個70萬的賠償回來，比起流量損失真不夠塞牙的。

　　還是直接采取反爬蟲機制來從根子上保護自家的內容比較靠譜。

　　至于說反爬蟲機制會不會影響自家搜索引擎的爬取，嘿嘿。

　　說完反爬蟲后又講了一會兒，陸道升完成了對主要想法的說明，坐下喝了口水潤了潤喉嚨。

　　“呼…”

　　“我今天就說這些吧，下面誰還有事情想說的？”

　　一直以來高層會議發言最少的張小龍居然率先開口了。

　　“道升，我有個事想討論一下…”