在這個科技高度發(fā)達的時代，百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度，到處充斥著一些重復的內容，對用戶的訪問造成很大的困擾。因此，百度需要對網(wǎng)頁重復進行判斷，對重復的網(wǎng)頁，只選取一些高質量的我那工業(yè)，共用戶瀏覽。然而，現(xiàn)有技術中一般是通過比較兩個頁面的內容和借點，來確認兩個頁面的相似度。

　　這種方法能夠計算的比較準確，可時間復雜度太高，計算很費時間。通過對一個頁面中的某些重要信息進行簽名，然后比較兩個頁面的簽名，來計算相似度，這種方式比較簡單高效，計算速度比較快，比較適合百度這種海量信息的應用場景。

　　1，網(wǎng)站重復內容的判斷

　　A，獲取多個網(wǎng)頁;

　　B，分別提取網(wǎng)頁的網(wǎng)頁正文;

　　C，從網(wǎng)頁正文中提取一個或多個句子，并根據(jù)一個或多個句子計算網(wǎng)頁正文句子簽名;

　　D，根據(jù)網(wǎng)頁正文句子簽名對多個網(wǎng)頁進行聚類;

　　E，針對每一類下的網(wǎng)頁，計算網(wǎng)頁的附加簽名;

　　F，根據(jù)附加簽名判斷每一類下的網(wǎng)頁是否重復。

 

網(wǎng)站頁面基本架構

　　提取正文

　　A，對網(wǎng)頁進行分塊;

　　B，對分塊后的網(wǎng)頁進行塊過濾，以獲取包含網(wǎng)頁正文的內容快;

　　C，從內容塊中提取網(wǎng)頁正文。

　　正文分句

　　A，對網(wǎng)頁正文進行分句;

　　在本步驟中，可利用分號，句號，感嘆號等表示句子完結的標志符號來對網(wǎng)頁正文進行分句。此外，還可以通過網(wǎng)頁正文的視覺信息來對網(wǎng)頁正文進行分句。

　　B，對分句后的網(wǎng)頁正文進行過濾及轉換;

　　在步驟中，先過濾掉句子中的數(shù)字信息;版權信息以及其他對網(wǎng)頁重復判斷不起決定性作用的信息。隨后，對句子進行轉換，例如，進行全角/半角轉換或者繁體/簡體轉換，以使得轉換后的句子的格式統(tǒng)一。

　　C，從過濾及轉換后的網(wǎng)頁正文中提取長的一個或多個句子;

　　在本步驟中，過濾及轉換后的網(wǎng)頁正文提取出長的一個句子或者做場的預定數(shù)量連續(xù)句子的組合。例如，某個網(wǎng)頁實例中，經(jīng)過過濾及轉換后的某段長，遠超其他句子，因此可選擇該段為網(wǎng)頁正文句子，或者選擇長的連續(xù)句子組合作為網(wǎng)頁正文句子。

　　D，對一個或多個句子進行hash簽名運算，以獲取網(wǎng)頁正文句子簽名。

　　simhash算法就是比較各網(wǎng)頁的附加簽名是否相同或相似來判斷網(wǎng)頁是否重復。具體來說，在比較利用simhash簽名運算獲得的網(wǎng)頁正文簽名時，比較網(wǎng)頁正文簽名的不同位數(shù)，不同位越少，表示網(wǎng)頁重復的可能性越高，在比較其他的附加簽名時，若附加簽名相等，表示網(wǎng)頁在該緯度上重復。

　　總結：

　　1、兩個網(wǎng)頁的真實標題簽名相同。

　　2、兩個我那工業(yè)的網(wǎng)頁內容簽名相同。

　　3、兩個網(wǎng)頁的網(wǎng)頁正文簽名的不同位數(shù)小于6.。

　　4、兩個網(wǎng)頁的網(wǎng)頁位置簽名相同，并且url文件名簽名相同。

　　5、評論塊簽名、資源簽名、標簽標題簽名、摘要簽名、url文件名簽名中有三個簽名相同。

　　附加信息整站判斷重復標準：

 

網(wǎng)站優(yōu)化

• 2020-11-11沒有百度權重 我們拿啥判斷網(wǎng)站整體質量？
• 2020-11-11百度快照回檔、日期不一樣的真正原因
• 2020-11-11文章要百度收錄的關鍵點有哪些？
• 2020-11-11佛山網(wǎng)站建設_淺析百度快照回檔或不更新的種種原因
• 2020-11-11怎樣讓百度及時收錄我們的新網(wǎng)站
• 2020-11-11百度蜘蛛高權重頁面怎么做?什么是百度蜘蛛高權重頁面?
• 2020-11-11手機網(wǎng)站建設中百度移動適配操做使用方法
• 2020-11-11如何利用好百度做外鏈-如何做好網(wǎng)站外鏈
• 2020-11-11教你讓百度天天更新你的站
• 2020-11-11企業(yè)網(wǎng)站建設后期如何優(yōu)化才能獲得百度排名
• 2020-11-11百度高級副總裁沈皓瑜談關鍵詞漲價原因
• 2020-11-11百度李彥宏：未來5年將投資億元扶持河南電商