手機網站建設網頁正文內容抽取方法
日期 : 2021-01-29 23:04:58
網頁正文內容抽取方法, 該算法思路是先需要對Web頁面進行分塊處理, 處理結果同樣利用DOM樹原理進行解析, 然后集合閾值計算和正則表達式, 對于處理網頁正文準確率較高。
非基于DOM的Web頁面提取技術比較著名就是微軟亞洲研究院提出的VIPS基于視覺的網頁分塊算法。該算法從用戶的視覺感官體驗出發, 根據Web頁面的背景色、前景色、元素之間的間距來對Web頁面進行視覺劃分, 建立相應的分割條和網頁分塊集, 基于此基礎再進行文本信息的抽取, 算法規則十分復雜。目前很多Web頁面的視覺特點也很復雜, VIPS算法針對此類頁面時準確率和效率較差。因此, 高樂等人提出一種改進的VIPS算法, 算法針對<table>標簽的處理進行優化處理, 并通過實驗證明了改進算法正確率得到了提升。
此外, 還有一些不基于DOM樹對網頁文本提取的方法, 例如《基于權值優化的網頁正文內容提取算法》的通過統計分析Web頁面正文內容特點, 得到頁面中各個文本內容塊屬性特征, 并使用粒子群優化算法對特征權值及閾值進行了確定及優化。
非基于DOM的Web頁面提取技術比較著名就是微軟亞洲研究院提出的VIPS基于視覺的網頁分塊算法。該算法從用戶的視覺感官體驗出發, 根據Web頁面的背景色、前景色、元素之間的間距來對Web頁面進行視覺劃分, 建立相應的分割條和網頁分塊集, 基于此基礎再進行文本信息的抽取, 算法規則十分復雜。目前很多Web頁面的視覺特點也很復雜, VIPS算法針對此類頁面時準確率和效率較差。因此, 高樂等人提出一種改進的VIPS算法, 算法針對<table>標簽的處理進行優化處理, 并通過實驗證明了改進算法正確率得到了提升。
此外, 還有一些不基于DOM樹對網頁文本提取的方法, 例如《基于權值優化的網頁正文內容提取算法》的通過統計分析Web頁面正文內容特點, 得到頁面中各個文本內容塊屬性特征, 并使用粒子群優化算法對特征權值及閾值進行了確定及優化。
上一篇：手機網站建設色彩
下一篇：手機網站建設其它安全性措施
相關文章
精彩導讀
熱門資訊
