正文

網(wǎng)頁分類算法（網(wǎng)頁分類算法有哪些）

發(fā)布時(shí)間：2023-03-26 00:30:02 稿源：創(chuàng)意嶺閱讀： 1245 問大家

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于網(wǎng)頁分類算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀企業(yè)，服務(wù)客戶遍布全國，網(wǎng)絡(luò)營銷相關(guān)業(yè)務(wù)請撥打175-8598-2043，或微信：1454722008

本文目錄:

1、蜘蛛爬蟲的原理和作用
2、爬蟲抓取究竟是什么？
3、怎么防止瀏覽網(wǎng)頁以及網(wǎng)站中病毒和木馬（謝絕不要進(jìn)入不健康網(wǎng)站的回答）
4、機(jī)器學(xué)習(xí)有哪些算法

網(wǎng)頁分類算法（網(wǎng)頁分類算法有哪些）

一、蜘蛛爬蟲的原理和作用

關(guān)于搜索引擎的大話還是少說些，下面開始正文搜索引擎蜘蛛爬蟲原理：

1 聚焦爬蟲工作原理及關(guān)鍵技術(shù)概述

網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁的程序，它為搜索引擎從Internet網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止，另外，所有被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對于聚焦爬蟲來說，這一過程所得到的分析結(jié)果還可能對以后的抓取過程給出反饋和指導(dǎo)。

相對于通用網(wǎng)絡(luò)爬蟲，聚焦爬蟲還需要解決三個(gè)主要問題：

(1) 對抓取目標(biāo)的描述或定義；

(2) 對網(wǎng)頁或數(shù)據(jù)的分析與過濾；

(3) 對URL的搜索策略。

抓取目標(biāo)的描述和定義是決定網(wǎng)頁分析算法與URL搜索策略如何制訂的基礎(chǔ)。而網(wǎng)頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務(wù)形式和爬蟲網(wǎng)頁抓取行為的關(guān)鍵所在。這兩個(gè)部分的算法又是緊密相關(guān)的。

2 抓取目標(biāo)描述

現(xiàn)有聚焦爬蟲對抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念3種。

基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲(chǔ)并索引的對象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取方式可分為：

（1）預(yù)先給定的初始抓取種子樣本；

（2）預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等；

（3）通過用戶行為確定的抓取目標(biāo)樣例，分為：

a) 用戶瀏覽過程中顯示標(biāo)注的抓取樣本；

b) 通過用戶日志挖掘得到訪問模式及相關(guān)樣本。

其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。

現(xiàn)有的聚焦爬蟲對抓取目標(biāo)的描述或定義可以分為基于目標(biāo)網(wǎng)頁特征，基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念三種。

基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲(chǔ)并索引的對象一般為網(wǎng)站或網(wǎng)頁。具體的方法根據(jù)種子樣本的獲取方式可以分為：（1）預(yù)先給定的初始抓取種子樣本；（2）預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等；（3）通過用戶行為確定的抓取目標(biāo)樣例。其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。

基于目標(biāo)數(shù)據(jù)模式的爬蟲針對的是網(wǎng)頁上的數(shù)據(jù)，所抓取的數(shù)據(jù)一般要符合一定的模式，或者可以轉(zhuǎn)化或映射為目標(biāo)數(shù)據(jù)模式。

另一種描述方式是建立目標(biāo)領(lǐng)域的本體或詞典，用于從語義角度分析不同特征在某一主題中的重要程度。

3 網(wǎng)頁搜索策略

網(wǎng)頁的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種。深度優(yōu)先在很多情況下會(huì)導(dǎo)致爬蟲的陷入(trapped)問題，目前常見的是廣度優(yōu)先和最佳優(yōu)先方法。

3.1 廣度優(yōu)先搜索策略

廣度優(yōu)先搜索策略是指在抓取過程中，在完成當(dāng)前層次的搜索后，才進(jìn)行下一層次的搜索。該算法的設(shè)計(jì)和實(shí)現(xiàn)相對簡單。在目前為覆蓋盡可能多的網(wǎng)頁，一般使用廣度優(yōu)先搜索方法。也有很多研究將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大。另外一種方法是將廣度優(yōu)先搜索與網(wǎng)頁過濾技術(shù)結(jié)合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁，再將其中無關(guān)的網(wǎng)頁過濾掉。這些方法的缺點(diǎn)在于，隨著抓取網(wǎng)頁的增多，大量的無關(guān)網(wǎng)頁將被下載并過濾，算法的效率將變低。

3.2 最佳優(yōu)先搜索策略

最佳優(yōu)先搜索策略按照一定的網(wǎng)頁分析算法，預(yù)測候選URL與目標(biāo)網(wǎng)頁的相似度，或與主題的相關(guān)性，并選取評(píng)價(jià)最好的一個(gè)或幾個(gè)URL進(jìn)行抓取。它只訪問經(jīng)過網(wǎng)頁分析算法預(yù)測為“有用”的網(wǎng)頁。存在的一個(gè)問題是，在爬蟲抓取路徑上的很多相關(guān)網(wǎng)頁可能被忽略，因?yàn)樽罴褍?yōu)先策略是一種局部最優(yōu)搜索算法。因此需要將最佳優(yōu)先結(jié)合具體的應(yīng)用進(jìn)行改進(jìn)，以跳出局部最優(yōu)點(diǎn)。將在第4節(jié)中結(jié)合網(wǎng)頁分析算法作具體的討論。研究表明，這樣的閉環(huán)調(diào)整可以將無關(guān)網(wǎng)頁數(shù)量降低30%~90%。

4 網(wǎng)頁分析算法

網(wǎng)頁分析算法可以歸納為基于網(wǎng)絡(luò)拓?fù)?、基于網(wǎng)頁內(nèi)容和基于用戶訪問行為三種類型。

4.1 基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴?#57348;

基于網(wǎng)頁之間的鏈接，通過已知的網(wǎng)頁或數(shù)據(jù)，來對與其有直接或間接鏈接關(guān)系的對象（可以是網(wǎng)頁或網(wǎng)站等）作出評(píng)價(jià)的算法。又分為網(wǎng)頁粒度、網(wǎng)站粒度和網(wǎng)頁塊粒度這三種。

4.1.1 網(wǎng)頁(Webpage)粒度的分析算法

PageRank和HITS算法是最常見的鏈接分析算法，兩者都是通過對網(wǎng)頁間鏈接度的遞歸和規(guī)范化計(jì)算，得到每個(gè)網(wǎng)頁的重要度評(píng)價(jià)。PageRank算法雖然考慮了用戶訪問行為的隨機(jī)性和Sink網(wǎng)頁的存在，但忽略了絕大多數(shù)用戶訪問時(shí)帶有目的性，即網(wǎng)頁和鏈接與查詢主題的相關(guān)性。針對這個(gè)問題，HITS算法提出了兩個(gè)關(guān)鍵的概念：權(quán)威型網(wǎng)頁（authority）和中心型網(wǎng)頁（hub）。

基于鏈接的抓取的問題是相關(guān)頁面主題團(tuán)之間的隧道現(xiàn)象，即很多在抓取路徑上偏離主題的網(wǎng)頁也指向目標(biāo)網(wǎng)頁，局部評(píng)價(jià)策略中斷了在當(dāng)前路徑上的抓取行為。文獻(xiàn)[21]提出了一種基于反向鏈接（BackLink）的分層式上下文模型（Context Model），用于描述指向目標(biāo)網(wǎng)頁一定物理跳數(shù)半徑內(nèi)的網(wǎng)頁拓?fù)鋱D的中心Layer0為目標(biāo)網(wǎng)頁，將網(wǎng)頁依據(jù)指向目標(biāo)網(wǎng)頁的物理跳數(shù)進(jìn)行層次劃分，從外層網(wǎng)頁指向內(nèi)層網(wǎng)頁的鏈接稱為反向鏈接。

4.1.2 網(wǎng)站粒度的分析算法

網(wǎng)站粒度的資源發(fā)現(xiàn)和管理策略也比網(wǎng)頁粒度的更簡單有效。網(wǎng)站粒度的爬蟲抓取的關(guān)鍵之處在于站點(diǎn)的劃分和站點(diǎn)等級(jí)(SiteRank)的計(jì)算。SiteRank的計(jì)算方法與PageRank類似，但是需要對網(wǎng)站之間的鏈接作一定程度抽象，并在一定的模型下計(jì)算鏈接的權(quán)重。

網(wǎng)站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻(xiàn)[18]討論了在分布式情況下，通過對同一個(gè)域名下不同主機(jī)、服務(wù)器的IP地址進(jìn)行站點(diǎn)劃分，構(gòu)造站點(diǎn)圖，利用類似PageRank的方法評(píng)價(jià)SiteRank。同時(shí)，根據(jù)不同文件在各個(gè)站點(diǎn)上的分布情況，構(gòu)造文檔圖，結(jié)合SiteRank分布式計(jì)算得到DocRank。文獻(xiàn)[18]證明，利用分布式的SiteRank計(jì)算，不僅大大降低了單機(jī)站點(diǎn)的算法代價(jià)，而且克服了單獨(dú)站點(diǎn)對整個(gè)網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。附帶的一個(gè)優(yōu)點(diǎn)是，常見PageRank 造假難以對SiteRank進(jìn)行欺騙。

4.1.3 網(wǎng)頁塊粒度的分析算法

在一個(gè)頁面中，往往含有多個(gè)指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁的，或根據(jù)網(wǎng)頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒有對這些鏈接作區(qū)分，因此常常給網(wǎng)頁分析帶來廣告等噪聲鏈接的干擾。在網(wǎng)頁塊級(jí)別(Blocklevel)進(jìn)行鏈接分析的算法的基本思想是通過VIPS網(wǎng)頁分割算法將網(wǎng)頁分為不同的網(wǎng)頁塊(page block)，然后對這些網(wǎng)頁塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。于是，在pagetopage圖上的網(wǎng)頁塊級(jí)別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經(jīng)有人實(shí)現(xiàn)了塊級(jí)別的PageRank和HITS算法，并通過實(shí)驗(yàn)證明，效率和準(zhǔn)確率都比傳統(tǒng)的對應(yīng)算法要好。

4.2 基于網(wǎng)頁內(nèi)容的網(wǎng)頁分析算法

基于網(wǎng)頁內(nèi)容的分析算法指的是利用網(wǎng)頁內(nèi)容（文本、數(shù)據(jù)等資源）特征進(jìn)行的網(wǎng)頁評(píng)價(jià)。網(wǎng)頁的內(nèi)容從原來的以超文本為主，發(fā)展到后來動(dòng)態(tài)頁面（或稱為Hidden Web）數(shù)據(jù)為主，后者的數(shù)據(jù)量約為直接可見頁面數(shù)據(jù)（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒體數(shù)據(jù)、Web Service等各種網(wǎng)絡(luò)資源形式也日益豐富。因此，基于網(wǎng)頁內(nèi)容的分析算法也從原來的較為單純的文本檢索方法，發(fā)展為涵蓋網(wǎng)頁數(shù)據(jù)抽取、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、語義理解等多種方法的綜合應(yīng)用。本節(jié)根據(jù)網(wǎng)頁數(shù)據(jù)形式的不同，將基于網(wǎng)頁內(nèi)容的分析算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結(jié)構(gòu)或結(jié)構(gòu)很簡單的網(wǎng)頁；第二種針對從結(jié)構(gòu)化的數(shù)據(jù)源（如RDBMS）動(dòng)態(tài)生成的頁面，其數(shù)據(jù)不能直接批量訪問；第三種針對的數(shù)據(jù)界于第一和第二類數(shù)據(jù)之間，具有較好的結(jié)構(gòu)，顯示遵循一定模式或風(fēng)格，且可以直接訪問。

二、爬蟲抓取究竟是什么？

就是從網(wǎng)頁中，提取出結(jié)構(gòu)化數(shù)據(jù)。另外的特點(diǎn)，就是自動(dòng)化，節(jié)省人力。通過訪問網(wǎng)站然后獲取到你想要的信息。

簡要地說爬蟲抓取的是數(shù)據(jù)或信息。根據(jù)不同的行業(yè)及應(yīng)用，爬蟲所抓取的數(shù)據(jù)各有不同的偏重，一般來說是業(yè)務(wù)需要那些數(shù)據(jù)，那抓取對應(yīng)的數(shù)據(jù)回來，再經(jīng)過清洗、轉(zhuǎn)化等步驟促進(jìn)業(yè)務(wù)增長與輔助決策。

抓取目標(biāo)分類

抓取目標(biāo)的描述和定義是決定網(wǎng)頁分析算法與URL搜索策略如何制訂的基礎(chǔ)。而網(wǎng)頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務(wù)形式和爬蟲網(wǎng)頁抓取行為的關(guān)鍵所在。這兩個(gè)部分的算法又是緊密相關(guān)的。

現(xiàn)有聚焦爬蟲對抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念3種。

1、基于目標(biāo)網(wǎng)頁特征

基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲(chǔ)并索引的對象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取方式可分為：

（1）預(yù)先給定的初始抓取種子樣本。

（2）預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等。

（3）通過用戶行為確定的抓取目標(biāo)樣例，分為：用戶瀏覽過程中顯示標(biāo)注的抓取樣本；通過用戶日志挖掘得到訪問模式及相關(guān)樣本。

其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。

2、基于目標(biāo)數(shù)據(jù)模式

基于目標(biāo)數(shù)據(jù)模式的爬蟲針對的是網(wǎng)頁上的數(shù)據(jù)，所抓取的數(shù)據(jù)一般要符合一定的模式，或者可以轉(zhuǎn)化或映射為目標(biāo)數(shù)據(jù)模式。

3、基于領(lǐng)域概念

另一種描述方式是建立目標(biāo)領(lǐng)域的本體或詞典，用于從語義角度分析不同特征在某一主題中的重要程度。

三、怎么防止瀏覽網(wǎng)頁以及網(wǎng)站中病毒和木馬（謝絕不要進(jìn)入不健康網(wǎng)站的回答）

權(quán)限是計(jì)算機(jī)應(yīng)用中一個(gè)非常重要的概念，普通的用戶在使用中可能早已淡化了權(quán)限的真正意義，每個(gè)人都在用admin級(jí)別的賬號(hào)，同樣，網(wǎng)絡(luò)上的病毒、

木馬

也和你一起分享這個(gè)權(quán)限，于是瀏覽器甚至是系統(tǒng)的滅頂之災(zāi)就在所難免了。

如果把IE運(yùn)行權(quán)限降低，一些惡意網(wǎng)頁的動(dòng)作也就不能順利完成了。

最簡單的辦法是換個(gè)身份運(yùn)行IE，在CMD下運(yùn)行命令“net user bigfrog 123456 /add”，建立一個(gè)用戶名為bigfrog，密碼為123456的受限帳戶，以后使用這個(gè)帳戶上網(wǎng)即可。

創(chuàng)建受限賬戶

接下來在桌面上建立一個(gè)IE快捷方式（使用IE快捷方式向?qū)В灰褂米烂鍵E創(chuàng)建），右擊快捷方式選擇“運(yùn)行方式”，在打開的運(yùn)行身份窗口單選“下列用戶”，然后輸入上述受限帳戶的名稱和密碼，單擊“確定”，這樣啟動(dòng)IE的用戶就是受限帳戶bigfrog。

這樣再次運(yùn)行IE等同于換一個(gè)身份后重新登錄運(yùn)行一樣，原來用戶的收藏夾、Cookies等并不會(huì)加載。同樣，網(wǎng)絡(luò)上的攻擊也只針對這個(gè)賬戶為對象，和我們的admin系統(tǒng)是沒有關(guān)系的。

現(xiàn)在你可以用受限用戶身份來測試一下。比如你遇到一個(gè)惡意代碼的網(wǎng)站，再次用bigfrog的IE登錄一下，系統(tǒng)會(huì)提示沒有權(quán)限更改配置。而對于那些捆綁了插件的網(wǎng)站，即使我們被強(qiáng)行

下載這個(gè)軟件并安裝，系統(tǒng)仍然會(huì)提示無法安裝。

插件無法運(yùn)行

對于權(quán)限限制的方式，我們在這里再引申一下，告訴大家知道運(yùn)行的具體模式。其實(shí)系統(tǒng)是調(diào)用runas方式在模擬新用戶的運(yùn)行狀態(tài)。比如輸入“runas /user:bigfrog "C:\Program Files\Internet Explorer\IEXPLORE.EXE"”，一樣可以達(dá)到效果，同理，我們可以把容易遭受攻擊的程序都以這種方式運(yùn)行。

上面的方法雖然不錯(cuò)，但最麻煩的地方就是創(chuàng)建用戶，我們知道如果有很多用戶的話，不但管理起來麻煩，而且很有可能帶來更多的系統(tǒng)危機(jī)，這里推薦大家使用DropMyRights（

點(diǎn)擊下載

）。

使用默認(rèn)安裝方式，具體的使用語法如下：DropMyRights [N|C|U]

path是指應(yīng)用程序的路徑，N指基本用戶，C指受限用戶，U是指不信任用戶。如果要以受限用戶身份運(yùn)行IE瀏覽器，右擊桌面IE的快捷方式，然后在屬性窗口的“目標(biāo)”框輸入“"C:\DropMyRights\DropMyRights.exe" "C:\Program Files\Internet Explorer\IEXPLORE.EXE" C”，以后運(yùn)行這個(gè)快捷方式就可以用受限用戶身份運(yùn)行IE。同樣的，像OE、IM等病毒喜歡的對象，也可以用DropMyRights限制一下再運(yùn)行。

四、機(jī)器學(xué)習(xí)有哪些算法

樸素貝葉斯分類器算法是最受歡迎的學(xué)習(xí)方法之一，按照相似性分類，用流行的貝葉斯概率定理來建立機(jī)器學(xué)習(xí)模型，特別是用于疾病預(yù)測和文檔分類。它是基于貝葉斯概率定理的單詞的內(nèi)容的主觀分析的簡單分類。

什么時(shí)候使用機(jī)器學(xué)習(xí)算法 - 樸素貝葉斯分類器？

（1）如果您有一個(gè)中等或大的訓(xùn)練數(shù)據(jù)集。

（2）如果實(shí)例具有幾個(gè)屬性。

（3）給定分類參數(shù)，描述實(shí)例的屬性應(yīng)該是條件獨(dú)立的。

A．樸素貝葉斯分類器的應(yīng)用

（1）情緒分析 - 用于Facebook分析表示積極或消極情緒的狀態(tài)更新。

（2）文檔分類 - Google使用文檔分類來索引文檔并查找相關(guān)性分?jǐn)?shù)，即PageRank。 PageRank機(jī)制考慮在使用文檔分類技術(shù)解析和分類的數(shù)據(jù)庫中標(biāo)記為重要的頁面。

（3）樸素貝葉斯算法也用于分類關(guān)于技術(shù)，娛樂，體育，政治等的新聞文章。

（4）電子郵件垃圾郵件過濾 - Google Mail使用NaïveBayes算法將您的電子郵件歸類為垃圾郵件或非垃圾郵件。

B．樸素貝葉斯分類器機(jī)器學(xué)習(xí)算法的優(yōu)點(diǎn)

（1）當(dāng)輸入變量是分類時(shí)，樸素貝葉斯分類器算法執(zhí)行得很好。

（2）當(dāng)樸素貝葉斯條件獨(dú)立假設(shè)成立時(shí)，樸素貝葉斯分類器收斂更快，需要相對較少的訓(xùn)練數(shù)據(jù)，而不像其他判別模型，如邏輯回歸。

（3）使用樸素貝葉斯分類器算法，更容易預(yù)測測試數(shù)據(jù)集的類。多等級(jí)預(yù)測的好賭注。

（4）雖然它需要條件獨(dú)立假設(shè)，但是樸素貝葉斯分類器在各種應(yīng)用領(lǐng)域都表現(xiàn)出良好的性能。

Python中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)NaïveBayes - Sci-Kit學(xué)習(xí)

數(shù)據(jù)科學(xué)圖書館在R實(shí)施樸素貝葉斯 - e1071

3.2 K均值聚類算法

K-means是用于聚類分析的普遍使用的無監(jiān)督機(jī)器學(xué)習(xí)算法。 K-Means是一種非確定性和迭代的方法。該算法通過預(yù)定數(shù)量的簇k對給定數(shù)據(jù)集進(jìn)行操作。 K Means算法的輸出是具有在簇之間分割的輸入數(shù)據(jù)的k個(gè)簇。

例如，讓我們考慮維基百科搜索結(jié)果的K均值聚類。維基百科上的搜索詞“Jaguar”將返回包含Jaguar這個(gè)詞的所有頁面，它可以將Jaguar稱為Car，Jaguar稱為Mac OS版本，Jaguar作為動(dòng)物。 K均值聚類算法可以應(yīng)用于對描述類似概念的網(wǎng)頁進(jìn)行分組。因此，算法將把所有談?wù)摻荼木W(wǎng)頁作為一個(gè)動(dòng)物分組到一個(gè)集群，將捷豹作為一個(gè)汽車分組到另一個(gè)集群，等等。

A．使用K-means聚類機(jī)學(xué)習(xí)算法的優(yōu)點(diǎn)

（1）在球狀簇的情況下，K-Means產(chǎn)生比層級(jí)聚類更緊密的簇。

（2）給定一個(gè)較小的K值，K-Means聚類計(jì)算比大量變量的層次聚類更快。

B．K-Means聚類的應(yīng)用

K Means Clustering算法被大多數(shù)搜索引擎（如Yahoo，Google）用于通過相似性對網(wǎng)頁進(jìn)行聚類，并識(shí)別搜索結(jié)果的“相關(guān)率”。這有助于搜索引擎減少用戶的計(jì)算時(shí)間。

Python中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)K均值聚類 - SciPy，Sci-Kit學(xué)習(xí)，Python包裝

數(shù)據(jù)科學(xué)庫中的R實(shí)現(xiàn)K均值聚類 - 統(tǒng)計(jì)

3.3 支持向量機(jī)學(xué)習(xí)算法

支持向量機(jī)是一種分類或回歸問題的監(jiān)督機(jī)器學(xué)習(xí)算法，其中數(shù)據(jù)集教導(dǎo)關(guān)于類的SVM，以便SVM可以對任何新數(shù)據(jù)進(jìn)行分類。它通過找到將訓(xùn)練數(shù)據(jù)集分成類的線（超平面）將數(shù)據(jù)分類到不同的類中來工作。由于存在許多這樣的線性超平面，SVM算法嘗試最大化所涉及的各種類之間的距離，并且這被稱為邊際最大化。如果識(shí)別出最大化類之間的距離的線，則增加對未看見數(shù)據(jù)良好推廣的概率。

A．SVM分為兩類：

線性SVM - 在線性SVM中，訓(xùn)練數(shù)據(jù)，即分類器由超平面分離。

非線性SVM在非線性SVM中，不可能使用超平面來分離訓(xùn)練數(shù)據(jù)。例如，用于面部檢測的訓(xùn)練數(shù)據(jù)由作為面部的一組圖像和不是面部的另一組圖像（換句話說，除了面部之外的所有其他圖像）組成。在這種條件下，訓(xùn)練數(shù)據(jù)太復(fù)雜，不可能找到每個(gè)特征向量的表示。將面的集合與非面的集線性分離是復(fù)雜的任務(wù)。

B．使用SVM的優(yōu)點(diǎn)

（1）SVM對訓(xùn)練數(shù)據(jù)提供最佳分類性能（精度）。

（2）SVM為未來數(shù)據(jù)的正確分類提供了更高的效率。

（3）SVM的最好的事情是它不對數(shù)據(jù)做任何強(qiáng)有力的假設(shè)。

（4）它不會(huì)過度擬合數(shù)據(jù)。

C．支持向量機(jī)的應(yīng)用

（1）SVM通常用于各種金融機(jī)構(gòu)的股票市場預(yù)測。例如，它可以用來比較股票相對于同一行業(yè)中其他股票的表現(xiàn)的相對表現(xiàn)。股票的相對比較有助于管理基于由SVM學(xué)習(xí)算法做出的分類的投資決策。

（2）Python中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)支持向量機(jī)-SciKit學(xué)習(xí)，PyML，SVMStruct Python，LIBSVM

（3）R中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)支持向量機(jī) - klar，e1071

3.4 Apriori機(jī)器學(xué)習(xí)算法

Apriori算法是無監(jiān)督機(jī)器學(xué)習(xí)算法，其從給定數(shù)據(jù)集生成關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則意味著如果項(xiàng)目A出現(xiàn)，則項(xiàng)目B也以一定概率出現(xiàn)。生成的大多數(shù)關(guān)聯(lián)規(guī)則采用IF_THEN格式。例如，如果人們買了一個(gè)iPad，他們還買了一個(gè)iPad保護(hù)套。為了得到這樣的結(jié)論的算法，它首先觀察購買iPad的人購買iPad的人數(shù)。這樣一來，比例就像100個(gè)購買iPad的人一樣，85個(gè)人還購買了一個(gè)iPad案例。

A．Apriori機(jī)器學(xué)習(xí)算法的基本原理：

如果項(xiàng)集合頻繁出現(xiàn)，則項(xiàng)集合的所有子集也頻繁出現(xiàn)。

如果項(xiàng)集合不經(jīng)常出現(xiàn)，則項(xiàng)集合的所有超集都不經(jīng)常出現(xiàn)。

B．先驗(yàn)算法的優(yōu)點(diǎn)

（1）它易于實(shí)現(xiàn)并且可以容易地并行化。

（2）Apriori實(shí)現(xiàn)使用大項(xiàng)目集屬性。

C.Apriori算法應(yīng)用

檢測不良藥物反應(yīng)

Apriori算法用于關(guān)于醫(yī)療數(shù)據(jù)的關(guān)聯(lián)分析，例如患者服用的藥物，每個(gè)患者的特征，不良的不良反應(yīng)患者體驗(yàn)，初始診斷等。該分析產(chǎn)生關(guān)聯(lián)規(guī)則，其幫助識(shí)別患者特征和藥物的組合導(dǎo)致藥物的不良副作用。

市場籃子分析

許多電子商務(wù)巨頭如亞馬遜使用Apriori來繪制數(shù)據(jù)洞察，哪些產(chǎn)品可能是一起購買，哪些是最響應(yīng)促銷。例如，零售商可能使用Apriori預(yù)測購買糖和面粉的人很可能購買雞蛋來烘烤蛋糕。

自動(dòng)完成應(yīng)用程序

Google自動(dòng)完成是Apriori的另一個(gè)流行的應(yīng)用程序，其中 - 當(dāng)用戶鍵入單詞時(shí)，搜索引擎尋找人們通常在特定單詞之后鍵入的其他相關(guān)聯(lián)的單詞。

Python中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)Apriori機(jī)器學(xué)習(xí)算法 - 在PyPi中有一個(gè)python實(shí)現(xiàn)Apriori

數(shù)據(jù)科學(xué)庫在R中實(shí)現(xiàn)Apriori機(jī)器學(xué)習(xí)算法 – arules

3.5 線性回歸機(jī)器學(xué)習(xí)算法

線性回歸算法顯示了2個(gè)變量之間的關(guān)系，以及一個(gè)變量中的變化如何影響另一個(gè)變量。該算法顯示了在改變自變量時(shí)對因變量的影響。自變量被稱為解釋變量，因?yàn)樗鼈兘忉屃艘蜃兞繉σ蜃兞康挠绊憽?依賴變量通常被稱為感興趣的因子或預(yù)測因子。

A．線性回歸機(jī)器學(xué)習(xí)算法的優(yōu)點(diǎn)

（1）它是最可解釋的機(jī)器學(xué)習(xí)算法之一，使得它很容易解釋給別人。

（2）它易于使用，因?yàn)樗枰钚〉恼{(diào)諧。

（3）它是最廣泛使用的機(jī)器學(xué)習(xí)技術(shù)運(yùn)行快。

B．線性回歸算法應(yīng)用

估計(jì)銷售額

線性回歸在業(yè)務(wù)中有很大的用途，基于趨勢的銷售預(yù)測。如果公司每月的銷售額穩(wěn)步增長 - 對月度銷售數(shù)據(jù)的線性回歸分析有助于公司預(yù)測未來幾個(gè)月的銷售額。

風(fēng)險(xiǎn)評(píng)估

線性回歸有助于評(píng)估涉及保險(xiǎn)或金融領(lǐng)域的風(fēng)險(xiǎn)。健康保險(xiǎn)公司可以對每個(gè)客戶的索賠數(shù)量與年齡進(jìn)行線性回歸分析。這種分析有助于保險(xiǎn)公司發(fā)現(xiàn)，老年顧客傾向于提出更多的保險(xiǎn)索賠。這樣的分析結(jié)果在重要的商業(yè)決策中起著至關(guān)重要的作用，并且是為了解決風(fēng)險(xiǎn)。

Python中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)線性回歸 - statsmodel和SciKit

R中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)線性回歸 - 統(tǒng)計(jì)

3.6 決策樹機(jī)器學(xué)習(xí)算法

你正在制作一個(gè)周末計(jì)劃，去訪問最好的餐館在城里，因?yàn)槟愕母改冈L問，但你是猶豫的決定在哪家餐廳選擇。每當(dāng)你想去一家餐館，你問你的朋友提利昂如果他認(rèn)為你會(huì)喜歡一個(gè)特定的地方。為了回答你的問題，提利昂首先要找出，你喜歡的那種餐館。你給他一個(gè)你去過的餐館列表，告訴他你是否喜歡每個(gè)餐廳（給出一個(gè)標(biāo)記的訓(xùn)練數(shù)據(jù)集）。當(dāng)你問提利昂你是否想要一個(gè)特定的餐廳R，他問你各種問題，如“是”R“屋頂餐廳？”，“餐廳”R“服務(wù)意大利菜嗎？”，現(xiàn)場音樂？“，”餐廳R是否營業(yè)至午夜？“等等。提利昂要求您提供幾個(gè)信息問題，以最大限度地提高信息收益，并根據(jù)您對問卷的答案給予YES或NO回答。這里Tyrion是你最喜歡的餐廳偏好的決策樹。

決策樹是一種圖形表示，其使用分支方法來基于某些條件來例示決策的所有可能的結(jié)果。在決策樹中，內(nèi)部節(jié)點(diǎn)表示對屬性的測試，樹的每個(gè)分支表示測試的結(jié)果，葉節(jié)點(diǎn)表示特定類標(biāo)簽，即在計(jì)算所有屬性之后作出的決定。分類規(guī)則通過從根到葉節(jié)點(diǎn)的路徑來表示。

A．決策樹的類型

（1）分類樹 - 這些被視為用于基于響應(yīng)變量將數(shù)據(jù)集分成不同類的默認(rèn)種類的決策樹。這些通常在響應(yīng)變量本質(zhì)上是分類時(shí)使用。

（2）回歸樹 - 當(dāng)響應(yīng)或目標(biāo)變量是連續(xù)或數(shù)字時(shí)，使用回歸樹。與分類相比，這些通常用于預(yù)測類型的問題。

根據(jù)目標(biāo)變量的類型 - 連續(xù)變量決策樹和二進(jìn)制變量決策樹，決策樹也可以分為兩種類型。它是有助于決定對于特定問題需要什么樣的決策樹的目標(biāo)變量。

B．為什么選擇決策樹算法？

（1）這些機(jī)器學(xué)習(xí)算法有助于在不確定性下作出決策，并幫助您改善溝通，因?yàn)樗麄兲峁┝藳Q策情況的可視化表示。

（2）決策樹機(jī)器學(xué)習(xí)算法幫助數(shù)據(jù)科學(xué)家捕獲這樣的想法：如果采取了不同的決策，那么情境或模型的操作性質(zhì)將如何劇烈變化。

（3）決策樹算法通過允許數(shù)據(jù)科學(xué)家遍歷前向和后向計(jì)算路徑來幫助做出最佳決策。

C．何時(shí)使用決策樹機(jī)器學(xué)習(xí)算法

（1）決策樹對錯(cuò)誤是魯棒的，并且如果訓(xùn)練數(shù)據(jù)包含錯(cuò)誤，則決策樹算法將最適合于解決這樣的問題。

（2）決策樹最適合于實(shí)例由屬性值對表示的問題。

（3）如果訓(xùn)練數(shù)據(jù)具有缺失值，則可以使用決策樹，因?yàn)樗鼈兛梢酝ㄟ^查看其他列中的數(shù)據(jù)來很好地處理丟失的值。

（4）當(dāng)目標(biāo)函數(shù)具有離散輸出值時(shí)，決策樹是最適合的。

D.決策樹的優(yōu)點(diǎn)

（1）決策樹是非常本能的，可以向任何人輕松解釋。來自非技術(shù)背景的人，也可以解釋從決策樹繪制的假設(shè)，因?yàn)樗麄兪遣谎宰悦鞯摹?/p>

（2）當(dāng)使用決策樹機(jī)器學(xué)習(xí)算法時(shí)，數(shù)據(jù)類型不是約束，因?yàn)樗鼈兛梢蕴幚矸诸惡蛿?shù)值變量。

（3）決策樹機(jī)器學(xué)習(xí)算法不需要對數(shù)據(jù)中的線性進(jìn)行任何假設(shè)，因此可以在參數(shù)非線性相關(guān)的情況下使用。這些機(jī)器學(xué)習(xí)算法不對分類器結(jié)構(gòu)和空間分布做出任何假設(shè)。

（4）這些算法在數(shù)據(jù)探索中是有用的。決策樹隱式執(zhí)行特征選擇，這在預(yù)測分析中非常重要。當(dāng)決策樹適合于訓(xùn)練數(shù)據(jù)集時(shí)，在其上分割決策樹的頂部的節(jié)點(diǎn)被認(rèn)為是給定數(shù)據(jù)集內(nèi)的重要變量，并且默認(rèn)情況下完成特征選擇。

（5）決策樹有助于節(jié)省數(shù)據(jù)準(zhǔn)備時(shí)間，因?yàn)樗鼈儗θ笔е岛彤惓Ｖ挡幻舾?。缺少值不?huì)阻止您拆分構(gòu)建決策樹的數(shù)據(jù)。離群值也不會(huì)影響決策樹，因?yàn)榛诜至逊秶鷥?nèi)的一些樣本而不是準(zhǔn)確的絕對值發(fā)生數(shù)據(jù)分裂。

E.決策樹的缺點(diǎn)

（1）樹中決策的數(shù)量越多，任何預(yù)期結(jié)果的準(zhǔn)確性越小。

（2）決策樹機(jī)器學(xué)習(xí)算法的主要缺點(diǎn)是結(jié)果可能基于預(yù)期。當(dāng)實(shí)時(shí)做出決策時(shí)，收益和產(chǎn)生的結(jié)果可能與預(yù)期或計(jì)劃不同。有機(jī)會(huì)，這可能導(dǎo)致不現(xiàn)實(shí)的決策樹導(dǎo)致錯(cuò)誤的決策。任何不合理的期望可能導(dǎo)致決策樹分析中的重大錯(cuò)誤和缺陷，因?yàn)椴⒉豢偸强赡苡?jì)劃從決策可能產(chǎn)生的所有可能性。

（3）決策樹不適合連續(xù)變量，并導(dǎo)致不穩(wěn)定性和分類高原。

（4）與其他決策模型相比，決策樹很容易使用，但是創(chuàng)建包含幾個(gè)分支的大決策樹是一個(gè)復(fù)雜和耗時(shí)的任務(wù)。

（5）決策樹機(jī)器學(xué)習(xí)算法一次只考慮一個(gè)屬性，并且可能不是最適合于決策空間中的實(shí)際數(shù)據(jù)。

（6）具有多個(gè)分支的大尺寸決策樹是不可理解的，并且造成若干呈現(xiàn)困難。

F.決策樹機(jī)器學(xué)習(xí)算法的應(yīng)用

（1）決策樹是流行的機(jī)器學(xué)習(xí)算法之一，它在財(cái)務(wù)中對期權(quán)定價(jià)有很大的用處。

（2）遙感是基于決策樹的模式識(shí)別的應(yīng)用領(lǐng)域。

（3）銀行使用決策樹算法按貸款申請人違約付款的概率對其進(jìn)行分類。

（4）Gerber產(chǎn)品公司，一個(gè)流行的嬰兒產(chǎn)品公司，使用決策樹機(jī)器學(xué)習(xí)算法來決定他們是否應(yīng)繼續(xù)使用塑料PVC（聚氯乙烯）在他們的產(chǎn)品。

（5）Rush大學(xué)醫(yī)學(xué)中心開發(fā)了一個(gè)名為Guardian的工具，它使用決策樹機(jī)器學(xué)習(xí)算法來識(shí)別有風(fēng)險(xiǎn)的患者和疾病趨勢。

Python語言中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)決策樹機(jī)器學(xué)習(xí)算法是 - SciPy和Sci-Kit學(xué)習(xí)。

R語言中的數(shù)據(jù)科學(xué)庫實(shí)現(xiàn)決策樹機(jī)器學(xué)習(xí)算法是插入符號(hào)。

3.7 隨機(jī)森林機(jī)器學(xué)習(xí)算法

讓我們繼續(xù)我們在決策樹中使用的同樣的例子，來解釋隨機(jī)森林機(jī)器學(xué)習(xí)算法如何工作。提利昂是您的餐廳偏好的決策樹。然而，提利昂作為一個(gè)人并不總是準(zhǔn)確地推廣你的餐廳偏好。要獲得更準(zhǔn)確的餐廳推薦，你問一對夫婦的朋友，并決定訪問餐廳R，如果大多數(shù)人說你會(huì)喜歡它。而不是只是問Tyrion，你想問問Jon Snow，Sandor，Bronn和Bran誰投票決定你是否喜歡餐廳R或不。這意味著您已經(jīng)構(gòu)建了決策樹的合奏分類器 - 也稱為森林。

你不想讓所有的朋友給你相同的答案 - 所以你提供每個(gè)朋友略有不同的數(shù)據(jù)。你也不確定你的餐廳偏好，是在一個(gè)困境。你告訴提利昂你喜歡開頂屋頂餐廳，但也許，只是因?yàn)樗窃谙奶欤?dāng)你訪問的餐廳，你可能已經(jīng)喜歡它。在寒冷的冬天，你可能不是餐廳的粉絲。因此，所有的朋友不應(yīng)該利用你喜歡打開的屋頂餐廳的數(shù)據(jù)點(diǎn)，以提出他們的建議您的餐廳偏好。

通過為您的朋友提供略微不同的餐廳偏好數(shù)據(jù)，您可以讓您的朋友在不同時(shí)間向您詢問不同的問題。在這種情況下，只是稍微改變你的餐廳偏好，你是注入隨機(jī)性在模型級(jí)別（不同于決策樹情況下的數(shù)據(jù)級(jí)別的隨機(jī)性）。您的朋友群現(xiàn)在形成了您的餐廳偏好的隨機(jī)森林。

隨機(jī)森林是一種機(jī)器學(xué)習(xí)算法，它使用裝袋方法來創(chuàng)建一堆隨機(jī)數(shù)據(jù)子集的決策樹。模型在數(shù)據(jù)集的隨機(jī)樣本上進(jìn)行多次訓(xùn)練，以從隨機(jī)森林算法中獲得良好的預(yù)測性能。在該整體學(xué)習(xí)方法中，將隨機(jī)森林中所有決策樹的輸出結(jié)合起來進(jìn)行最終預(yù)測。隨機(jī)森林算法的最終預(yù)測通過輪詢每個(gè)決策樹的結(jié)果或者僅僅通過使用在決策樹中出現(xiàn)最多次的預(yù)測來導(dǎo)出。

例如，在上面的例子 - 如果5個(gè)朋友決定你會(huì)喜歡餐廳R，但只有2個(gè)朋友決定你不會(huì)喜歡的餐廳，然后最后的預(yù)測是，你會(huì)喜歡餐廳R多數(shù)總是勝利。

A.為什么使用隨機(jī)森林機(jī)器學(xué)習(xí)算法？

（1）有很多好的開源，在Python和R中可用的算法的自由實(shí)現(xiàn)。

（2）它在缺少數(shù)據(jù)時(shí)保持準(zhǔn)確性，并且還能抵抗異常值。

（3）簡單的使用作為基本的隨機(jī)森林算法可以實(shí)現(xiàn)只用幾行代碼。

（4）隨機(jī)森林機(jī)器學(xué)習(xí)算法幫助數(shù)據(jù)科學(xué)家節(jié)省數(shù)據(jù)準(zhǔn)備時(shí)間，因?yàn)樗鼈儾恍枰魏屋斎霚?zhǔn)備，并且能夠處理數(shù)字，二進(jìn)制和分類特征，而無需縮放，變換或修改。

（5）隱式特征選擇，因?yàn)樗o出了什么變量在分類中是重要的估計(jì)。

B.使用隨機(jī)森林機(jī)器學(xué)習(xí)算法的優(yōu)點(diǎn)

（1）與決策樹機(jī)器學(xué)習(xí)算法不同，過擬合對隨機(jī)森林不是一個(gè)問題。沒有必要修剪隨機(jī)森林。

（2）這些算法很快，但不是在所有情況下。隨機(jī)森林算法當(dāng)在具有100個(gè)變量的數(shù)據(jù)集的800MHz機(jī)器上運(yùn)行時(shí)，并且50,000個(gè)案例在11分鐘內(nèi)產(chǎn)生100個(gè)決策樹。

（3）隨機(jī)森林是用于各種分類和回歸任務(wù)的最有效和通用的機(jī)器學(xué)習(xí)算法之一，因?yàn)樗鼈儗υ肼暩郁敯簟?/p>

（4）很難建立一個(gè)壞的隨機(jī)森林。在隨機(jī)森林機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)中，容易確定使用哪些參數(shù)，因?yàn)樗鼈儗τ糜谶\(yùn)行算法的參數(shù)不敏感。一個(gè)人可以輕松地建立一個(gè)體面的模型沒有太多的調(diào)整

（5）隨機(jī)森林機(jī)器學(xué)習(xí)算法可以并行生長。

（6）此算法在大型數(shù)據(jù)庫上高效運(yùn)行。

（7）具有較高的分類精度。

C.使用隨機(jī)森林機(jī)器學(xué)習(xí)算法的缺點(diǎn)

他們可能很容易使用，但從理論上分析它們是很困難的。

隨機(jī)森林中大量的決策樹可以減慢算法進(jìn)行實(shí)時(shí)預(yù)測。

如果數(shù)據(jù)由具有不同級(jí)別數(shù)量的分類變量組成，則算法會(huì)偏好具有更多級(jí)別的那些屬性。在這種情況下，可變重要性分?jǐn)?shù)似乎不可靠。

當(dāng)使用RandomForest算法進(jìn)行回歸任務(wù)時(shí)，它不會(huì)超出訓(xùn)練數(shù)據(jù)中響應(yīng)值的范圍。

D.隨機(jī)森林機(jī)器學(xué)習(xí)算法的應(yīng)用

（1）隨機(jī)森林算法被銀行用來預(yù)測貸款申請人是否可能是高風(fēng)險(xiǎn)。

（2）它們用于汽車工業(yè)中以預(yù)測機(jī)械部件的故障或故障。

（3）這些算法用于醫(yī)療保健行業(yè)以預(yù)測患者是否可能發(fā)展成慢性疾病。