機(jī)器學(xué)習(xí) - 多領(lǐng)域交叉學(xué)科
機(jī)器學(xué)習(xí)（Machine Learning,ML）是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。
它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。它的應(yīng)用已遍及人工智能的各個(gè)分支，如專家系統(tǒng)、自動(dòng)推理、自然語言理解、模式識(shí)別、計(jì)算機(jī)視覺、智能機(jī)器人等領(lǐng)域。其中尤其典型的是專家系統(tǒng)中的知識(shí)獲取瓶頸問題，人們一直在努力試圖采用機(jī)器學(xué)習(xí)的方法加以克服。
研究意義
學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長期以來卻眾說紛紜。社會(huì)學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法。
比如，Langley（1996定義的機(jī)器學(xué)習(xí)是“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）
Tom Mitchell的機(jī)器學(xué)習(xí) - 1997對(duì)信息論中的一些概念有詳細(xì)的解釋,其中定義機(jī)器學(xué)習(xí)時(shí)提到，“機(jī)器學(xué)習(xí)是對(duì)能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。（Machine Learning is the study of computer algorithms that improve automatically through experience.）
Alpaydin（2004）同時(shí)提出自己對(duì)機(jī)器學(xué)習(xí)的定義，“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。”（Machine learning is programming computers to optimize a performance criterion using example data or past experience.）
盡管如此，為了便于進(jìn)行討論和估計(jì)學(xué)科的進(jìn)展，有必要對(duì)機(jī)器學(xué)習(xí)給出定義，即使這種定義是不完全的和不充分的。顧名思義，機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問。這里所說的“機(jī)器”，指的就是計(jì)算機(jī)，電子計(jì)算機(jī)，中子計(jì)算機(jī)、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等。
機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢？1959年美國的塞繆爾 - Samuel設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對(duì)弈中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過了3年，這個(gè)程序戰(zhàn)勝了美國一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問題與哲學(xué)問題。
機(jī)器的能力是否能超過人的，很多持否定意見的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無論如何其能力也不會(huì)超過設(shè)計(jì)者本人。這種意見對(duì)不具備學(xué)習(xí)能力的機(jī)器來說的確是對(duì)的，可是對(duì)具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平。
機(jī)器學(xué)習(xí)有下面幾種定義：“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。“機(jī)器學(xué)習(xí)是對(duì)能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。”
一種經(jīng)常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用，例如：數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言處理、生物特征識(shí)別、搜索引擎、醫(yī)學(xué)診斷、檢測(cè)信用卡欺詐、證券市場(chǎng)分析、DNA序列測(cè)序、語音和手寫識(shí)別、戰(zhàn)略游戲和機(jī)器人運(yùn)用。
發(fā)展史
機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支，它的發(fā)展過程大體上可分為4個(gè)時(shí)期。
第一階段是在20世紀(jì)50年代中葉到60年代中葉，屬于熱烈時(shí)期。
第二階段是在20世紀(jì)60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。
第三階段是從20世紀(jì)70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。
機(jī)器學(xué)習(xí)的最新階段始于1986年。
機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)在下列諸方面：
- 1機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成一門課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。
- 2結(jié)合各種學(xué)習(xí)方法，取長補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)研究正在興起。特別是連接學(xué)習(xí)符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問題而受到重視。
- 3機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點(diǎn)正在形成。例如學(xué)習(xí)與問題求解結(jié)合進(jìn)行、知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類比學(xué)習(xí)與問題求解結(jié)合的基于案例方法已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。
- 4各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品。歸納學(xué)習(xí)的知識(shí)獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用。連接學(xué)習(xí)在聲圖文識(shí)別中占優(yōu)勢(shì)。分析學(xué)習(xí)已用于設(shè)計(jì)綜合型專家系統(tǒng)。遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號(hào)系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。
- 5與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國際上除每年一次的機(jī)器學(xué)習(xí)研討會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議以及遺傳算法會(huì)議。
主要策略
學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動(dòng)，學(xué)習(xí)過程與推理過程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為4種——機(jī)械學(xué)習(xí)、通過傳授學(xué)習(xí)、類比學(xué)習(xí)和通過事例學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。
基本結(jié)構(gòu)
表示學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)。環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部分利用這些信息修改知識(shí)庫，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識(shí)庫完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中，環(huán)境，知識(shí)庫和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問題完全由上述3部分確定。下面我們分別敘述這3部分對(duì)設(shè)計(jì)學(xué)習(xí)系統(tǒng)的影響。
影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息?；蛘吒唧w地說是信息的質(zhì)量。知識(shí)庫里存放的是指導(dǎo)執(zhí)行部分動(dòng)作的一般原則，但環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息卻是各種各樣的。如果信息的質(zhì)量比較高，與一般原則的差別比較小，則學(xué)習(xí)部分比較容易處理。
如果向?qū)W習(xí)系統(tǒng)提供的是雜亂無章的指導(dǎo)執(zhí)行具體動(dòng)作的具體信息，則學(xué)習(xí)系統(tǒng)需要在獲得足夠數(shù)據(jù)之后，刪除不必要的細(xì)節(jié)，進(jìn)行總結(jié)推廣，形成指導(dǎo)動(dòng)作的一般原則，放入知識(shí)庫，這樣學(xué)習(xí)部分的任務(wù)就比較繁重，設(shè)計(jì)起來也較為困難。
因?yàn)閷W(xué)習(xí)系統(tǒng)獲得的信息往往是不完全的，所以學(xué)習(xí)系統(tǒng)所進(jìn)行的推理并不完全是可靠的，它總結(jié)出來的規(guī)則可能正確，也可能不正確。這要通過執(zhí)行效果加以檢驗(yàn)。正確的規(guī)則能使系統(tǒng)的效能提高，應(yīng)予保留；不正確的規(guī)則應(yīng)予修改或從數(shù)據(jù)庫中刪除。
知識(shí)庫是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有多種形式，比如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等等。這些表示方式各有其特點(diǎn)，在選擇表示方式時(shí)要兼顧以下4個(gè)方面：
- 1表達(dá)能力強(qiáng)。
- 2易于推理。
- 3容易修改知識(shí)庫。
- 4知識(shí)表示易于擴(kuò)展。
對(duì)于知識(shí)庫最后需要說明的一個(gè)問題是學(xué)習(xí)系統(tǒng)不能在全然沒有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng)都要求具有某些知識(shí)理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這些假設(shè)。因此，更確切地說，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。
執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問題有3個(gè)：復(fù)雜性、反饋和透明性。
代碼示例
本程序?qū)⒏鶕?jù)您的評(píng)價(jià)判斷執(zhí)行結(jié)果"1+1=2"實(shí)際上僅用了最簡(jiǎn)單的if else for語句這就是一個(gè)機(jī)器學(xué)習(xí)的例子，通過環(huán)境影響來進(jìn)行學(xué)習(xí)。通過本例我們不難看出，在人工錯(cuò)誤的引導(dǎo)下，機(jī)器會(huì)給出錯(cuò)誤的答案1+1不等于2。所以此類學(xué)習(xí)方法，一定要在正確引導(dǎo)下實(shí)踐，否則會(huì)得到最壞的結(jié)果。學(xué)習(xí)完畢后，計(jì)算機(jī)會(huì)記錄本次學(xué)習(xí)結(jié)果，存入數(shù)據(jù)庫，下次執(zhí)行相應(yīng)任務(wù)時(shí)，再將結(jié)果調(diào)出執(zhí)行。
分類
基于學(xué)習(xí)策略的分類
學(xué)習(xí)策略是指學(xué)習(xí)過程中系統(tǒng)所采用的推理策略。一個(gè)學(xué)習(xí)系統(tǒng)總是由學(xué)習(xí)和環(huán)境兩部分組成。由環(huán)境（如書本或教師）提供信息，學(xué)習(xí)部分則實(shí)現(xiàn)信息轉(zhuǎn)換，用能夠理解的形式記憶下來，并從中獲取有用的信息。在學(xué)習(xí)過程中，學(xué)生（學(xué)習(xí)部分）使用的推理越少，他對(duì)教師（環(huán)境）的依賴就越大，教師的負(fù)擔(dān)也就越重。學(xué)習(xí)策略的分類標(biāo)準(zhǔn)就是根據(jù)學(xué)生實(shí)現(xiàn)信息轉(zhuǎn)換所需的推理多少和難易程度來分類的，依從簡(jiǎn)單到復(fù)雜，從少到多的次序分為以下六種基本類型：
1）機(jī)械學(xué)習(xí) - Rote learning
學(xué)習(xí)者無需任何推理或其它的知識(shí)轉(zhuǎn)換，直接吸取環(huán)境所提供的信息。如塞繆爾的跳棋程序，紐厄爾和西蒙的LT系統(tǒng)。這類學(xué)習(xí)系統(tǒng)主要考慮的是如何索引存貯的知識(shí)并加以利用。系統(tǒng)的學(xué)習(xí)方法是直接通過事先編好、構(gòu)造好的程序來學(xué)習(xí)，學(xué)習(xí)者不作任何工作，或者是通過直接接收既定的事實(shí)和數(shù)據(jù)進(jìn)行學(xué)習(xí)，對(duì)輸入信息不作任何的推理。
2）示教學(xué)習(xí) - Learning from instruction或Learning by being told
學(xué)生從環(huán)境（教師或其它信息源如教科書等）獲取信息，把知識(shí)轉(zhuǎn)換成內(nèi)部可使用的表示形式，并將新的知識(shí)和原有知識(shí)有機(jī)地結(jié)合為一體。所以要求學(xué)生有一定程度的推理能力，但環(huán)境仍要做大量的工作。教師以某種形式提出和組織知識(shí)，以使學(xué)生擁有的知識(shí)可以不斷地增加。
這種學(xué)習(xí)方法和人類社會(huì)的學(xué)校教學(xué)方式相似，學(xué)習(xí)的任務(wù)就是建立一個(gè)系統(tǒng)，使它能接受教導(dǎo)和建議，并有效地存貯和應(yīng)用學(xué)到的知識(shí)。不少專家系統(tǒng)在建立知識(shí)庫時(shí)使用這種方法去實(shí)現(xiàn)知識(shí)獲取。示教學(xué)習(xí)的一個(gè)典型應(yīng)用例是FOO程序。
3）演繹學(xué)習(xí) - Learning by deduction
學(xué)生所用的推理形式為演繹推理。推理從公理出發(fā)，經(jīng)過邏輯變換推導(dǎo)出結(jié)論。這種推理是"保真"變換和特化 - specialization的過程，使學(xué)生在推理過程中可以獲取有用的知識(shí)。這種學(xué)習(xí)方法包含宏操作 - macro-operation學(xué)習(xí)、知識(shí)編輯和組塊 - Chunking技術(shù)。演繹推理的逆過程是歸納推理。
4）類比學(xué)習(xí) - Learning by analogy
利用二個(gè)不同領(lǐng)域（源域、目標(biāo)域）中的知識(shí)相似性，可以通過類比，從源域的知識(shí)（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識(shí)，從而實(shí)現(xiàn)學(xué)習(xí)。類比學(xué)習(xí)系統(tǒng)可以使一個(gè)已有的計(jì)算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來完成原先沒有設(shè)計(jì)的相類似的功能。
類比學(xué)習(xí)需要比上述三種學(xué)習(xí)方式更多的推理。它一般要求先從知識(shí)源（源域）中檢索出可用的知識(shí)，再將其轉(zhuǎn)換成新的形式，用到新的狀況（目標(biāo)域）中去。類比學(xué)習(xí)在人類科學(xué)技術(shù)發(fā)展史上起著重要作用，許多科學(xué)發(fā)現(xiàn)就是通過類比得到的。例如著名的盧瑟福類比就是通過將原子結(jié)構(gòu)（目標(biāo)域）同太陽系（源域）作類比，揭示了原子結(jié)構(gòu)的奧秘。
5）基于解釋的學(xué)習(xí) - Explanation-based learning, EBL
學(xué)生根據(jù)教師提供的目標(biāo)概念、該概念的一個(gè)例子、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個(gè)解釋來說明為什該例子滿足目標(biāo)概念，然后將解釋推廣為目標(biāo)概念的一個(gè)滿足可操作準(zhǔn)則的充分條件。EBL已被廣泛應(yīng)用于知識(shí)庫求精和改善系統(tǒng)的性能。
著名的EBL系統(tǒng)有迪喬恩（G.DeJong）的GENESIS,米切爾（T.Mitchell）的LEXII和LEAP,以及明頓（S.Minton）等的PRODIGY。
6）歸納學(xué)習(xí) - Learning from induction
歸納學(xué)習(xí)是由教師或環(huán)境提供某概念的一些實(shí)例或反例，讓學(xué)生通過歸納推理得出該概念的一般描述。這種學(xué)習(xí)的推理工作量遠(yuǎn)多于示教學(xué)習(xí)和演繹學(xué)習(xí)，因?yàn)榄h(huán)境并不提供一般性概念描述（如公理）。從某種程度上說，歸納學(xué)習(xí)的推理量也比類比學(xué)習(xí)大，因?yàn)闆]有一個(gè)類似的概念可以作為"源概念"加以取用。歸納學(xué)習(xí)是最基本的，發(fā)展也較為成熟的學(xué)習(xí)方法，在人工智能領(lǐng)域中已經(jīng)得到廣泛的研究和應(yīng)用。
基于所獲取知識(shí)的表示形式分類
學(xué)習(xí)系統(tǒng)獲取的知識(shí)可能有：行為規(guī)則、物理對(duì)象的描述、問題求解策略、各種分類及其它用于任務(wù)實(shí)現(xiàn)的知識(shí)類型。
對(duì)于學(xué)習(xí)中獲取的知識(shí)，主要有以下一些表示形式：
1）代數(shù)表達(dá)式參數(shù)
學(xué)習(xí)的目標(biāo)是調(diào)節(jié)一個(gè)固定函數(shù)形式的代數(shù)表達(dá)式參數(shù)或系數(shù)來達(dá)到一個(gè)理想的性能。
2）決策樹
用決策樹來劃分物體的類屬，樹中每一內(nèi)部節(jié)點(diǎn)對(duì)應(yīng)一個(gè)物體屬性，而每一邊對(duì)應(yīng)于這些屬性的可選值，樹的葉節(jié)點(diǎn)則對(duì)應(yīng)于物體的每個(gè)基本分類。
3）形式文法
在識(shí)別一個(gè)特定語言的學(xué)習(xí)中，通過對(duì)該語言的一系列表達(dá)式進(jìn)行歸納，形成該語言的形式文法。
4）產(chǎn)生式規(guī)則
產(chǎn)生式規(guī)則表示為條件—?jiǎng)幼鲗?duì)，已被極為廣泛地使用。學(xué)習(xí)系統(tǒng)中的學(xué)習(xí)行為主要是：生成、泛化、特化（Specialization）或合成產(chǎn)生式規(guī)則。
5）形式邏輯表達(dá)式
形式邏輯表達(dá)式的基本成分是命題、謂詞、變量、約束變量范圍的語句，及嵌入的邏輯表達(dá)式。
6）圖和網(wǎng)絡(luò)
有的系統(tǒng)采用圖匹配和圖轉(zhuǎn)換方案來有效地比較和索引知識(shí)。
7）框架和模式（schema）
每個(gè)框架包含一組槽，用于描述事物（概念和個(gè)體）的各個(gè)方面。
8）計(jì)算機(jī)程序和其它的過程編碼
獲取這種形式的知識(shí)，目的在于取得一種能實(shí)現(xiàn)特定過程的能力，而不是為了推斷該過程的內(nèi)部結(jié)構(gòu)。
9）神經(jīng)網(wǎng)絡(luò)
這主要用在聯(lián)接學(xué)習(xí)中。學(xué)習(xí)所獲取的知識(shí)，最后歸納為一個(gè)神經(jīng)網(wǎng)絡(luò)。
10）多種表示形式的組合
有時(shí)一個(gè)學(xué)習(xí)系統(tǒng)中獲取的知識(shí)需要綜合應(yīng)用上述幾種知識(shí)表示形式。
根據(jù)表示的精細(xì)程度，可將知識(shí)表示形式分為兩大類：泛化程度高的粗粒度符號(hào)表示、?泛化程度低的精粒度亞符號(hào) - sub-symbolic表示。像決策樹、形式文法、產(chǎn)生式規(guī)則、形式邏輯表達(dá)式、框架和模式等屬于符號(hào)表示類；而代數(shù)表達(dá)式參數(shù)、圖和網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等則屬亞符號(hào)表示類。
按應(yīng)用領(lǐng)域分類
最主要的應(yīng)用領(lǐng)域有：專家系統(tǒng)、認(rèn)知模擬、規(guī)劃和問題求解、數(shù)據(jù)挖掘、網(wǎng)絡(luò)信息服務(wù)、圖象識(shí)別、故障診斷、自然語言理解、機(jī)器人和博弈等領(lǐng)域。
從機(jī)器學(xué)習(xí)的執(zhí)行部分所反映的任務(wù)類型上看，大部分的應(yīng)用研究領(lǐng)域基本上集中于以下兩個(gè)范疇：分類和問題求解。
（1）分類任務(wù)要求系統(tǒng)依據(jù)已知的分類知識(shí)對(duì)輸入的未知模式（該模式的描述）作分析，以確定輸入模式的類屬。相應(yīng)的學(xué)習(xí)目標(biāo)就是學(xué)習(xí)用于分類的準(zhǔn)則（如分類規(guī)則）。
（2）問題求解任務(wù)要求對(duì)于給定的目標(biāo)狀態(tài),?尋找一個(gè)將當(dāng)前狀態(tài)轉(zhuǎn)換為目標(biāo)狀態(tài)的動(dòng)作序列；機(jī)器學(xué)習(xí)在這一領(lǐng)域的研究工作大部分集中于通過學(xué)習(xí)來獲取能提高問題求解效率的知識(shí)（如搜索控制知識(shí)，啟發(fā)式知識(shí)等）。
綜合分類
綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識(shí)表示、推理策略、結(jié)果評(píng)估的相似性、研究人員交流的相對(duì)集中性以及應(yīng)用領(lǐng)域等諸因素。將機(jī)器學(xué)習(xí)方法
區(qū)分為以下六類：
1）經(jīng)驗(yàn)性歸納學(xué)習(xí) - empirical inductive learning
經(jīng)驗(yàn)性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗(yàn)方法（如版本空間法、ID3法，定律發(fā)現(xiàn)方法）對(duì)例子進(jìn)行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號(hào)表示。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強(qiáng)學(xué)習(xí)的部分。
2）分析學(xué)習(xí)（analytic learning）
分析學(xué)習(xí)方法是從一個(gè)或少數(shù)幾個(gè)實(shí)例出發(fā)，運(yùn)用領(lǐng)域知識(shí)進(jìn)行分析。其主要特征為：
·推理策略主要是演繹，而非歸納；
·使用過去的問題求解經(jīng)驗(yàn)（實(shí)例）指導(dǎo)新的問題求解，或產(chǎn)生能更有效地運(yùn)用領(lǐng)域知識(shí)的搜索控制規(guī)則。
分析學(xué)習(xí)的目標(biāo)是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級(jí)結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。
3）類比學(xué)習(xí)
它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。在這一類型的學(xué)習(xí)中比較引人注目的研究是通過與過去經(jīng)歷的具體事例作類比來學(xué)習(xí)，稱為基于范例的學(xué)習(xí) - case_based learning，或簡(jiǎn)稱范例學(xué)習(xí)。
4）遺傳算法（genetic algorithm）
遺傳算法模擬生物繁殖的突變、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個(gè)向量，稱為個(gè)體，向量的每一個(gè)元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對(duì)群體（個(gè)體的集合）中的每一個(gè)個(gè)體進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)值（適應(yīng)度）對(duì)個(gè)體進(jìn)行選擇、交換、變異等遺傳操作，從而得到新的群體。
遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無關(guān)數(shù)據(jù)、事物不斷更新、問題目標(biāo)不能明顯和精確地定義，以及通過很長的執(zhí)行過程才能確定當(dāng)前行為的價(jià)值等。同神經(jīng)網(wǎng)絡(luò)一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個(gè)獨(dú)立分支，其代表人物為霍勒德（J.H.Holland）。
5）聯(lián)接學(xué)習(xí)
典型的聯(lián)接模型實(shí)現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡(jiǎn)單計(jì)算單元以及單元間的加權(quán)聯(lián)接組成。
6）增強(qiáng)學(xué)習(xí)（reinforcement learning）
增強(qiáng)學(xué)習(xí)的特點(diǎn)是通過與環(huán)境的試探性（trial and error）交互來確定和優(yōu)化動(dòng)作的選擇，以實(shí)現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，學(xué)習(xí)機(jī)制通過選擇并執(zhí)行動(dòng)作，導(dǎo)致系統(tǒng)狀態(tài)的變化，并有可能得到某種強(qiáng)化信號(hào)（立即回報(bào)），從而實(shí)現(xiàn)與環(huán)境的交互。強(qiáng)化信號(hào)就是對(duì)系統(tǒng)行為的一種標(biāo)量化的獎(jiǎng)懲。系統(tǒng)學(xué)習(xí)的目標(biāo)是尋找一個(gè)合適的動(dòng)作選擇策略，即在任一給定的狀態(tài)下選擇哪種動(dòng)作的方法，使產(chǎn)生的動(dòng)作序列可獲得某種最優(yōu)的結(jié)果（如累計(jì)立即回報(bào)最大）。
在綜合分類中,經(jīng)驗(yàn)歸納學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)和增強(qiáng)學(xué)習(xí)均屬于歸納學(xué)習(xí)，其中經(jīng)驗(yàn)歸納學(xué)習(xí)采用符號(hào)表示方式，而遺傳算法、聯(lián)接學(xué)習(xí)和加強(qiáng)學(xué)習(xí)則采用亞符號(hào)表示方式；分析學(xué)習(xí)屬于演繹學(xué)習(xí)。
實(shí)際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學(xué)習(xí)策略只有歸納和演繹。
從學(xué)習(xí)內(nèi)容的角度看，采用歸納策略的學(xué)習(xí)由于是對(duì)輸入進(jìn)行歸納，所學(xué)習(xí)的知識(shí)顯然超過原有系統(tǒng)知識(shí)庫所能蘊(yùn)涵的范圍,所學(xué)結(jié)果改變了系統(tǒng)的知識(shí)演繹閉包,因而這種類型的學(xué)習(xí)又可稱為知識(shí)級(jí)學(xué)習(xí);而采用演繹策略的學(xué)習(xí)盡管所學(xué)的知識(shí)能提高系統(tǒng)的效率，但仍能被原有系統(tǒng)的知識(shí)庫所蘊(yùn)涵,即所學(xué)的知識(shí)未能改變系統(tǒng)的演繹閉包,因而這種類型的學(xué)習(xí)又被稱為符號(hào)級(jí)學(xué)習(xí)。
學(xué)習(xí)形式分類
1）監(jiān)督學(xué)習(xí) - supervised learning
監(jiān)督學(xué)習(xí)，即在機(jī)械學(xué)習(xí)過程中提供對(duì)錯(cuò)指示。一般實(shí)在是數(shù)據(jù)組中包含最終結(jié)果（0，1）。通過算法讓機(jī)器自我減少誤差。這一類學(xué)習(xí)主要應(yīng)用于分類和預(yù)測(cè) - regression & classify。監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。
2）非監(jiān)督學(xué)習(xí) - unsupervised learning
非監(jiān)督學(xué)習(xí)又稱歸納性學(xué)習(xí)（clustering）利用K方式 - Kmeans，建立中心（centriole），通過循環(huán)和遞減運(yùn)算 - iteration&descent來減小誤差，達(dá)到分類的目的。
研究領(lǐng)域
機(jī)器學(xué)習(xí)領(lǐng)域的研究工作主要圍繞以下三個(gè)方面進(jìn)行：
（1）面向任務(wù)的研究
研究和分析改進(jìn)一組預(yù)定任務(wù)的執(zhí)行性能的學(xué)習(xí)系統(tǒng)。
（2）認(rèn)知模型
研究人類學(xué)習(xí)過程并進(jìn)行計(jì)算機(jī)模擬。
（3）理論分析
從理論上探索各種可能的學(xué)習(xí)方法和獨(dú)立于應(yīng)用領(lǐng)域的算法
機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一。現(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)沒有什么學(xué)習(xí)能力，至多也只有非常有限的學(xué)習(xí)能力，因而不能滿足科技和生產(chǎn)提出的新要求。對(duì)機(jī)器學(xué)習(xí)的討論和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將促使人工智能和整個(gè)科學(xué)技術(shù)的進(jìn)一步發(fā)展。
相關(guān)圖書
基本信息
原作名:Machine Learning for Hackers
作者:（美）Drew Conway/John Myles White
譯者:陳開江/劉逸哲/孟曉楠/羅森林審校
出版社:機(jī)械工業(yè)出版社
頁數(shù):320
定價(jià):69.00
ISBN:9787111417316
內(nèi)容簡(jiǎn)介
這本書為機(jī)器學(xué)習(xí)技術(shù)提供了一些非常棒的案例研究。它并不想成為一本關(guān)于機(jī)器學(xué)習(xí)的工具書或者理論書籍，它注重的是一個(gè)學(xué)習(xí)的過程，因而對(duì)于任何有一些編程背景和定量思維的人來說，它都是不錯(cuò)的選擇。
——Max Shron OkCupid
機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)和人工智能中非常重要的一個(gè)研究領(lǐng)域，機(jī)器學(xué)習(xí)不但在計(jì)算機(jī)科學(xué)的眾多領(lǐng)域中大顯身手，而且成為一些交叉學(xué)科的重要支撐技術(shù)。本書比較全面系統(tǒng)地介紹了機(jī)器學(xué)習(xí)的方法和技術(shù)，不僅詳細(xì)闡述了許多經(jīng)典的學(xué)習(xí)方法，還討論了一些有生命力的新理論、新方法。
全書案例既有分類問題，也有回歸問題；既包含監(jiān)督學(xué)習(xí)，也涵蓋無監(jiān)督學(xué)習(xí)。本書討論的案例從分類講到回歸，然后討論了聚類、降維、最優(yōu)化問題等。這些案例包括分類：垃圾郵件識(shí)別，排序：智能收件箱，回歸模型：預(yù)測(cè)網(wǎng)頁訪問量，正則化：文本回歸，最優(yōu)化：密碼破解，無監(jiān)督學(xué)習(xí)：構(gòu)建股票市場(chǎng)指數(shù)，空間相似度：用投票記錄對(duì)美國參議員聚類，推薦系統(tǒng)：給用戶推薦R語言包，社交網(wǎng)絡(luò)分析：在Twitter上感興趣的人，模型比較：給你的問題找到最佳算法。
各章對(duì)原理的敘述力求概念清晰、表達(dá)準(zhǔn)確，突出理論聯(lián)系實(shí)際，富有啟發(fā)性，易于理解。在探索這些案例的過程中用到的基本工具就是R統(tǒng)計(jì)編程語言。R語言非常適合用于機(jī)器學(xué)習(xí)的案例研究，因?yàn)樗且环N用于數(shù)據(jù)分析的高水平、功能性腳本語言。
本書主要內(nèi)容：
開發(fā)一個(gè)樸素貝葉斯分類器，僅僅根據(jù)郵件的文本信息來判斷這封郵件是否是垃圾郵件；
使用線性回歸來預(yù)測(cè)互聯(lián)網(wǎng)排名前1000網(wǎng)站的PV；
利用文本回歸理解圖書中詞與詞之間的關(guān)系；
通過嘗試破譯一個(gè)簡(jiǎn)單的密碼來學(xué)習(xí)優(yōu)化技術(shù)；
利用無監(jiān)督學(xué)習(xí)構(gòu)建股票市場(chǎng)指數(shù)，用于衡量整體市場(chǎng)行情的好壞；
根據(jù)美國參議院的投票情況，從統(tǒng)計(jì)學(xué)的角度對(duì)美國參議員聚類；
通過K近鄰算法構(gòu)建向用戶推薦R語言包；
利用Twitter數(shù)據(jù)來構(gòu)建一個(gè)“你可能感興趣的人”的推薦系統(tǒng)；
模型比較：給你的問題找到最佳算法。
作者簡(jiǎn)介
Drew Conway機(jī)器學(xué)習(xí)專家，擁有豐富的數(shù)據(jù)分析與處理工作經(jīng)驗(yàn)。主要利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)研究國際關(guān)系、沖突和恐怖主義等。他曾作為研究員在美國情報(bào)和國防部門供職數(shù)年。他擁有紐約大學(xué)政治系博士學(xué)位，曾為多種雜志撰寫文章，是機(jī)器學(xué)習(xí)領(lǐng)域的著名學(xué)者。
John Myles White機(jī)器學(xué)習(xí)專家，擁有豐富的數(shù)據(jù)分析與處理工作經(jīng)驗(yàn)。主要從理論和實(shí)驗(yàn)的角度來研究人類如何做出決定，同時(shí)還是幾個(gè)流行的R語言程序包的主要維護(hù)者，包括ProjectTemplate和log4r。他擁有普林斯頓大學(xué)哲學(xué)系博士學(xué)位，曾為多家技術(shù)雜志撰稿，發(fā)表過許多關(guān)于機(jī)器學(xué)習(xí)的論文，并在眾多國際會(huì)議上發(fā)表演講。
譯者簡(jiǎn)介
羅森林
博士，教授，博導(dǎo)。現(xiàn)任北京理工大學(xué)信息系統(tǒng)及安全對(duì)抗實(shí)驗(yàn)中心主任、專業(yè)責(zé)任教授。國防科技工業(yè)局科學(xué)技術(shù)委員會(huì)成員；《中國醫(yī)學(xué)影像技術(shù)雜志》、《中國介入影像與治療學(xué)》編委會(huì)委員；全國大學(xué)生信息安全技術(shù)專題邀請(qǐng)賽專家組副組長；中國人工智能學(xué)會(huì)智能信息安全專業(yè)委員會(huì)委員等。
主要研究方向?yàn)樾畔踩?、?shù)據(jù)挖掘、媒體計(jì)算、中文信息處理等。負(fù)責(zé)或參加完成國家自然科學(xué)基金、國家科技支撐計(jì)劃、863計(jì)劃、國家242計(jì)劃等省部級(jí)以上項(xiàng)目40余項(xiàng)。已發(fā)表學(xué)術(shù)論文90余篇，出版著作8部，出版譯著1部，獲授權(quán)專利3項(xiàng)。
陳開江
新浪微博搜索部研發(fā)工程師，曾獨(dú)立負(fù)責(zé)微博內(nèi)容反垃圾系統(tǒng)、微博精選內(nèi)容挖掘算法、自助客服系統(tǒng)（包括自動(dòng)回復(fù)、主動(dòng)挖掘、輿情監(jiān)測(cè)）等項(xiàng)目，主要從事社交挖掘、推薦算法研究、機(jī)器學(xué)習(xí)、自然語言處理相關(guān)工作，研究興趣是社交網(wǎng)絡(luò)的個(gè)性化推薦。
劉逸哲
阿里巴巴，CBU基礎(chǔ)平臺(tái)部搜索與推薦團(tuán)隊(duì)核心技術(shù)與query分析方向負(fù)責(zé)人，機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域及圈子負(fù)責(zé)人。曾任中國雅虎相關(guān)性團(tuán)隊(duì)、自然語言處理團(tuán)隊(duì)算法工程師；AvePoint.inc開發(fā)工程師，從事企業(yè)級(jí)搜索引擎開發(fā)。研究興趣是機(jī)器學(xué)習(xí)、自然語言處理及個(gè)性化推薦等算法在大規(guī)模數(shù)據(jù)上的應(yīng)用。
孟曉楠
一淘廣告技術(shù)，阿里非搜索廣告算法負(fù)責(zé)人，負(fù)責(zé)用戶行為分析、建模與細(xì)分，RTB競(jìng)價(jià)算法，展示廣告CTR預(yù)估與SEM優(yōu)化。曾工作于網(wǎng)易杭州研究院，參與過分布式全文檢索系統(tǒng)和網(wǎng)易博客產(chǎn)品的數(shù)據(jù)挖掘算法開發(fā)。研究興趣是計(jì)算廣告技術(shù)、機(jī)器學(xué)習(xí)、大數(shù)據(jù)技術(shù)、信息檢索等。