統(tǒng)計(jì)學(xué)習(xí)方法書籍推薦

　　統(tǒng)計(jì)學(xué)習(xí)方法是什么?想了解更多的信息嗎，以下是學(xué)習(xí)啦小編分享給大家的統(tǒng)計(jì)學(xué)習(xí)方法的資料，希望可以幫到你!

　　統(tǒng)計(jì)學(xué)習(xí)方法書籍有哪些

　　《女士品茶》

　　內(nèi)容簡(jiǎn)介：

　　《20世紀(jì)統(tǒng)計(jì)怎樣變革了科學(xué):女士品茶》以某位喝茶的英國(guó)女士的假設(shè)學(xué)說(shuō)為起點(diǎn)，引出了近代數(shù)理統(tǒng)計(jì)的開創(chuàng)者——費(fèi)歇爾，以及費(fèi)歇爾為解決類似問(wèn)題而發(fā)明的實(shí)驗(yàn)設(shè)計(jì)法。書中細(xì)數(shù)了二十世紀(jì)參與這場(chǎng)科學(xué)變革的代表性人物與事跡。

　　豆瓣短評(píng)：

　　世界上沒(méi)有任何一個(gè)實(shí)驗(yàn)設(shè)計(jì)是完美的，但我們?nèi)钥梢越璐藷o(wú)限接近真相。這本書算是補(bǔ)充批判性思維的知識(shí)面。其中提到的哲學(xué)層面非常深?yuàn)W，如何在理論上立足，如何統(tǒng)一內(nèi)部，如何與現(xiàn)實(shí)世界關(guān)聯(lián)，等等。很有趣。

　　By xigesade

　　《統(tǒng)計(jì)陷阱》

　　內(nèi)容簡(jiǎn)介：

　　《統(tǒng)計(jì)陷阱》是美國(guó)統(tǒng)計(jì)學(xué)家達(dá)萊爾·哈夫的名著，自1954年出版至今，多次重印，被譯為多種文字，影響深遠(yuǎn)。

　　在日常的經(jīng)濟(jì)生活中，我們將接觸到越來(lái)越多的統(tǒng)計(jì)數(shù)據(jù)和資料，例如各種證券信息、投資可行性研究報(bào)告、公司財(cái)務(wù)報(bào)告等，這些資料、數(shù)據(jù)如何去偽存真，如何進(jìn)行鑒別?這本《統(tǒng)計(jì)陷阱》回答了這些問(wèn)題。

　　豆瓣短評(píng)：

　　達(dá)萊爾.哈夫的統(tǒng)計(jì)陷阱，原名如何利用統(tǒng)計(jì)說(shuō)謊，雖然是60年前的書，但今天來(lái)看依舊很有價(jià)值。面對(duì)這個(gè)信息量巨大的世界，我們每天會(huì)碰到大量真假難辨的信息，這就要求我們提高處理信息的能力。很可惜的是，很多人對(duì)于網(wǎng)絡(luò)上的大量數(shù)據(jù)不問(wèn)出處不問(wèn)真假的選擇相信。也許看完這本書之后你會(huì)有不同的思考。

　　By Ahem

　　《赤裸裸的統(tǒng)計(jì)學(xué)》

　　內(nèi)容簡(jiǎn)介：

　　《赤裸裸的統(tǒng)計(jì)學(xué)》一書的作者查爾斯•惠倫“扒光”了統(tǒng)計(jì)學(xué)“沉悶的外衣”，用生活中有趣的案例、直觀的圖表、生動(dòng)詼諧的語(yǔ)言風(fēng)格，徹底揭開了統(tǒng)計(jì)學(xué)、大數(shù)據(jù)和數(shù)字的“神秘面紗”，讓我們知道權(quán)威期刊、媒體新聞、民意調(diào)研中公布的數(shù)字從何而來(lái)，輕松掌握判斷這些統(tǒng)計(jì)數(shù)字“是否在撒謊”的秘籍。同時(shí)，作者還將統(tǒng)計(jì)學(xué)的工具帶入日常生活中，告訴我們?yōu)槭裁床灰I彩票，為什么你家附近的商場(chǎng)會(huì)知道你懷孕的消息并給你寄來(lái)紙尿褲的優(yōu)惠券，等等。

　　大數(shù)據(jù)時(shí)代你必須掌握的統(tǒng)計(jì)學(xué)知識(shí)，全部都在這本書中。從今天開始，好好使用統(tǒng)計(jì)學(xué)和數(shù)據(jù)吧!

　　豆瓣短評(píng)：

　　大學(xué)時(shí)灌輸式的教學(xué)并沒(méi)有讓我對(duì)統(tǒng)計(jì)學(xué)這門課產(chǎn)生太多的興趣，本著只要通過(guò)的念頭對(duì)很多統(tǒng)計(jì)學(xué)的知識(shí)了解不夠透徹，翻閱這本書似乎就有了另一番感覺(jué)，生動(dòng)的例子中那些概念類的知識(shí)能夠更好的被理解，對(duì)于所處的信息爆炸的時(shí)代，對(duì)各類統(tǒng)計(jì)數(shù)據(jù)本身做出的判斷一定是正確的么?當(dāng)然不，它們也會(huì)撒謊。這方面的意識(shí)說(shuō)來(lái)也是一個(gè)很棒的提高點(diǎn)。

　　By 微升驟落

　　《醉漢的腳步》

　　內(nèi)容簡(jiǎn)介：

　　《醉漢的腳步:隨機(jī)性如何主宰我們的生活》內(nèi)容簡(jiǎn)介：你知道嗎。在去買彩票的路上因車禍身亡的可能性。是彩票中獎(jiǎng)的可能性的兩倍!打破了貝比·魯斯本壘打紀(jì)錄的奇人羅杰·馬立斯，也非?？赡軆H僅是幸運(yùn)而非偉大!一種葡萄酒被某本刊物給予了五顆星的最高評(píng)分，卻被另一本刊物評(píng)為一個(gè)年代中最差的葡萄酒，這是怎么回事?

　　在這本顛覆常識(shí)又具有啟蒙性的書中，列納德·蒙洛迪諾通過(guò)解開偶然性的真實(shí)本性。以及導(dǎo)致我們誤判周遭世界的那些心理錯(cuò)覺(jué)。生動(dòng)地展示了什么是真正有意義的東西。而我們又如何才能在一個(gè)更深層次真理的基礎(chǔ)上。來(lái)進(jìn)行我們的決策。

　　《醉漢的腳步:隨機(jī)性如何主宰我們的生活》帶給你的。不僅是在隨機(jī)性、偶然性和概率中的一次漫游，還是一個(gè)看待世界的全新視角。它同時(shí)提醒著我們，生活中的許多事情。大致就如同剛在酒吧待了一夜的家伙那蹣跚的步履一般難以預(yù)測(cè)。

　　豆瓣短評(píng)：

　　買了英文版，一直沒(méi)看。先看了中文版。由淺入深，由古到今，豐富的實(shí)例，不用一個(gè)公式，將概率論和數(shù)理統(tǒng)計(jì)的基本知識(shí)娓娓道來(lái)。當(dāng)年學(xué)隨機(jī)數(shù)學(xué)的時(shí)候能碰到這本書就好了。這本書應(yīng)該再版。

　　By 甲醇教授

　　《愛(ài)上統(tǒng)計(jì)學(xué)》

　　內(nèi)容簡(jiǎn)介：

　　在經(jīng)過(guò)不斷地摸索以及少量成功大量失敗的嘗試之后，我已經(jīng)學(xué)會(huì)了以某種方式教授統(tǒng)計(jì)學(xué)，我和我的許多學(xué)生認(rèn)為這種方式不會(huì)讓人感到害怕，同時(shí)能夠傳遞大量的信息。

　　通過(guò)這本書可以了解基礎(chǔ)統(tǒng)計(jì)學(xué)的范圍并學(xué)習(xí)所有應(yīng)該掌握的信息，也可以了解整理和分析數(shù)據(jù)的基本思路和最常用的技術(shù)。本書理論部分有一些，但是很少，數(shù)學(xué)證明或特定數(shù)學(xué)程式的合理性討論也很少。

　　為什么《愛(ài)上統(tǒng)計(jì)學(xué)》這本書不增加更多理論內(nèi)容?很簡(jiǎn)單，初學(xué)者不需要。這并不是我認(rèn)為理論不重要，而是在學(xué)習(xí)的這個(gè)階段，我想提供的是我認(rèn)為通過(guò)一定程度的努力可以理解和掌握的資料，同時(shí)又不會(huì)讓你感到害怕而放棄將來(lái)選修更多的課程。我和其他老師都希望你能成功。

　　因此，如果你想詳細(xì)了解方差分析中F值的含義，可以從Sage出版社查找其他的好書(我愿意向你推薦書目)。但是如果你想了解統(tǒng)計(jì)學(xué)為什么以及如何為你所用，這本書很合適。這本書能幫助你理解在專業(yè)文章中看到的資料，解釋許多統(tǒng)計(jì)分析結(jié)果的意義，并且能教你運(yùn)用基本的統(tǒng)計(jì)過(guò)程。

　　豆瓣短評(píng)：

　　很不錯(cuò)的統(tǒng)計(jì)學(xué)的入門書，簡(jiǎn)單入上手，尤其是課后習(xí)題，必須要一做，讀書不做題，純粹打醬油。 當(dāng)然，這本書也只是入門，里面的各種檢驗(yàn)的原理都沒(méi)有講。

　　By 平凡的老魚

　　《統(tǒng)計(jì)數(shù)據(jù)的真相》

　　內(nèi)容簡(jiǎn)介：

　　《統(tǒng)計(jì)數(shù)據(jù)的真相》讓讀者從另一個(gè)角度看待統(tǒng)計(jì)數(shù)據(jù)。自從本杰明·迪斯累里(Benjamin Disraelis)談及“世界上有三種謊言：謊言、該死的謊言，還有統(tǒng)計(jì)數(shù)據(jù)”之后，相關(guān)的俏皮話、諷刺語(yǔ)就不斷地落到可憐的統(tǒng)計(jì)學(xué)家頭上。這種批評(píng)、諷刺雖然“微不足道”，但在某種意義上卻是真實(shí)的。之所以說(shuō)“微不足道”，是因?yàn)槿藗儾粌H可以使用，而且能夠?yàn)E用每一種統(tǒng)計(jì)工具，統(tǒng)計(jì)數(shù)據(jù)在這里肯定不是孤立無(wú)援的，而是具有許多相互關(guān)聯(lián)的因素。之所以說(shuō)“真實(shí)”，是因?yàn)樗腥搜壑械氖澜缍际且晕覀兿矚g的方式看到的，而不是世界的客觀本來(lái)面目。

　　豆瓣短評(píng)：

　　沒(méi)有看到長(zhǎng)篇大論的空談理論，全篇都以短小精煉的事例來(lái)展示統(tǒng)計(jì)學(xué)諸多的不合理應(yīng)用，閱讀起來(lái)一點(diǎn)不覺(jué)得枯燥。個(gè)人覺(jué)得，本書就是教人怎么把糟糕的統(tǒng)計(jì)數(shù)據(jù)做的好看，能把一個(gè)快倒閉的公司的銷售業(yè)績(jī)做成像一個(gè)成長(zhǎng)中的公司業(yè)績(jī)，某種程度上還滿藝術(shù)的。

　　By 蒼紫色月光

　　《馴服偶然》

　　內(nèi)容簡(jiǎn)介：

　　20世紀(jì)的哲學(xué)家和科學(xué)家認(rèn)為宇宙是概率性的，因而偶然便是實(shí)在的。統(tǒng)計(jì)定律反映出宇宙的本質(zhì)，雖然有的事物有其固有的不可預(yù)測(cè)的一面，但是統(tǒng)計(jì)規(guī)律的實(shí)在性最終被認(rèn)為是理性的。本書則通過(guò)曲折復(fù)雜的歷史佚事反映出統(tǒng)計(jì)規(guī)律是何以登堂入室的。內(nèi)容的豐富使作者的哲學(xué)思想難于把握，但正是奮爭(zhēng)在這撲朔迷離之中才是值得一試的。 本書從大尺度上描繪了觀念轉(zhuǎn)變的過(guò)程，彌補(bǔ)了科學(xué)社會(huì)學(xué)中案例研究和標(biāo)準(zhǔn)形式的識(shí)知研究的不足。有些論證值得商榷，尤其是哈金描述的“革命”，在我看來(lái)，就從未在他所認(rèn)為的意義下發(fā)生過(guò)。但是哈金的思想過(guò)于復(fù)雜，很難被這些反駁意見(jiàn)所駁倒。關(guān)于涂爾干和高爾頓的寫作上，對(duì)很難說(shuō)清的方面把握恰到好處，論證雄辯，這正是本書閃光之處。

　　豆瓣短評(píng)：

　　一口氣看完。這本書是我偏愛(ài)的那種洋洋灑灑，內(nèi)容繁多的科普著作，從國(guó)家實(shí)力的判斷到自殺率統(tǒng)計(jì)，非常有趣。不過(guò)這也是缺點(diǎn)之一，就是不大深入細(xì)致。翻譯工作非常貼心，和原著不同的是注解跟在每一章之后，比較方便隨時(shí)查閱。

　　統(tǒng)計(jì)學(xué)習(xí)方法一

　　拋出問(wèn)題

　　我們使用感知機(jī)來(lái)模擬類似這樣的一個(gè)問(wèn)題：

　　在一個(gè)圍棋棋盤上有許多散亂的棋子，其中有黑子也有白子。已知它們可以被很干凈利落的被分為兩部分，每部分都沒(méi)有別的顏色的棋子，這樣作為下棋者我們就可以很愉快的不用再挑棋子放進(jìn)盒子里了!作為一個(gè)強(qiáng)迫癥患者，你希望能直接用手一攬就把其中一部分棋子放入盒中，那么問(wèn)題就是：手該如何放置才能使得這些棋子立馬被干凈利落的分為兩部分呢?

　　(這么2的問(wèn)題可能只有我才想得出了…)

　　統(tǒng)計(jì)學(xué)習(xí)方法二

　　問(wèn)題思考

　　那么我們就來(lái)思考這個(gè)問(wèn)題。首先我們明確情況，在已有條件中，有一個(gè)苛刻以及理想化的條件需要注意：散落的棋子可以被很干凈利落的被分為兩份。這里的干凈利落是個(gè)不明確的表述，但是基本可以理解為我們可以用“一刀切”的方式把棋子分為兩部分。在數(shù)據(jù)科學(xué)里，我們把這個(gè)條件稱為數(shù)據(jù) 線性可分 。這是一個(gè)非常重要的前提條件。

　　其次，我們的問(wèn)題是，我們需要把散落的棋子分為兩部分，那么我們可以認(rèn)為，這是一個(gè)典型的 二分類 問(wèn)題。

　　用抽象一些的語(yǔ)言來(lái)描述就是，我們需要對(duì)整個(gè)問(wèn)題建模，將棋子的散落情況整理成數(shù)據(jù)集D，我們的模型需要學(xué)習(xí)一個(gè)這樣的映射：

　　y^:R2→C

　　其中C={−1,+1}，R2為數(shù)據(jù)集D的空間。

　　我們用+1和-1分別表示來(lái)過(guò)那種棋子的顏色。那么數(shù)據(jù)是什么呢?由于我們是對(duì)棋盤上的棋子根據(jù)他們現(xiàn)在的位置來(lái)分類，因此我們大可以將每顆棋子在棋盤上的坐標(biāo)作為采樣數(shù)據(jù)。對(duì)于每一個(gè)樣本，我們可以得到這樣的一個(gè)向量：

　　x=[x1,x2]

　　那么我們到底采用什么樣的模型呢?別急，我們?cè)賮?lái)看問(wèn)題。

　　注意我們的關(guān)鍵詞——“一刀切”。一刀切我們可以理解為用一條直線把所有棋子構(gòu)成的整體分為兩個(gè)部分。那么，我們的模型只需要描述成一條直線即可。于是有這樣的模型：

　　y=w⋅x+b

　　那么直線的參數(shù)又該如何得到呢?我們?cè)賮?lái)看問(wèn)題。

　　由于棋子有兩類，我們要做的是把棋盤上的棋子根據(jù)它們自身現(xiàn)在在棋盤上的位置把它們分為兩類。而我們的目標(biāo)是 保證每一類的棋子都為相同顏色 ，換句話說(shuō)，我們希望被直線分割開的兩邊都沒(méi)有分錯(cuò)類的棋子。那么我們就可以得到我們的策略——模型采用的期望風(fēng)險(xiǎn)函數(shù)：

　　Loss(y,y^)=1n∑in=1I(y,y^)

　　這里n為樣本總量,y^為預(yù)測(cè)類別，y為實(shí)際類別，I為指示函數(shù)，若括號(hào)內(nèi)參數(shù)相等則值為0，反之為1。

　　這是0-1損失函數(shù)的經(jīng)驗(yàn)期望風(fēng)險(xiǎn)。

　　根據(jù)統(tǒng)計(jì)學(xué)習(xí)三要素，我們來(lái)看看我們現(xiàn)在問(wèn)題的梳理情況：

　　我們有了模型，策略，我們還需要一個(gè)算法。

　　提前劇透一下，我們使用傳統(tǒng)的梯度下降來(lái)求解這個(gè)問(wèn)題。至于具體的內(nèi)容還是先不詳細(xì)解釋。寫到這娛樂(lè)的部分也該結(jié)束了。讓我們回歸理論嚴(yán)肅的統(tǒng)計(jì)學(xué)習(xí)。

　　統(tǒng)計(jì)學(xué)習(xí)方法三

　　模型

　　我們用更正式的語(yǔ)言來(lái)表達(dá)這個(gè)問(wèn)題。

　　不知讀者看到這里是否想到一個(gè)問(wèn)題。模型使用上述寫的形式是否存在問(wèn)題?

　　答案是，確實(shí)存在。我只是為了方便初學(xué)者從最簡(jiǎn)單的數(shù)學(xué)知識(shí)理解才寫成那樣的形式。那么我們來(lái)修正我們的模型：

　　先來(lái)看看問(wèn)題出在哪兒。從指示函數(shù)考慮，我們?cè)诿看吻髶p失的時(shí)候，需要判斷當(dāng)前的實(shí)例被分為哪一類，然后再計(jì)算損失。

　　那么該如何判斷被分為了哪一類呢?我們都知道可以根據(jù)是在直線上方還是下方來(lái)劃分分類。假如我們指定將直線上方的實(shí)例分為+1，反之為-1。但是當(dāng)數(shù)據(jù)集中，恰好上方的實(shí)例都為-1，下方為+1時(shí)，我們的數(shù)據(jù)將永遠(yuǎn)是誤分類。無(wú)論如何調(diào)整k都無(wú)法完美分類。因?yàn)閗只控制斜率，b控制截距。但是在考慮分類的時(shí)候，我們還有一個(gè)地方需要去確定，那就是分類的類標(biāo)簽。使用上述的直線方程無(wú)法表示類標(biāo)簽。

　　于是，我們的感知機(jī)實(shí)際上是這樣來(lái)考慮的(真正理論誕生的時(shí)候應(yīng)該是沒(méi)有這種問(wèn)題的吧，應(yīng)該是直接提出了下面這個(gè)模型的)：

　　我們使用一個(gè) 超平面 來(lái)劃分?jǐn)?shù)據(jù)空間。超平面是n維歐氏空間中余維度等于一的線性子空間。這是平面中的直線、空間中的平面之推廣。簡(jiǎn)單來(lái)說(shuō)指的就是在數(shù)據(jù)空間中一個(gè)用w⋅x+b=0來(lái)表示的一個(gè)平面，其中w與x都是向量，且維數(shù)與數(shù)據(jù)空間相同。

　　學(xué)過(guò)立體集合的多知道，w其實(shí)就是超平面的法向量，由于是向量，它具有方向，它就可以解決二分類問(wèn)題中的類標(biāo)簽的歸屬問(wèn)題，并且可以很好的將問(wèn)題推廣至N維情況。

　　當(dāng)然，在歷史上應(yīng)該并不是為了解決類標(biāo)簽問(wèn)題才使用超平面的。其實(shí)對(duì)于一個(gè)N維的輸入空間使用一個(gè)超平面分割來(lái)考慮是一件非常自然的事。

　　統(tǒng)計(jì)學(xué)習(xí)方法四

　　策略

　　解決上面那個(gè)很不成樣子的問(wèn)題時(shí)，我們采用的損失函數(shù)為0-1損失函數(shù)。為什么使用0-1損失函數(shù)呢?因?yàn)橐粋€(gè)很簡(jiǎn)單也很符合題意的思路就是：既然要完美把兩部分棋子分開，那我們只要選取使得兩部分棋子中被誤分類的棋子個(gè)數(shù)為0不就好了嗎?

　　順理成章的想法，但是正因?yàn)楹?jiǎn)單，而產(chǎn)生了一個(gè)問(wèn)題：我們?cè)趺窗巡呗院湍Ｐ蛥?shù)聯(lián)系起來(lái)呢?

　　如果使用0-1損失函數(shù)，那么從公事上看我們很難對(duì)它做出優(yōu)化。可能只能用一個(gè)很暴力的辦法，就是設(shè)定一個(gè)初始的超平面位置，然后選定一個(gè)很小的角度變化量，按照變化量對(duì)超平面進(jìn)行旋轉(zhuǎn)，每次都計(jì)算一次誤分類，直到找到使損失函數(shù)為0的位置為止。有時(shí)候甚至肯可能因?yàn)樽兓坎粔蛐?，而?dǎo)致沒(méi)法得到這個(gè)角度。可想而知這個(gè)計(jì)算量非常大，而且整個(gè)計(jì)算過(guò)程也不易于優(yōu)化，但同時(shí)又有相當(dāng)多的冗余計(jì)算。

　　那么這時(shí)，我們就需要換個(gè)思路——改變我們的損失函數(shù)。

　　由于我們定義用一個(gè)超平面來(lái)分割我們的數(shù)據(jù)，那么我們就該利用好這些相關(guān)的性質(zhì)。很容易想到我們可以用誤分類的點(diǎn)的距離總和來(lái)作為損失函數(shù)。

　　空間中點(diǎn)到平面的距離：

　　d=1||w|||w⋅x+b|

　　其中||w||是L~2~范數(shù)(范數(shù)定義的是向量長(zhǎng)度的一種計(jì)算方式)。

　　考慮誤分類樣本(x,y)，有下式：

　　−y(w⋅x+b)>0

　　因此得到距離：

　　d=1||w||y(w⋅x+b)

　　因此，得到損失函數(shù)：

　　Loss(w,b)=−∑xi∈Myi(w⋅xi+b)

　　這里省略L~2~范數(shù)，因?yàn)閷?duì)于同一模型它可以看做常數(shù)。這里的M為每次迭代被感知機(jī)誤分類的點(diǎn)的集合。

　　觀察損失函數(shù)，我們可以看到損失函數(shù)是一個(gè)非負(fù)數(shù)。當(dāng)完美分類時(shí)，損失函數(shù)值為0。且該函數(shù)可導(dǎo)，因此我們就可以定一個(gè)優(yōu)化目標(biāo)，用算法對(duì)它進(jìn)行優(yōu)化。

　　統(tǒng)計(jì)學(xué)習(xí)方法五

　　算法

　　這是一個(gè)很典型的優(yōu)化問(wèn)題。通常我們采用梯度下降的辦法來(lái)解決這個(gè)問(wèn)題。

　　所謂梯度下降，就是每次迭代模型參數(shù)，我們都向著下降最快的方向進(jìn)行更新，以此來(lái)求解極小值。這樣我們可以快速進(jìn)行迭代、更新。貌似有個(gè)證明，證明梯度下降是一定能夠收斂的。

　　梯度下降有兩種，一種是批量梯度下降(batch gradient descent)，另一種是隨機(jī)梯度下降(stochastic gradient decent)。這兩者在我之前發(fā)的關(guān)于FTRL的文章里有所介紹，也可以參照網(wǎng)上的資料自行查閱。

　　簡(jiǎn)單來(lái)說(shuō)這兩者算法的區(qū)別就在于批量算法是每次迭代過(guò)程掃描所有樣本，在總體損失上進(jìn)行迭代。隨機(jī)梯度下降是每次只根據(jù)單個(gè)樣本的損失進(jìn)行更新。很明顯前者能在理論上收斂到全局最優(yōu)，而后者雖然速度快，但是可能收斂于局部最優(yōu)。特別的，當(dāng)損失函數(shù)的極值分布比較變態(tài)的情況下，隨機(jī)梯度下降和批量梯度下降可能都不會(huì)有很好的結(jié)果。但是通常情況下，我個(gè)人更傾向于采用隨機(jī)梯度下降，因?yàn)樗容^快，且效果一般也并不比批量的差，而且對(duì)于收斂于局部極值的問(wèn)題可以考慮通過(guò)增加一個(gè)逐漸衰減的沖量項(xiàng)使其越過(guò)局部極值。當(dāng)然具體使用哪種可以根據(jù)實(shí)際情況而定。

　　回到感知機(jī)，我們確定采用隨機(jī)梯度下降來(lái)解這個(gè)問(wèn)題。在這個(gè)過(guò)程中，我們計(jì)算整體損失函數(shù)的導(dǎo)數(shù)，再 隨機(jī)選取一個(gè)樣本進(jìn)行參數(shù)更新。那么首先，我們需要計(jì)算出損失函數(shù)對(duì)參數(shù)的梯度，從而確定參數(shù)更新公式。對(duì)于一個(gè)隨機(jī)的樣本(x,y)：

　　▽wLoss(w,b)=−∑x∈Myx

　　▽bLoss(w,b)=−∑x∈My

　　w=w+ηyx

　　b=b+ηy

　　這里η是學(xué)習(xí)步長(zhǎng)的參數(shù)，又稱為學(xué)習(xí)率。在FTRL中我們對(duì)這個(gè)參數(shù)探討過(guò)它的取值問(wèn)題，在這里無(wú)需關(guān)注。通常需要頻繁調(diào)試它來(lái)得到一個(gè)較好的學(xué)習(xí)結(jié)果。至于w，我們對(duì)它每一維的初值往往會(huì)設(shè)置隨機(jī)的較小值，這樣可以做到“破對(duì)稱”，防止每一維因?yàn)橄嗤钠鹗贾刀鴮?dǎo)致最后訓(xùn)練出相同的權(quán)值。