1樓:勾令秋
穩健回歸即為m估計,估計的穩健性(robustness)概念指的是在估計過程中產生的估計量對模型誤差的不敏感性。m估計穩健回歸的基本思想是採用迭代加權最小二乘估計回歸係數,根據回歸殘差的大小確定各點的權wi,以達到穩健的目的。
什麼是資料探勘?
2樓:cda資料分析師
簡單地說,資料探勘是從大量資料中提取或『挖掘』知識。該術語實際上有點用詞不當。資料探勘應當更正確地命名為『從資料中挖掘知識』,不幸的是它有點長。
許多人把資料探勘視為另乙個常用的術語『資料庫中知識發現』或kdd的同義詞。而另一些人只是把資料探勘視為資料庫中知識發現過程的乙個基本步驟。
資料探勘是乙個用資料發現問題、解決問題的學科。
通常通過對資料的探索、處理、分析或建模實現。
我們可以看到資料探勘具有以下幾個特點:
基於大量資料:並非說小資料量上就不可以進行挖掘,實際上大多數資料探勘的演算法都可以在小資料量上執行並得到結果。但是,一方面過小的資料量完全可以通過人工分析來總結規律,另一方面來說,小資料量常常無法反映出真實世界中的普遍特性。
隱含性:資料探勘是要發現深藏在資料內部的知識,而不是那些直接浮現在資料表面的資訊。常用的bi工具,例如報表和olap,完全可以讓使用者找出這些資訊。
新奇性:挖掘出來的知識應該是以前未知的,否則只不過是驗證了業務專家的經驗而已。只有全新的知識,才可以幫助企業獲得進一步的洞察力。
價值性:挖掘的結果必須能給企業帶來直接的或間接的效益。有人說資料探勘只是「屠龍之技」,看起來神乎其神,卻什麼用處也沒有。
這只是一種誤解,不可否認的 是在一些資料探勘專案中,或者因為缺乏明確的業務目標,或者因為資料質量的不足,或者因為人們對改變業務流程的抵制,或者因為挖掘人員的經驗不足,都會導 致效果不佳甚至完全沒有效果。但大量的成功案例也在證明,資料探勘的確可以變成提公升效益的利器。
3樓:知於大資料
由於資料科學剛剛興起,資料科學家作為一種新生職業被提出,資料研究高階科學家rachel schutt將其定義為「計算機科學家、軟體工程師和統計學家的混合體「。資料探勘作為乙個學術領域,橫跨多個學科,涵蓋了統計學、數學、機器學習和資料庫等,此外還包括各類專業方向比如從油田電力、海洋生物、歷史文字、電子通訊、法律稅務等的各個專業領域。注意每一分類都需要相當的行業經驗。
而要明白某一事物的本質,就需要通過另一些近似的事物特性對比來說明。就好像你單獨提問什麼是男人?很難解釋對不對。
所以咱們來舉個栗子簡單看看:
一、分析報告
在《大鬧天宮》裡孫悟空跟二郎神在花果山下大戰三百回合,咱來寫一篇文章分析。
孫悟空有金剛不壞火眼金睛筋斗雲七十二般變化加上定海神針身法靈活。
二郎神楊戩有三隻眼縛妖索哮天犬銀袍金甲加上三尖兩刃四竅八環刀力量無窮。
所以在大戰開始三百回合時候不相上下,結果後來二郎神派出天兵天將放火燒花果山讓大聖慌了心神被偷襲得手。
最後二郎神贏了。
分析報告完成。
二、統計分析
大聖二戰楊戩。這次在二位大戰之前做個數理統計來**結果。
首先根據歷史樣本史書記載發現兩人在之前的五百年裡打過100次,其中孫悟空贏60次。
然後有記錄顯示,之前孫悟空和牛魔王戰鬥的勝率是80%,而楊戩鬥牛魔王勝率是70%。
所以可以得出綜合**總體勝率是孫悟空贏面大。
結論依靠歷史記錄,使用樣本**總體,根據經驗做出假設。
統計分析完成。
三、資料探勘
孫悟空和楊戩終極決戰。這次咱們根據兩位的詳細資料(如家庭出身、教育背景、工作經驗、婚育情況等)讓計算機做協同過濾關聯分析。計算機通過資料清洗建模後發現:
貧苦出身的孩子一般比皇親國戚更能吃苦所以功夫底子更好平時訓練更加紮實。
戰鬥經驗豐富的鬥戰勝佛因為平時經常打架擅長利用天時地利環境因素而勝算更大。
在都得到大師指點的情況下,貧苦出身的孩子可以利用後天的努力來彌補先天悟性的欠缺。
樣貌奇特注定孤獨終老的神仙總是會比同等條件下美若天仙喜歡拈花惹草處處留情的神仙功夫好。
綜上所述,我們可知道:
論出身兩位大神不分伯仲。乙個從石頭出來,乙個是凡人與神仙結合所生。
悟空的**菩提老祖(準提道人)和二郎神的**玉鼎真人的**元始天尊同為鴻鈞老祖的高足所以前者更勝一籌。
鬥戰勝佛戰鬥經驗相對整日快活逍遙無憂無慮的二郎神來說更加豐富。
另孫行者由於樣貌原因始終單身(好傷感)。
所以可以得出結論,這次大戰孫悟空贏面大。
資料探勘完成。
四、最後總結:
分析報告一般是整個事件發生結束以後的總結(描述性)。
統計分析能利用大量的歷史樣本來**整個事件總體未來的走向(**性概率)。
資料探勘則透過事件的表象發現隱藏在背後的蛛絲馬跡,從而找到潛伏的規律以及看似無關事物之間背後的聯絡,用此來洞察未來(規範性)。
4樓:野路子產品經理
給你分享乙個pdf看看什麼是資料探勘
何為大資料,什麼是大資料?什麼叫大資料?
鯨娛文化 大資料指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合。通過大量的統計了解大家的喜好,想要的東西,從而得到他們想要的,比如精準營銷,徵信分析,消費分析等等 高頓教育 大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。大資料技術是指從各種各樣型...
什麼是其他會計?包括哪些,什麼是其他會計資料?包括哪些?
其他會計資料是指出會計憑證 會計賬簿及會計報表外的會計資料。其他會計資料報括 銀行存款餘額調節表,銀行對賬單,其他應當儲存的會計核算專業資料,會計檔案移交清冊,會計檔案保管清冊,會計檔案銷毀清冊。根據財政部 會計檔案管理辦法 第五條規定 會計檔案是指會計憑證 會計賬簿和財務報告等會計核算專業材料,是...
什麼是農業大資料分析系統,何為農業大資料?如何利用大資料
農業大資料 農業大資料是融合了農業地域性 季節性 多樣性 週期性等自身特徵後產生的 廣泛 型別多樣 結構複雜 具有潛在價值,並難以應用通常方法處理和分析的資料集合。它保留了大資料自身具有的規模巨大 volume 型別多樣 variety 價值密度低 value 處理速度快 velocity 精確度高...