關于海量數(shù)據(jù)處理的面試題
關于海量數(shù)據(jù)處理的面試題
面試由于它的靈活性和有效性常被運用招聘中。那關于海量數(shù)據(jù)處理的一些面試題有哪些呢?下面是學習啦小編為你整理的海量數(shù)據(jù)處理的一些面試題，希望對你有幫助。
海量數(shù)據(jù)處理的面試題
在處理海量數(shù)據(jù)問題時，首先要仔細分析問題，明白問題需要解決那些關鍵問題，明白需要達到怎樣的存儲、性能要求，在這之前，應充分理解業(yè)務數(shù)據(jù)的分布、數(shù)據(jù)粒度、數(shù)據(jù)服務的質(zhì)量要求、數(shù)據(jù)的動態(tài)性、數(shù)據(jù)的關聯(lián)性等真實數(shù)據(jù)、業(yè)務熟悉。通常，處理海量數(shù)據(jù)問題時，心中要有一些基本概念：
1. 現(xiàn)有的開源的優(yōu)秀工具那些是處理海量數(shù)據(jù)的;
2. 海量數(shù)據(jù)就因為數(shù)據(jù)大嗎，可以考慮對海量數(shù)據(jù)進行分區(qū)操作;
3. 加快海量數(shù)據(jù)的訪問，數(shù)據(jù)索引必不可是;
4. 內(nèi)存總是有限的，內(nèi)存的速度是最好的，建立緩存機制是十分必要的;
5. 海量數(shù)據(jù)來源多樣，數(shù)據(jù)格式也不相同，最好是統(tǒng)一為字符串處理，邏輯處理交給上層應用;
6. 海量數(shù)據(jù)離不開集群、分布式，分布式的出錯處理、負載均衡就必然要有一套可行的機制;
7. 所有底層的問題或者說存儲的問題解決了，未來方便上層應用或者夸大底層支持的業(yè)務，對外應該有一個明朗的邏輯視圖;
8. 系統(tǒng)設計和結(jié)構(gòu)，會因為不同的語言、操作性在實現(xiàn)難以上不同，這也需要考慮;
9. 海量數(shù)據(jù)的一個應用就是數(shù)據(jù)挖掘服務，多域數(shù)據(jù)來源統(tǒng)一管理下，數(shù)據(jù)倉庫和相關計算也應該了解一二;
10. 盡管說存儲不是問題，如果能對數(shù)據(jù)進行壓縮處理，又可以接受的性能，這何樂而不為呢。
在參考前人博客、文摘加上個人一點理解，匯總以下一些基礎概念已幫助和我一樣面臨就業(yè)的學生，應對未來公司的面試考核。當然，有實際工作經(jīng)驗的大牛門來說，下面的問題早已不是問題，他們都在某個問題上是專家了。歡迎大牛指導!
具有通用性的數(shù)據(jù)結(jié)構(gòu)和算法思路匯總有：
1. Bloom filter
2. Hashing
3. bit-map
4. 堆
5. 雙層桶劃分，可以理解為多級索引
6. 數(shù)據(jù)庫索引
7. 倒排索引(Inverted index)
8. 外排序
9.trie樹
10.分布式處理
看過“關于海量數(shù)據(jù)處理的面試題”的人還看了：