作為Java程序員應該怎樣去規劃自己的學習路線,阿裏高級算法專家

程序員小安卓 2021-09-18 22:53:43 阅读数:199

java 程序 算法

分布式系統特性與衡量標准

透明性:使用分布式系統的用戶並不關心系統是怎麼實現的,也不關心讀到的數據來自哪個節點,對用戶而言,分布式系統的最高境界是用戶根本感知不到這是一個分布式系統

可擴展性:分布式系統的根本目標就是為了處理單個計算機無法處理的任務,當任務增加的時候,分布式系統的處理能力需要隨之增加。簡單來說,要比較方便的通過增加機器來應對數據量的增長,同時,當任務規模縮减的時候,可以撤掉一些多餘的機器,達到動態伸縮的效果

可用性與可靠性:一般來說,分布式系統是需要長時間甚至7*24小時提供服務的。可用性是指系統在各種情况對外提供服務的能力,簡單來說,可以通過不可用時間與正常服務時間的必知來衡量;而可靠性而是指計算結果正確、存儲的數據不丟失。

高性能:不管是單機還是分布式系統,大家都非常關注性能。不同的系統對性能的衡量指標是不同的,最常見的:高並發,單比特時間內處理的任務越多越好;低延遲:每個任務的平均時間越少越好。這個其實跟操作系統CPU的調度策略很像

一致性:分布式系統為了提高可用性可靠性,一般會引入冗餘(複制集)。那麼如何保證這些節點上的狀態一致,這就是分布式系統不得不面對的一致性問題。一致性有很多等級,一致性越强,對用戶越友好,但會制約系統的可用性;一致性等級越低,用戶就需要兼容數據不一致的情况,但系統的可用性、並發性很高很多。

組件、理論、協議

假設這是一個對外提供服務的大型分布式系統,用戶連接到系統,做一些操作,產生一些需要存儲的數據,那麼在這個過程中,會遇到哪些組件、理論與協議呢

用一個請求串起來

用戶使用Web、APP、SDK,通過HTTP、TCP連接到系統。在分布式系統中,為了高並發、高可用,一般都是多個節點提供相同的服務。那麼,第一個問題就是具體選擇哪個節點來提供服務,這個就是負載均衡(load balance)。負載均衡的思想很簡單,但使用非常廣泛,在分布式系統、大型網站的方方面面都有使用,或者說,只要涉及到多個節點提供同質的服務,就需要負載均衡。

通過負載均衡找到一個節點,接下來就是真正處理用戶的請求,請求有可能簡單,也有可能很複雜。簡單的請求,比如讀取數據,那麼很可能是有緩存的,即分布式緩存,如果緩存沒有命中,那麼需要去數據庫拉取數據。對於複雜的請求,可能會調用到系統中其他的服務。

承上,假設服務A需要調用服務B的服務,首先兩個節點需要通信,網絡通信都是建立在TCP/IP協議的基礎上,但是,每個應用都手寫socket是一件冗雜、低效的事情,因此需要應用層的封裝,因此有了HTTP、FTP等各種應用層協議。當系統愈加複雜,提供大量的http接口也是一件困難的事情。因此,有了更進一步的抽象,那就是RPC(remote produce call),是的遠程調用就跟本地過程調用一樣方便,屏蔽了網絡通信等諸多細節,增加新的接口也更加方便。

一個請求可能包含諸多操作,即在服務A上做一些操作,然後在服務B上做另一些操作。比如簡化版的網絡購物,在訂單服務上發貨,在賬戶服務上扣款。這兩個操作需要保證原子性,要麼都成功,要麼都不操作。這就涉及到分布式事務的問題,分布式事務是從應用層面保證一致性:某種守恒關系。

上面說道一個請求包含多個操作,其實就是涉及到多個服務,分布式系統中有大量的服務,每個服務又是多個節點組成。那麼一個服務怎麼找到另一個服務(的某個節點呢)?通信是需要地址的,怎麼獲取這個地址,最簡單的辦法就是配置文件寫死,或者寫入到數據庫,但這些方法在節點數據巨大、節點動態增删的時候都不大方便,這個時候就需要服務注册與發現:提供服務的節點向一個協調中心注册自己的地址,使用服務的節點去協調中心拉取地址。

從上可以看見,協調中心提供了中心化的服務:以一組節點提供類似單點的服務,使用非常廣泛,比如命令服務、分布式鎖。協調中心最出名的就是chubby,zookeeper。

回到用戶請求這個點,請求操作會產生一些數據、日志,通常為信息,其他一些系統可能會對這些消息感興趣,比如個性化推薦、監控等,這裏就抽象出了兩個概念,消息的生產者與消費者。那麼生產者怎麼講消息發送給消費者呢,RPC並不是一個很好的選擇,因為RPC肯定得指定消息發給誰,但實際的情况是生產者並不清楚、也不關心誰會消費這個消息,這個時候消息隊列就出馬了。簡單來說,生產者只用往消息隊列裏面發就行了,隊列會將消息按主題(topic)分發給關注這個主題的消費者。消息隊列起到了异步處理、應用解耦的作用。

上面提到,用戶操作會產生一些數據,這些數據忠實記錄了用戶的操作習慣、喜好,是各行各業最寶貴的財富。比如各種推薦、廣告投放、自動識別。這就催生了分布式計算平臺,比如Hadoop,Storm等,用來處理這些海量的數據。

最後,用戶的操作完成之後,用戶的數據需要持久化,但數據量很大,大到按個節點無法存儲,那麼這個時候就需要分布式存儲:將數據進行劃分放在不同的節點上,同時,為了防止數據的丟失,每一份數據會保存多分。傳統的關系型數據庫是單點存儲,為了在應用層透明的情况下分庫分錶,會引用額外的代理層。而對於NoSql,一般天然支持分布式。

一個簡化的架構圖

下面用一個不大精確的架構圖,盡量還原分布式系統的組成部分(不過只能體現出技術,不好體現出理論)

? 作為Java程序員應該怎樣去規劃自己的學習路線,阿裏高級算法專家_後端

總結

面試難免讓人焦慮不安。經曆過的人都懂的。但是如果你提前預測面試官要問你的問題並想出得體的回答方式,就會容易很多。

此外,都說“面試造火箭,工作擰螺絲”,那對於准備面試的朋友,你只需懂一個字:刷!

給我刷刷刷刷,使勁兒刷刷刷刷刷!今天既是來談面試的,那就必須得來整點面試真題,這不花了我整28天,做了份“Java一線大廠高崗面試題解析合集:JAVA基礎-中級-高級面試+SSM框架+分布式+性能調優+微服務+並發編程+網絡+設計模式+數據結構與算法等”

作為Java程序員應該怎樣去規劃自己的學習路線,阿裏高級算法專家_程序員_02

 CodeChina開源項目:【一線大廠Java面試題解析+核心總結學習筆記+最新講解視頻】

且除了單純的刷題,也得需准備一本【JAVA進階核心知識手册】:JVM、JAVA集合、JAVA多線程並發、JAVA基礎、Spring 原理、微服務、Netty與RPC、網絡、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、設計模式、負載均衡、數據庫、一致性算法、JAVA算法、數據結構、加密算法、分布式緩存、Hadoop、Spark、Storm、YARN、機器學習、雲計算,用來查漏補缺最好不過。

作為Java程序員應該怎樣去規劃自己的學習路線,阿裏高級算法專家_程序員_03

版权声明:本文为[程序員小安卓]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/09/20210918225342636b.html