大規模網站架構技能原理透析

就產品開發層面來講，互聯網開發確實簡略多了。這里首要弄清一個概念，我所說的互聯網開發并不是指一切的B/S使用，例如B/S辦法的銀行內部事務體系。我所說的互聯網使用是指在互聯網上服務于公眾的使用。企業級的事務體系，它的特點是事務邏輯是比較雜亂的，但用戶一般不太大；互聯網使用則相反，事務邏輯一般很簡略，但面臨的是海量用戶。

既然互聯網使用開發的事務邏輯不雜亂，但為什么大型網站都投入了那么多的技能人員呢？首要是因為運營的環境太雜亂，這種雜亂性構成的原因以下：

1、揭露性

網站的服務是揭露的，任何人都能夠來拜訪，所以就會直接面臨大量的不良用戶，體系數據的安全面臨很大的危險，一旦體系被攻入，成果將是災難性的。

2、拜訪量大

拜訪量大，就意味著網站有必要能夠接受高并發大流量的考驗，假如網站的服務才能和健壯性等達不到要求，你的體系就會被沖垮。

3、用戶體會

用戶體會要好，除了產品規劃的要素之外，就要求拜訪網站的速度要快，具有高可用性，別用一會就掛。

網站各子體系怎么進行布置，怎么進步體系的健壯性和高可用性，怎么完結網站的安全，怎么進步拜訪速度，怎么進行負載均衡，乃至于選用什么的硬件設備，別的，網站發展的不同時期會可能會選用不同的架構，怎么完結架構的平滑過渡，怎么使現在的架構具有彈性，具備可擴展的才能，這都是大型網站有必要處理的問題，也是小網站生長進程中遲早會遇到的問題。

網站組織包含網站的軟件架構和體系架構兩部分，軟件架構首要是指子體系和邏輯層的區分結構；體系架構，一般是體系布置結構。

體系架構師的常識體系比較雜亂，所謂的見多識廣，多數是由運維工程師生長起來的，他們開發才能不強，編碼不多，但動手才能很強，腳本編寫十分熟練，經常會做各種類型的實驗，密切盯梢最新技能最新產品的相關信息。當然，一個大型的網站，需求一個架構師團隊，他們各自承當拿手領域的架構規劃，比方安全架構、存儲架構等等。

我覺得一般的開發人員仍是很難走上這條路的，這份作業需求經歷，需求不斷實踐，但假如開發人員一旦走上了這條路，會有很大的發展，首要源于開發人員的思考習慣和技能的深度。我的這系列文章，開發人員能夠作為參考，比方怎么開發可分布式布置的體系，別的許多朋友都是身兼數職，從開發到施行，到布置全部包辦。我個人深感精力有限，所以又特意找了幾個朋友從Unix/Linux體系和Windows體系不同視點進行探究，以造福正在探索中的朋友，有愛好的朋友也能夠參與。

其實，這部分內容我一直在寫，比方PHP深度探究系列，寫了大量的關于apache的內容，我現已大體把apache代碼閱覽了一遍，很費時刻，進度緩慢，但我想這有助于咱們理解apache的配置和調優。

在介紹網站架構之前，咱們先介紹一些網站架構中最根底和常見的概念，以便更好的理解后邊的有關負載均衡和分布式存儲等技能。第一個，首要講講CDN。

1、CDN是什么

CDN（Content Delivery Network），便是內容發布網或許內容分發網，它的首要意圖：經過在現有的Internet中增加一層新的網絡架構，將網站的內容發布到最接近用戶的網絡邊際，使用戶能夠就近取得所需的內容，然后進步用戶拜訪網站的響應速度，提高用戶體會，同時能夠渙散拜訪壓力，把原本用戶會集拜訪渙散到各地去。網站的內容供給商（比方新浪、搜狐、網易等等）使用CDN，就能夠在微觀層處理一部分大流量、海量用戶并發等令人頭疼的問題。

2、CDN的組成

內容發布網(CDN)是一個經戰略性布置的全體體系，包含分布式存儲、負載均衡、網絡懇求的重定向和內容辦理４個要件，而內容辦理和全局的網絡流量辦理是CDN的中心地點。經過用戶就近性和服務器負載的判別，CDN確保內容以一種極為高效的辦法為用戶的懇求供給服務，達到用戶所要求的服務距用戶僅有"一跳"(Single Hop)之遙。

咱們一般的內容發布模式都是將網站數據放到一處，然后應對來自世界各地的拜訪，咱們多數考慮的是軟件布置架構，很少考慮網絡硬件架構。與之構成比照的是，CDN則強調了網絡在內容發布中的重要性。經過引進自動的內容辦理層的和全局負載均衡，CDN從根本上差異于傳統的內容發布模式。

內容供給商承當了他們不應干也干不好的內容發布服務。

3、互聯網服務的產業鏈

縱觀整個寬帶服務的價值鏈，內容供給商和用戶位于整個價值鏈的兩端，中心依靠網絡服務供給商將其串接起來。隨著互聯網工業的老練和商業模式的革新，在這條價值鏈上的角色越來越多也越來越細分，出現了內容運營商、托管服務供給商、主干網絡服務供給商、接入服務供給商等等。在這一條價值鏈上的每一個角色都要分工合作、各司其職才能為客戶供給良好的服務，然后帶來多贏的局勢。從內容與網絡的結合模式上看，內容的發布現已走過了ICP的內容（使用）服務器和IDC這兩個階段。IDC的熱潮也催生了托管服務供給商這一角色?？墒?，IDC并不能處理內容的有用發布問題。內容位于網絡的中心并不能處理主干帶寬的占用和樹立IP網絡上的流量次序。因而將內容推到網絡的邊際，為用戶供給就近性的邊際服務，然后確保服務的質量和整個網絡上的拜訪次序就成了一種清楚明了的挑選，這便是CDN服務模式。CDN的樹立處理了困擾內容運營商的內容"會集與渙散"的兩難挑選，無疑關于構建良好的互聯網價值鏈是有價值的，也是不可或缺的最優網站加速服務。

4、CDN服務供給商

ChinaCache是中國最大的CDN服務供給商，是不是僅有未可知也。要想成為CDN服務供給商，恐怕要擺平電信、網通、鐵通等等運營商，這得需求什么樣的才能和背景不得而知。它的服務節點在全球現已超越130個，其中國內節點超越80個，掩蓋全國首要6大網絡（所謂6線機房，便是這么來的）的首要省份，象各大門戶網站，比方新浪、網易等等都是租用了他們的服務。所以，你無論是在南邊，或許北方，仍是在北美，拜訪這些門戶網站，感覺速度都很快，最首要的原因之一便是CDN發揮了效果。一般小網站是用不起這服務的，所以慢點就慢點了吧，能夠租用互聯互通的6線機房，假如網絡足夠寬的話，用戶也能夠忍受。假如想繼續提高用戶體會的話，就需求做一些網站鏡像，布置在具有代表性的幾個大城市，比方華南能夠布置在廣州，華東能夠布置在上海，華北能夠布置在北京，不過內容鏡像的進程，就需求自己去布置和保護。還有的網站，選用內容分割的辦法，比方樹立針對各地的分站，事務狀況不同，可能布置的戰略不同。CDN能夠以為是根底網絡建造的一種戰略
前面介紹了cdn的一些原理和概念，以及供給cdn根底網絡服務的途徑。cdn看起來關于靜態內容的，比方html,js,image是十分合適的，經過cdn的布置，用戶只需求一跳就能夠拜訪到網站的內容。那關于動態內容怎么辦呢？我答復一下：

動態內容依照存在形態能夠分為三類。

第一類：內容長時刻不需變化，這類內容一般是經過網頁靜化技能，完結動態內容轉換成靜態內容，然后達到cdn布置，典型的便是內容類網站，比方新浪、搜狐、網易等等的內容發布體系cms，內容的增刪改等辦理作業被準實時同步到各個節點。

第二類：內容可能會短時刻內發作變動，可是最終會穩定。比方論壇、博客等使用，這類服務供給的內容依照必定的時刻距離，完結批量靜化，當然也有實時靜化，像Mop的大雜燴、網易社區便是使用了這樣的戰略。

第三類：內容會實時變化，十分個性化。比方郵箱使用，這類服務供給的內容無法完結靜化，只能經過實行分區域布置和負載均衡等手法進行優化。

關于供給cdn服務的廠商來講，靜態內容的cdn自然沒有問題，關于第三類服務，只能從通訊鏈路層進行相應的優化。

關于許多網站的偽靜化，有的出于Seo的考慮，有的出于安全性的考慮，手法基本上是rewrite Url。它只不過是一種外在的表現辦法，與Html靜化是兩回事，它依然是一種動態內容。

1. 負載均衡的分類

負載均衡技能在網站運營進程中使用十分普遍，技能也很老練。負載均衡技能依照軟硬件辦法分為軟均衡和硬均衡。軟均衡便是根據軟件技能的均衡，硬均衡是根據硬件技能的均衡；

依照網絡協議區分又分為四層均衡和七層均衡。四層均衡便是根據OSI網絡層的數據均衡，七層均衡是根據OSI使用層的數據均衡。

各種均衡辦法在大型網站中均有選用，而且大多數狀況下，是多種均衡辦法的組合。

2. DNS輪詢均衡

這種辦法，算是比較獨立的一種辦法，不在上述區分之列，但使用比較廣泛，一般用在網站最前端。你能夠做個實驗，在dos指令行中運轉nslook指令。咱們從瀏覽器發起的拜訪懇求，那么你輸入的域名首要需求經過DNS服務器進行解析，Dns服務器的解析的進程便是依照A記載的次序，順次分配IP地址。Dns輪詢辦法完結均衡便是利用這個原理，在一個域名下面綁定N個IP地址，拜訪懇求被均衡到不同的設備。Dns輪詢辦法供給的IP地址，在大型網站中往往是一個集群的地址，可能是均衡交換機也可能是均衡服務器。關于小網站的話，掛接多臺服務器也沒有問題。

DNS輪詢均衡的長處：

1、零本錢：只是在Dns服務器上綁定幾個A記載，域名注冊商一般都供給；

2、布置簡略：便是在網絡拓撲進行設備擴增，然后在Dns服務器上增加記載。

DNS輪詢均衡的缺點：

1、流量分配不均：Dns解析進程其實環節許多，而且是一種層層緩存的機制，你的dns服務器雖然進行更新，可是客戶機、以及網絡上其它的dns服務器不會實時更新，所以流量很難確保100%的均勻?，F在，dns服務器都供給了多種手法能夠調整dns輪詢分配的戰略，可是確實無法確保很完美的均衡。

2、健康檢查：Dns服務器中A記載地址中的某一臺服務器宕機，DNS服務器是無法知道的，依舊會將拜訪分配到此服務器。所以需求人員或許工具進行實時檢測，在某臺機器宕機之后，把備份機推上生產線，假如想要從A記載地址去除某個地址，這個告訴進程需求幾個小時乃至更久才能擴散到一切的客戶機。

Dns輪詢辦法推到服務的最前端仍是很有用的，它經過最原始的辦法，把拜訪用戶映射到不同的服務集群上。關于大型網站來講，對外服務的IP地址是不可能經常變動的，而且后端的集群一旦宕掉，能夠敏捷推上冗余集群。再加上，一般都是經過CDN布置，服務被拆分到各個部分，所以在運營進程中不會產生太大的影響。

3. OSI七層模型

咱們接下來講講七層均衡。要理解四七層均衡的原理，就先要回想一下大學課本里學的網絡七層模型(OSI)。

OSI是一個開放性的通行體系互連參考模型，他是一個界說的十分好的協議標準。OSI模型有7層結構，每層都能夠有幾個子層。

OSI七層模型是一個很好的理論模型，可是在實際使用中都做了裁剪。尤其是TCP/IP的盛行，把7層結構壓成了4層，

所以許多人都批評OSI七層模型過于雜亂，可是作為一個完整的全面的網絡模型，仍是被大家十分認可的。OSI的7層從上到下分別是使用層、表明層、會話層、傳輸層、網絡層、數據鏈路層、物理層。

OSI 7層的功用描述：

（1）使用層：與其他計算機進行通訊的一個使用，它是對應使用程序的通訊服務的。例如，一個沒有通訊功用的字處理程序就不能履行通訊的代碼，從事字處理作業的程序員也不關心OSI的第7層?？墒?，假如增加了一個傳輸文件的選項，那么字處理器的程序員就需求完結OSI的第7層。示例：telnet，HTTP,FTP,WWW,NFS,SMTP等。

（2）表明層：這一層的首要功用是界說數據格局及加密。例如，FTP允許你挑選以二進制或ASII格局傳輸。假如挑選二進制，那么發送方和接收方不改動文件的內容。假如挑選ASII格局，發送方將把文本從發送方的字符集轉換成標準的ASII后發送數據。在接收方將標準的ASII轉換成接收方計算機的字符集。示例：加密，ASII等。

（3）會話層：他界說了怎么開端、控制和完畢一個會話，包含對多個雙向小時的控制和辦理，以便在只完結接連音訊的一部分時能夠告訴使用，然后使表明層看到的數據是接連的，在某些狀況下，假如表明層收到了一切的數據，則用數據代表表明層。示例：RPC，SQL等。

（4）傳輸層：這層的功用包含是否挑選過失恢復協議仍是無過失恢復協議，及在同一主機上對不同使用的數據流的輸入進行復用，還包含對收到的次序不對的數據包的從頭排序功用。示例：TCP，UDP，SPX。

（5）網絡層：這層對端到端的包傳輸進行界說，他界說了能夠標識一切結點的邏輯地址，還界說了路由完結的辦法和學習的辦法。為了習慣最大傳輸單元長度小于包長度的傳輸介質，網絡層還界說了怎么將一個包分解成更小的包的分段辦法。示例：IP,IPX等。

（6）數據鏈路層：他界說了在單個鏈路上怎么傳輸數據。這些協議與被討論的歌種介質有關。示例：ATM，FDDI等。

（7）物理層：OSI的物理層標準是有關傳輸介質的特性標準，這些標準一般也參考了其他組織制定的標準。連接頭、針、針的使用、電流、電流、編碼及光調制等都屬于各種物理層標準中的內容。物理層常用多個標準完結對一切細節的界說