前言:長亮科技API網(wǎng)關(guān)自誕生以來,已在交通銀行、渤海銀行、民生銀行信用卡、北農(nóng)商等幾十家金融客戶項目應用,在高性能和高可靠方面經(jīng)歷了大量的生產(chǎn)實踐考驗。
隨著微服務架構(gòu)的發(fā)展,原本粗粒度的應用被拆分為眾多細粒度的微服務,每個服務都有其需要對外暴露的API服務,服務之間的調(diào)用變得錯綜復雜,微服務及其API的統(tǒng)一管理、API的安全防范、流量轉(zhuǎn)發(fā)、流量治理等問題變得尤為突出。
破局—引入API網(wǎng)關(guān)
如何解決這些問題?
那就需要在客戶端和服務之間引入一個額外層,作為從客戶端向服務發(fā)起請求路由的反向代理,類似面向?qū)ο笤O(shè)計中的外觀模式,為封裝底層系統(tǒng)架構(gòu)的API提供了一個單一入口,稱為API網(wǎng)關(guān)。
簡而言之,API網(wǎng)關(guān)就是用一套單一且統(tǒng)一的API入口點,來組合一個或多個內(nèi)部API。通過引入API網(wǎng)關(guān),能夠?qū)PI的生命周期進行統(tǒng)一管理,API網(wǎng)關(guān)接管所有的入口流量,將所有用戶的請求轉(zhuǎn)發(fā)給后端的服務器。
但網(wǎng)關(guān)做的僅僅是轉(zhuǎn)發(fā)這么簡單嗎?
當然不是,API會針對流量做一些治理(如鑒權(quán)、限流、權(quán)限、熔斷、協(xié)議轉(zhuǎn)換、錯誤碼統(tǒng)一、緩存)、流量監(jiān)控(如日志、監(jiān)控、告警)、安全防范(如協(xié)議安全、訪問安全、報文安全等),將通用的邏輯抽出來,由網(wǎng)關(guān)統(tǒng)一去做,業(yè)務方也能夠更專注于業(yè)務邏輯,提升迭代的效率,其重要性可見一斑。
API網(wǎng)關(guān)可為微服務架構(gòu)系統(tǒng)帶來多項價值:
? 網(wǎng)關(guān)層對外部和內(nèi)部進行了隔離,保障了后臺服務的安全性
? 對外訪問控制由網(wǎng)絡(luò)層面轉(zhuǎn)換成了運維層面,減少變更的流程和錯誤成本
? 減少客戶端與服務的耦合,服務可以獨立發(fā)展。通過網(wǎng)關(guān)層來做映射
? 通過網(wǎng)關(guān)層聚合,減少外部訪問的頻次,提升訪問效率
? 節(jié)約后端服務開發(fā)成本,減少上線風險
? 為服務熔斷,灰度發(fā)布,線上測試提供簡單方案
? 便于進行應用層面的擴展
因此作為流量的入口,網(wǎng)關(guān)本身的高性能、高可用、可擴展性等非功能特性也至關(guān)重要。
長亮科技API網(wǎng)關(guān)依賴其良好的擴展性,在功能上不斷完善豐富,對接了眾多內(nèi)外部的系統(tǒng),擴展了多種接入接出協(xié)議;支持多種流量治理策略,提供較為全面的安全防控手段。
下面將從API網(wǎng)關(guān)總體設(shè)計、API治理設(shè)計、API安全防范三方面詳細分析長亮科技API網(wǎng)關(guān)的設(shè)計實踐。
長亮科技API網(wǎng)關(guān)總體設(shè)計
1、技術(shù)架構(gòu)設(shè)計——最大功能上解耦
目前市面上基本都是一個服務,沒有做到最大功能上的解耦,在此基礎(chǔ)上長亮科技全面創(chuàng)新,將網(wǎng)關(guān)服務分為管控端和運行端兩部分,單獨運行,讓網(wǎng)關(guān)運行服務脫離外界依賴,真正將gateway最大化限度的解耦。
API網(wǎng)關(guān)采用前后端分離架構(gòu)模式,以Java語言開發(fā),選用當前主流技術(shù)棧Spring Boot,Spring Cloud體系。
? 管控端主要作用為管理網(wǎng)關(guān)配置、UI交互、推送數(shù)據(jù)到網(wǎng)關(guān)運行端等,管控端和服務端分工明確,讓真正負責處理請求的網(wǎng)關(guān)運行端,爭取資源最大化。
? 網(wǎng)關(guān)運行端為真正被調(diào)用的網(wǎng)關(guān)服務,核心機制為過濾器鏈機制、接入接出機制、配置數(shù)據(jù)jvm緩存及本地緩存機制等;網(wǎng)關(guān)運行端對接了多種基礎(chǔ)組件,包括監(jiān)控中心、注冊中心、鏈路中心、日志中心、配置中心等。為保證用戶配置的參數(shù)出現(xiàn)推送丟失的情況,網(wǎng)關(guān)運行服務還會定時向網(wǎng)關(guān)管控服務拉取數(shù)據(jù),達到雙向數(shù)據(jù)同步效果。
2、高擴展性的設(shè)計——提供更全的擴展
網(wǎng)關(guān)運行端采用了SPI機制,大大的增加了網(wǎng)關(guān)的擴展性,除市面上都支持的Fileter擴展、治理功能的擴展外,長亮科技還可提供接入接出(協(xié)議)的擴展,加解密方式、報文等多處位置的擴展,大大增加了網(wǎng)關(guān)的可擴展點:
? Filter擴展
網(wǎng)關(guān)的功能在整個項目中屬于一個過濾器鏈,可通過頁面動態(tài)配置對網(wǎng)關(guān)的各個過濾器選擇是否使用;如增加某種認證機制等,也就是針對過濾器鏈進行擴展。
? 接入接出擴展
在現(xiàn)有網(wǎng)關(guān)多協(xié)議基礎(chǔ)上,擴展一種接入接出協(xié)議,如dubbo、TSF等;
? 加解密擴展
擴展新的算法和規(guī)則,對請求響應報文加解密、加驗簽;
? 網(wǎng)關(guān)請求響應二次擴展
支持在網(wǎng)關(guān)層面對接入的請求,接收的響應進行修改;
? 擴展網(wǎng)關(guān)響應碼及響應信息
對網(wǎng)關(guān)響應碼和響應信息的擴展,用以適配各種不同的響應碼響應格式要求。
除Filter擴展是在過濾器中進行擴展,其余擴展均是針對inbound和outbound進行擴展。
3、高可用設(shè)計——更易管理和維護的邏輯集群劃分
網(wǎng)關(guān)分為管控端(數(shù)據(jù)控制)和運行端(API調(diào)用)兩個服務,且單獨運行,運行端采取本地緩存存儲信息不需要任何讀庫操作,在管控端Down機情況下,仍可以繼續(xù)進行API調(diào)用。
網(wǎng)關(guān)服務器采用無狀態(tài)集群架構(gòu),一個網(wǎng)關(guān)集群可以包含多個網(wǎng)關(guān)實例,集群可以作為邏輯上的實例分類,每個實例只對應一個網(wǎng)關(guān)管控端,防止數(shù)據(jù)混亂。相對市面上普遍使用的物理上集群劃分,這種邏輯集群劃分則更好管理和維護。
網(wǎng)關(guān)管控端會主動向運行端發(fā)送心跳檢測,同時網(wǎng)關(guān)運行端會定時向管控端進行數(shù)據(jù)同步,預防管控端數(shù)據(jù)同步異常導致的不一致。
客戶端通過負載均衡器訪問網(wǎng)關(guān)實例,負載均衡器可采用軟負載或硬負載方式,負載均衡器可使用MS架構(gòu)避免單點故障。
API治理設(shè)計
1、API限流
限制API被訪問的次數(shù),保證服務在可承受壓力內(nèi)正常運行,防止因過高流量導致服務發(fā)生崩潰,分布式限流采取分布式緩存Redis實現(xiàn)。
當請求進入RateLimiter Filter 限流過濾器時,會先根據(jù)當前的請求構(gòu)建一組Key,然后判斷Redis是否可用,當其可用時使用Redis進行集群限流:
? 先判斷當前實例的緩存是否有該key,如果存在則請求redis lua腳本,腳本中會對遍歷到的規(guī)則執(zhí)行 incr rule,給對應的規(guī)則自增1,并判斷返回值,如果返回值小于等于最大值,則允許通過,否則拋出限流異常。
? 當Redis不可用時,則使用JVM級別的實例限流。會直接從當前實例的緩存中獲取一個Semaphore信號量,并嘗試獲取其許可,當獲取成功則表示限流通過,反之拋出限流異常。
2、熔斷降級
當服務故障時,為了防止整個系統(tǒng)的故障,對系統(tǒng)采取熔斷降級策略。可根據(jù)平均響應時間、秒級異常比例、分鐘級異常數(shù)等維度進行熔斷降級處理。
熔斷降級的三種維度:
? 平均響應時間:如在1s內(nèi)連續(xù)處理5個請求,它的平均響應時間都超過閾值,那么在后續(xù)的時間窗口中,對于這個API的調(diào)用都會自動熔斷或降級。
? 異常比例:當指定資源每秒請求量大于等于5,并且每秒的異常總數(shù)占通過量的比值超過閾值之后(如每秒處理1000個請求,那么其中異常請求數(shù)為500,那么當前的比值是50%),那么該資源會進入降級狀態(tài)。異常的比率范圍是[0.0.1.0]表示0%到100%。
? 異常數(shù):當資源在1分鐘的異常數(shù)據(jù)超過閾值后會進行熔斷或降級針對這些規(guī)則。
3、API路由
API路由指根據(jù)調(diào)用將調(diào)用路由對不同的后端服務、網(wǎng)關(guān)支持基于客戶端IP、比例、調(diào)用者、自定義方式進行路由,同時支持配置優(yōu)先級。
API路由的四種模式:
? IP模式:根據(jù)不同IP路由到不同的服務提供者實例。
? 關(guān)鍵字模式:通過在請求頭或者查詢參數(shù)中的關(guān)鍵字進行路由。
? 租戶模式:不同租戶路由不同的服務提供者。
? 比例模式:設(shè)置不同的比例進行路由,例如實例A消化掉90%的API調(diào)用,實例B消化掉10%的API。
API安全防范
1、協(xié)議安全
為保證訪問API過程中的安全問題,API網(wǎng)關(guān)在設(shè)計上增加了對https的支持,可直接使用https的訪問方式訪問網(wǎng)關(guān)中的API。
2、訪問安全
很多情況下,API都直接暴露在公網(wǎng),所以很可能會出現(xiàn)被惡意訪問,而網(wǎng)關(guān)要做的就是防止這種惡意訪問的出現(xiàn)。通過訪問JTW認證、權(quán)限控制、簽名認證、黑白名單等手段來降低API被惡意訪問的風險。
相對單一的訪問安全方式,長亮科技的訪問安全更為全面,且在除現(xiàn)有的幾個訪問安全外,仍可繼續(xù)擴展其他安全手段。
? 權(quán)限控制:只有通過管理員授權(quán)的接口,客戶端才有權(quán)限訪問 。如果未授權(quán),在網(wǎng)關(guān)處攔截,響應給客戶端沒有訪問權(quán)限。
? 簽名認證:按規(guī)則將請求參數(shù)通過SHA256算法|RSA|國密等運算生成簽名值,網(wǎng)關(guān)對客戶的簽名進行驗簽,驗簽成功后繼續(xù)往下,否則直接被攔截。
? 黑白名單:按黑白名單的配置進行驗證,如果在黑名單中,則直接攔截,不在黑名單中可繼續(xù)往下。
? JWT認證:在訪問API前先向網(wǎng)關(guān)申請一個Token,每次API訪問時帶入這個Token,網(wǎng)關(guān)則會對Token解析,主要包括Token有效期驗證、訪問權(quán)限驗證、訪問者身份認證;通過后繼續(xù)往下,否則直接攔截。
3、報文安全
在客戶端調(diào)用API時,傳入報文的安全是至關(guān)重要的,網(wǎng)關(guān)在這塊通過報文的加密/加簽的方式確保報文的安全性。
? 加密:通過對報文的加密確保訪問過程中報文的安全性;除現(xiàn)支持的AES、DES、RSA、國密方式外,并可以通過SPI的機制,擴展其他的加解密方式。
? 加簽:通過對報文的加簽確保報文在訪問過程中的完整性,除現(xiàn)支持的RSA、SHA256、國密方式外,也可以通過SPI的機制,擴展其他加簽方式。
4、流量安全
網(wǎng)關(guān)作為所有應用的一個入口,承載著海量流量的訪問,以及隨時可能爆發(fā)的惡意流量攻擊的壓力。因此流量控制是網(wǎng)關(guān)安全中必須的一環(huán),以保證服務的正常運行,防止服務因過高流量導致服務發(fā)生崩潰。
總結(jié)
在豐富的金融客戶實踐中,長亮科技認為,API網(wǎng)關(guān)作為企業(yè)能力開放的一個門戶,除了具備基本的請求轉(zhuǎn)發(fā)、協(xié)議轉(zhuǎn)換、路由、安全控制等功能,以及高性能和高穩(wěn)定性外,還需具備良好的擴展性,以便于網(wǎng)關(guān)能力的不斷增強。在網(wǎng)關(guān)實施過程中,要規(guī)劃好網(wǎng)關(guān)層與服務層的交互方式,盡量使得網(wǎng)關(guān)層與服務層解耦,便于各個團隊工作的獨立性;同時在API的管理上,需要提供API全生命周期的發(fā)布、配置、鑒權(quán)、流控、監(jiān)控等配套的管理功能。
無論是微服務、分布式架構(gòu),還是網(wǎng)格化服務架構(gòu),API網(wǎng)關(guān)都是不可或缺的部分,隨著各服務之間的流量變化呈現(xiàn)出爆發(fā)性的增長,API網(wǎng)關(guān)作為系統(tǒng)的入口,將在提升系統(tǒng)的性能和可靠性中承擔著越來越重要的作用。