玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告)

遊戲編程 2022-06-23 17:10:07 阅读数:441

springbootsqlsqlspring
玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告) - 第1張

程序員的成長之路
互聯網/程序員/技術/資料共享

閱讀本文大概需要 10 分鐘。
來自:blog.csdn.net/weixin_44730681/article/details/107944048

1 基本概念

Druid 是Java語言中最好的數據庫連接池。
雖然 HikariCP 的速度稍快,但是, Druid能够提供强大的監控和擴展功能 ,也是阿裏巴巴的開源項目。
Druid是阿裏巴巴開發的號稱為監控而生的數據庫連接池,在功能、性能、擴展性方面,都超過其他數據庫連接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource等等等,秒殺一切。
Druid 可以很好的監控 DB 池連接和 SQL 的執行情况,天生就是針對監控而生的 DB 連接池。
Spring Boot 默認數據源 HikariDataSource 與 JdbcTemplate中已經介紹 Spring Boot 2.x 默認使用 Hikari 數據源 ,可以說 Hikari 與 Driud 都是當前 Java Web 上最優秀的數據源。
而Druid已經在阿裏巴巴部署了超過600個應用,經過好幾年生產環境大規模部署的嚴苛考驗!

  • stat:Druid內置提供一個 StatFilter ,用於統計監控信息。

  • wall:Druid防禦SQL注入攻擊的 WallFilter 就是通過Druid的SQL Parser分析。Druid提供的SQL Parser可以在JDBC層攔截SQL做相應處理,比如說分庫分錶、審計等。

  • log4j2:這個就是 日志記錄的功能,可以把sql語句打印到log4j2 供排查問題。

2 添加依賴

pom.xml

<!-- 阿裏巴巴的druid數據源 --><dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.23</version></dependency><!-- mysql8 驅動--><dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope></dependency><!--使用 log4j2 記錄日志--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId></dependency><!--mybatis,引入了 SpringBoot的 JDBC 模塊,所以,默認是使用 hikari 作為數據源--><dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.3</version> <exclusions> <!-- 排除默認的 HikariCP 數據源 --> <exclusion> <groupId>com.zaxxer</groupId> <artifactId>HikariCP</artifactId> </exclusion> </exclusions></dependency>

3 配置相關屬性

  • 配置Druid數據源(連接池) :如同以前 c3p0、dbcp 數據源可以設置數據源連接初始化大小、最大連接數、等待時間、最小連接數 等一樣,Druid 數據源同理可以進行設置;

  • 配置 Druid web 監控 filter(WebStatFilter) :這個過濾器的作用就是統計 web 應用請求中所有的數據庫信息,比如 發出的 sql 語句,sql 執行的時間、請求次數、請求的 url 地址、以及seesion 監控、數據庫錶的訪問次數 等等。

  • 配置 Druid 後臺管理 Servlet(StatViewServlet) :Druid 數據源具有監控的功能,並提供了一個 web 界面方便用戶查看,類似安裝 路由器 時,人家也提供了一個默認的 web 頁面;需要設置 Druid 的後臺管理頁面的屬性,比如 登錄賬號、密碼 等; 注意:
    Druid Spring Boot Starter 配置屬性的名稱完全遵照 Druid,可以通過 Spring Boot 配置文件來配置Druid數據庫連接池和監控,如果沒有配置則使用默認值。

    application.yml

########## 配置數據源 (Druid)##########spring: datasource: ########## JDBC 基本配置 ########## username: xxx password: xxx driver-class-name: com.mysql.cj.jdbc.Driver # mysql8 的連接驅動 url: jdbc:mysql://127.0.0.1:3306/test?serverTimezone=Asia/Shanghai platform: mysql # 數據庫類型 type: com.alibaba.druid.pool.DruidDataSource # 指定數據源類型 ########## 連接池 配置 ########## druid: # 配置初始化大小、最小、最大 initial-size: 5 minIdle: 10 max-active: 20 # 配置獲取連接等待超時的時間(單比特:毫秒) max-wait: 60000 # 配置間隔多久才進行一次檢測,檢測需要關閉的空閑連接,單比特是毫秒 time-between-eviction-runs-millis: 2000 # 配置一個連接在池中最小生存的時間,單比特是毫秒 min-evictable-idle-time-millis: 600000 max-evictable-idle-time-millis: 900000 # 用來測試連接是否可用的SQL語句,默認值每種數據庫都不相同,這是mysql validationQuery: select 1 # 應用向連接池申請連接,並且testOnBorrow為false時,連接池將會判斷連接是否處於空閑狀態,如果是,則驗證這條連接是否可用 testWhileIdle: true # 如果為true,默認是false,應用向連接池申請連接時,連接池會判斷這條連接是否是可用的 testOnBorrow: false # 如果為true(默認false),當應用使用完連接,連接池回收連接的時候會判斷該連接是否還可用 testOnReturn: false # 是否緩存preparedStatement,也就是PSCache。PSCache對支持遊標的數據庫性能提昇巨大,比如說oracle poolPreparedStatements: true # 要啟用PSCache,必須配置大於0,當大於0時, poolPreparedStatements自動觸發修改為true, # 在Druid中,不會存在Oracle下PSCache占用內存過多的問題, # 可以把這個數值配置大一些,比如說100 maxOpenPreparedStatements: 20 # 連接池中的minIdle數量以內的連接,空閑時間超過minEvictableIdleTimeMillis,則會執行keepAlive操作 keepAlive: true # Spring 監控,利用aop 對指定接口的執行時間,jdbc數進行記錄 aop-patterns: "com.springboot.template.dao.*" ########### 啟用內置過濾器(第一個 stat必須,否則監控不到SQL)########## filters: stat,wall,log4j2 # 自己配置監控統計攔截的filter filter: # 開啟druiddatasource的狀態監控 stat: enabled: true db-type: mysql # 開啟慢sql監控,超過2s 就認為是慢sql,記錄到日志中 log-slow-sql: true slow-sql-millis: 2000 # 日志監控,使用slf4j 進行日志輸出 slf4j: enabled: true statement-log-error-enabled: true statement-create-after-log-enabled: false statement-close-after-log-enabled: false result-set-open-after-log-enabled: false result-set-close-after-log-enabled: false ########## 配置WebStatFilter,用於采集web關聯監控的數據 ########## web-stat-filter: enabled: true # 啟動 StatFilter url-pattern: /* # 過濾所有url exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" # 排除一些不必要的url session-stat-enable: true # 開啟session統計功能 session-stat-max-count: 1000 # session的最大個數,默認100 ########## 配置StatViewServlet(監控頁面),用於展示Druid的統計信息 ########## stat-view-servlet: enabled: true # 啟用StatViewServlet url-pattern: /druid/* # 訪問內置監控頁面的路徑,內置監控頁面的首頁是/druid/index.html reset-enable: false # 不允許清空統計數據,重新計算 login-username: root # 配置監控頁面訪問密碼 login-password: 123 allow: 127.0.0.1 # 允許訪問的地址,如果allow沒有配置或者為空,則允許所有訪問 deny: # 拒絕訪問的地址,deny優先於allow,如果在deny列錶中,就算在allow列錶中,也會被拒絕

上述配置文件的參數可以在 com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatPropertiesorg.springframework.boot.autoconfigure.jdbc.DataSourceProperties 中找到;

3.1 如何配置 Filter

可以通過 spring.datasource.druid.filters=stat,wall,log4j ... 的方式來啟用相應的內置Filter,不過這些Filter都是默認配置。如果默認配置不能滿足需求,可以放弃這種方式,通過配置文件來配置Filter,下面是例子。

# 配置StatFilter spring.datasource.druid.filter.stat.enabled=truespring.datasource.druid.filter.stat.db-type=h2spring.datasource.druid.filter.stat.log-slow-sql=truespring.datasource.druid.filter.stat.slow-sql-millis=2000# 配置WallFilter spring.datasource.druid.filter.wall.enabled=truespring.datasource.druid.filter.wall.db-type=h2spring.datasource.druid.filter.wall.config.delete-allow=falsespring.datasource.druid.filter.wall.config.drop-table-allow=false

目前為以下 Filter 提供了配置支持,根據(spring.datasource.druid.filter.*)進行配置。

  • StatFilter

  • WallFilter

  • ConfigFilter

  • EncodingConvertFilter

  • Slf4jLogFilter

  • Log4jFilter

  • Log4j2Filter

  • CommonsLogFilter 不想使用內置的 Filters,要想使自定義 Filter 配置生效需要將對應 Filter 的 enabled 設置為 true ,Druid Spring Boot Starter 默認禁用 StatFilter,可以將其 enabled 設置為 true 來啟用它。

3.2 監控頁面

(1)啟動項目後,訪問 /druid/login.html 來到 登錄頁面 ,輸入用戶名密碼登錄

玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告) - 第2張

(2) 數據源頁面 是當前DataSource配置的基本信息,上述配置的Filter可以在裏面找到,如果沒有配置Filter(一些信息會無法統計,例如“SQL監控”,會無法獲取JDBC相關的SQL執行信息)

玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告) - 第3張

(3) SQL監控頁面 ,統計了所有SQL語句的執行情况

玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告) - 第4張

(4) URL監控頁面 ,統計了所有Controller接口的訪問以及執行情况

玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告) - 第5張

(5)Spring 監控頁面,利用aop 對指定接口的執行時間,jdbc數進行記錄

玩轉 SpringBoot 監控統計(SQL監控、慢SQL記錄、Spring監控、去廣告) - 第6張

(6) SQL防火牆頁面
druid提供了黑白名單的訪問,可以清楚的看到sql防護情况。
(7) Session監控頁面
可以看到當前的session狀况,創建時間、最後活躍時間、請求次數、請求時間等詳細參數。
(8) JSONAPI 頁面
通過api的形式訪問Druid的監控接口,api接口返回Json形式數據。

4 sql監控

配置 Druid web 監控 filter( WebStatFilter )這個過濾器,作用就是統計 web 應用請求中所有的數據庫信息,比如 發出的 sql 語句,sql 執行的時間、請求次數、請求的 url 地址、以及seesion 監控、數據庫錶的訪問次數 等等。

spring: datasource: druid: ########## 配置WebStatFilter,用於采集web關聯監控的數據 ########## web-stat-filter: enabled: true # 啟動 StatFilter url-pattern: /* # 過濾所有url exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" # 排除一些不必要的url session-stat-enable: true # 開啟session統計功能 session-stat-max-count: 1000 # session的最大個數,默認100

5 慢sql記錄

有時候,系統中有些SQL執行很慢,我們希望使用日志記錄下來,可以開啟Druid的慢SQL記錄功能

spring: datasource: druid: filter: stat: enabled: true # 開啟DruidDataSource狀態監控 db-type: mysql # 數據庫的類型 log-slow-sql: true # 開啟慢SQL記錄功能 slow-sql-millis: 2000 # 默認3000毫秒,這裏超過2s,就是慢,記錄到日志

啟動後,如果遇到執行慢的SQL,便會輸出到日志中

6 spring 監控

訪問之後spring監控默認是沒有數據的;
這需要導入SprngBoot的AOP的Starter

<!--SpringBoot 的aop 模塊--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></dependency>

需要在 application.yml 配置:

Spring監控AOP切入點,如com.springboot.template.dao.*,配置多個英文逗號分隔

spring.datasource.druid.aop-patterns="com.springboot.template.dao.*"

7 去 Ad(廣告)

訪問監控頁面的時候,你可能會在頁面底部(footer)看到阿裏巴巴的廣告
原因:引入的druid的jar包中的 common.js (裏面有一段js代碼是給頁面的footer追加廣告的)
如果想去掉,有兩種方式:
(1) 直接手動注釋這段代碼
如果是使用Maven,直接到本地倉庫中,查找這個jar包
要注釋的代碼:

// this.buildFooter();

common.js的比特置:

com/alibaba/druid/1.1.23/druid-1.1.23.jar!/support/http/resources/js/common.js

(2) 使用過濾器過濾
注册一個過濾器,過濾common.js的請求,使用正則錶達式替換相關的廣告內容

@[email protected]@AutoConfigureAfter(DruidDataSourceAutoConfigure.class)@ConditionalOnProperty(name = "spring.datasource.druid.stat-view-servlet.enabled",havingValue = "true", matchIfMissing = true)public class RemoveDruidAdConfig { /** * 方法名: removeDruidAdFilterRegistrationBean * 方法描述 除去頁面底部的廣告 * @param properties com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties * @return org.springframework.boot.web.servlet.FilterRegistrationBean */ @Bean public FilterRegistrationBean removeDruidAdFilterRegistrationBean(DruidStatProperties properties) { // 獲取web監控頁面的參數 DruidStatProperties.StatViewServlet config = properties.getStatViewServlet(); // 提取common.js的配置路徑 String pattern = config.getUrlPattern() != null ? config.getUrlPattern() : "/druid/*"; String commonJsPattern = pattern.replaceAll("\\*", "js/common.js"); final String filePath = "support/http/resources/js/common.js"; //創建filter進行過濾 Filter filter = new Filter() { @Override public void init(FilterConfig filterConfig) throws ServletException {} @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { chain.doFilter(request, response); // 重置緩沖區,響應頭不會被重置 response.resetBuffer(); // 獲取common.js String text = Utils.readFromResource(filePath); // 正則替換banner, 除去底部的廣告信息 text = text.replaceAll("<a.*?banner\"></a><br/>", ""); text = text.replaceAll("powered.*?shrek.wang</a>", ""); response.getWriter().write(text); } @Override public void destroy() {} }; FilterRegistrationBean registrationBean = new FilterRegistrationBean(); registrationBean.setFilter(filter); registrationBean.addUrlPatterns(commonJsPattern); return registrationBean; }}

兩種方式都可以,建議使用的是第一種,從根源解决

8 獲取 Druid 的監控數據

Druid 的監控數據可以在 開啟 StatFilter 後 ,通過 DruidStatManagerFacade 進行獲取;
DruidStatManagerFacade#getDataSourceStatDataList 該方法可以獲取所有數據源的監控數據,
除此之外 DruidStatManagerFacade 還提供了一些其他方法,可以按需選擇使用。

@[email protected](value = "/druid")public class DruidStatController { @GetMapping("/stat") public Object druidStat(){ // 獲取數據源的監控數據 return DruidStatManagerFacade.getInstance().getDataSourceStatDataList(); }}

<END>
推薦閱讀:

互聯網初中高級大廠面試題(9個G)內容包含Java基礎、JavaWeb、MySQL性能優化、JVM、鎖、百萬並發、消息隊列、高性能緩存、反射、Spring全家桶原理、微服務、Zookeeper......等技術棧!戳閱讀原文領取! 朕已閱

作者:程序員的成長之路

遊戲編程,一個遊戲開發收藏夾~

如果圖片長時間未顯示,請使用Chrome內核瀏覽器。

版权声明:本文为[遊戲編程]所创,转载请带上原文链接,感谢。 https://gsmany.com/2022/174/202206231625223536.html