【譯】MySQL挑戰:建立10萬連接

PHP技術大全 / 2019-03-15 14:54:50

原文地址:http://www.percona.com/blog/2019/02/25/mysql-challenge-100k-connections/

本文的目的是探索一種在一臺MySQL服務器上建立10w個連接的方法。我們要建立的是可以執行查詢的連接,而不是10w個空閑連接。

你可能會問,我的MySQL服務器真的需要10w連接嗎?我見過很多不同的部署方案,例如使用連接池,每個應用的連接池里放1000個連接,部署100個這樣的應用服務器。還有一些非常糟糕的實踐,使用“查詢慢則重連并重試”的技術。這會造成雪球效應,有可能導致在幾秒內需要建立上千個連接的情況。

所以我決定設置一個“小目標”,看能否實現。

準備階段

先看一下硬件,服務器由packet.net(一個云服務商)提供,配置如下:

instance size: c2.medium.x86
Physical Cores @ 2.2 GHz
(1 X AMD EPYC 7401P)
Memory: 64 GB of ECC RAM
Storage : INTEL? SSD DC S4500, 480GB

我們需要5臺這樣的服務器,1臺用來作MySQL服務器,其余4臺作為客戶端。MySQL服務器使用的是Percona  Server的帶有線程池插件的MySQL 8.0.13-4,這個插件需要支持上千個連接。

初始化服務器配置

網絡設置:

 1- { name: 'net.core.somaxconn', value: 32768 }
2- { name: 'net.core.rmem_max', value: 134217728 }
3- { name: 'net.core.wmem_max', value: 134217728 }
4- { name: 'net.ipv4.tcp_rmem', value: '4096 87380 134217728' }
5- { name: 'net.ipv4.tcp_wmem', value: '4096 87380 134217728' }
6- { name: 'net.core.netdev_max_backlog', value: 300000 }
7- { name: 'net.ipv4.tcp_moderate_rcvbuf', value: 1 }
8- { name: 'net.ipv4.tcp_no_metrics_save', value: 1 }
9- { name: 'net.ipv4.tcp_congestion_control', value: 'htcp' }
10- { name: 'net.ipv4.tcp_mtu_probing', value: 1 }
11- { name: 'net.ipv4.tcp_timestamps', value: 0 }
12- { name: 'net.ipv4.tcp_sack', value: 0 }
13- { name: 'net.ipv4.tcp_syncookies', value: 1 }
14- { name: 'net.ipv4.tcp_max_syn_backlog', value: 4096 }
15- { name: 'net.ipv4.tcp_mem', value: '50576   64768 98152' }
16- { name: 'net.ipv4.ip_local_port_range', value: '4000 65000' }
17- { name: 'net.ipv4.netdev_max_backlog', value: 2500 }
18- { name: 'net.ipv4.tcp_tw_reuse', value: 1 }
19- { name: 'net.ipv4.tcp_fin_timeout', value: 5 }

系統限制設置:

1[Service]
2LimitNOFILE=1000000
3LimitNPROC=500000

相應的MySQL配置(my.cnf文件):

1back_log=3500
2max_connections=110000

客戶端使用的是sysbench0.5版本,而不是1.0.x。具體原因我們在后面做解釋。

執行命令:sysbench --test=sysbench/tests/db/select.lua --mysql-host=139.178.82.47 --mysql-user=sbtest--mysql-password=sbtest --oltp-tables-count=10 --report-interval=1 --num-threads=10000 --max-time=300 --max-requests=0 --oltp-table-size=10000000 --rand-type=uniform --rand-init=on run

第一步,10,000個連接

這一步非常簡單,我們不需要做過多調整就可以實現。這一步只需要一臺機器做客戶端,不過客戶端有可能會有如下錯誤:

FATAL: error 2004: Can't create TCP/IP socket (24)

這是由于打開文件數限制,這個限制限制了TCP/IP的sockets數量,可以在客戶端上進行調整:

ulimit -n100000

此時我們來觀察一下性能:

1[  26s] threads: 10000, tps: 0.00, reads: 33367.48, writes: 0.00, response time: 3681.42ms (95%), errors: 0.00, reconnects:  0.00
2[  27s] threads: 10000, tps: 0.00, reads: 33289.74, writes: 0.00, response time: 3690.25ms (95%), errors: 0.00, reconnects:  0.00

第二步,25,000個連接

這一步會在MySQL服務端發生錯誤:

Can't create a new thread (errno 11); if you are not out of available memory, you can consult the manualfor a possible OS-dependent bug

關于這個問題的解決辦法可以看這個鏈接:

http://www.percona.com/blog/2013/02/04/cant_create_thread_errno_11/

不過這個辦法不適用于我們現在的情況,因為我們已經把所有限制調到最高:

 1cat /proc/`pidof mysqld`/limits
2Limit                     Soft Limit Hard Limit           Units
3Max cpu time              unlimited  unlimited            seconds
4Max file size             unlimited  unlimited            bytes
5Max data size             unlimited  unlimited            bytes
6Max stack size            8388608    unlimited            bytes
7Max core file size        0          unlimited            bytes
8Max resident set          unlimited  unlimited            bytes
9Max processes             500000     500000               processes
10Max open files            1000000    1000000              files
11Max locked memory         16777216   16777216             bytes
12Max address space         unlimited  unlimited            bytes
13Max file locks            unlimited  unlimited            locks
14Max pending signals       255051     255051               signals
15Max msgqueue size         819200     819200               bytes
16Max nice priority         0          0
17Max realtime priority     0          0
18Max realtime timeout      unlimited unlimited            us

這也是為什么我們最開始要選擇有線程池的服務:http://www.percona.com/doc/percona-server/8.0/performance/threadpool.html

在my.cnf文件中加上下面這行設置,然后重啟服務

thread_handling=pool-of-threads

查看一下結果

1[   7s] threads: 25000, tps: 0.00, reads: 33332.57, writes: 0.00, response time: 974.56ms (95%), errors: 0.00, reconnects:  0.00
2[   8s] threads: 25000, tps: 0.00, reads: 33187.01, writes: 0.00, response time: 979.24ms (95%), errors: 0.00, reconnects:  0.00

吞吐量相同,但是又95%的響應從3690 ms降到了979 ms。

第三步,50,000個連接

到這里,我們遇到了最大的挑戰。首先嘗試建立5w連接的時候,sysbench報錯:

FATAL: error 2003: Can't connect to MySQL server on '139.178.82.47' (99)

Error (99)錯誤比較神秘,它意味著不能分配指定的地址。這個問題是由一個應用可以打開的端口數限制引起的,我們的系統默認配置是:

cat /proc/sys/net/ipv4/ip_local_port_range : 32768 60999

這表示我們只有28,231可用端口(60999減32768),或者是你最多能建立的到指定IP地址的TCP連接數。你可以在服務器和客戶端擴寬這個范圍:

echo 4000 65000 > /proc/sys/net/ipv4/ip_local_port_range

這樣我們就能建立61,000個連接了,這已經接近一個IP可用端口的最大限制了(65535)。這里的關鍵點是,如果我們想要達到10w連接,就需要為MySQL服務器分配更多的IP地址,所以我為MySQL服務器分配了兩個IP地址。

解決了端口個數問題后,我們又遇到了新的問題:

1sysbench 0.5:  multi-threaded system evaluation benchmark
2Running the test with following options:
3Number of threads: 50000
4FATAL: pthread_create() for thread #32352 failed. errno = 12 (Cannot allocate memory)

這個問題是由sysbench的內存分配問題引起的。sysbench只能分配的內存只能創建32,351個連接,這個問題在1.0.x版本中更為嚴重。

Sysbench 1.0.x的限制

Sysbench 1.0.x版本使用了不同的Lua編譯器,導致我們不可能創建超過4000個連接。所以看起來Sysbench比 Percona Server更早到達了極限,所以我們需要使用更多的客戶端。每個客戶端最多32,351個連接的話,我們最少要使用4個客戶端才能達到10w連接的目標。

為了達到5w連接,我們使用了兩臺機器做客戶端,每臺機器開啟25,000個線程。結果如下:

1[  29s] threads: 25000, tps: 0.00, reads: 16794.09, writes: 0.00, response time: 1799.63ms (95%), errors: 0.00, reconnects:  0.00
2[  30s] threads: 25000, tps: 0.00, reads: 16491.03, writes: 0.00, response time: 1800.70ms (95%), errors: 0.00, reconnects:  0.00

吞吐量和上一步差不多(總的tps是16794*2 = 33588),但是性能降低了,有95%的響應時間長了一倍。這是意料之中的事情,因為與上一步相比,我們的連接數擴大了一倍。

第四步,75,000個連接

這一步我們再增加一臺服務器做客戶端,每臺客戶端上同樣是跑25,000個線程。結果如下:

1[ 157s] threads: 25000, tps: 0.00, reads: 11633.87, writes: 0.00, response time: 2651.76ms (95%), errors: 0.00, reconnects:  0.00
2[ 158s] threads: 25000, tps: 0.00, reads: 10783.09, writes: 0.00, response time: 2601.44ms (95%), errors: 0.00, reconnects:  0.00

第五步,100,000個連接

終于到站了,這一步同樣沒什么困難,只需要再開一個客戶端,同樣跑25,000個線程。結果如下:

1[ 101s] threads: 25000, tps: 0.00, reads: 8033.83, writes: 0.00, response time: 3320.21ms (95%), errors: 0.00, reconnects:  0.00
2[ 102s] threads: 25000, tps: 0.00, reads: 8065.02, writes: 0.00, response time: 3405.77ms (95%), errors: 0.00, reconnects:  0.00

吞吐量仍然保持在32260的水平(8065*4),95%的響應時間是3405ms。

這里有個非常重要的事情,想必大家已經發現了:在有線程的情況下10w連接數的響應速度甚至要優于沒有線程池的情況下的1w連接數的響應速度。線程池使得Percona Server可以更加有效的管理資源,然后提供更好的響應速度。

結論

10w連接數是可以實現的,并且可以更多,實現這個目標有三個重要的組件:

  1. Percona Server的線程池

  2. 正確的網絡設置

  3. 為MySQL服務器配置多個IP地址(每個IP限制65535個連接)

附錄

最后貼上完整的my.cnf文件

 1[mysqld]
2datadir {{ mysqldir }}
3ssl=0
4skip-log-bin
5log-error=error.log
6# Disabling symbolic-links is recommended to prevent assorted security risks
7symbolic-links=0
8character_set_server=latin1
9collation_server=latin1_swedish_ci
10skip-character-set-client-handshake
11innodb_undo_log_truncate=off
12# general
13table_open_cache = 200000
14table_open_cache_instances=64
15back_log=3500
16max_connections=110000
17# files
18innodb_file_per_table
19innodb_log_file_size=15G
20innodb_log_files_in_group=2
21innodb_open_files=4000
22# buffers
23innodb_buffer_pool_size= 40G
24innodb_buffer_pool_instances=8
25innodb_log_buffer_size=64M
26# tune
27innodb_doublewrite= 1
28innodb_thread_concurrency=0
29innodb_flush_log_at_trx_commit= 0
30innodb_flush_method=O_DIRECT_NO_FSYNC
31innodb_max_dirty_pages_pct=90
32innodb_max_dirty_pages_pct_lwm=10
33innodb_lru_scan_depth=2048
34innodb_page_cleaners=4
35join_buffer_size=256K
36sort_buffer_size=256K
37innodb_use_native_aio=1
38innodb_stats_persistent = 1
39#innodb_spin_wait_delay=96
40innodb_adaptive_flushing = 1
41innodb_flush_neighbors = 0
42innodb_read_io_threads = 16
43innodb_write_io_threads = 16
44innodb_io_capacity=1500
45innodb_io_capacity_max=2500
46innodb_purge_threads=4
47innodb_adaptive_hash_index=0
48max_prepared_stmt_count=1000000
49innodb_monitor_enable = '%'
50performance_schema = ON

更多精彩

敬請關注“PHP技術大全”微信公眾號


青海快三开奖信息