醫(yī)院SQL數據庫系統(tǒng)語句優(yōu)化
本文就如何優(yōu)化大型數據庫的性能進行了一些探索,提出了優(yōu)化數據庫訪問性能的若干策略,特別是對SQL語句進行了有效的分析設計的問題,以使其加快執(zhí)行速度,減少網絡傳輸,能更高效地工作,充分發(fā)揮系統(tǒng)的效率。
本文引用地址:http://www.ex-cimer.com/article/201706/350083.htm隨著醫(yī)院信息系統(tǒng)模塊的不斷增加,特別是近兩年電子病歷的使用,臨床診療信息大量寫入數據庫,數據量急劇增加,造成業(yè)務數據庫非常龐大,業(yè)務處理的速度明顯下降?;谶@一問題,本文就如何優(yōu)化大型數據庫的性能進行了一些探索,提出了優(yōu)化數據庫訪問性能的若干策略,特別是對SQL語句進行了有效的分析設計的問題,以使其加快執(zhí)行速度,減少網絡傳輸,能更高效地工作,充分發(fā)揮系統(tǒng)的效率。
醫(yī)院經過多年的信息化建設,取得了顯著成效,信息化由原來的以收費、記帳為主,逐步向臨床醫(yī)療、服務病人過渡。隨著醫(yī)院信息系統(tǒng)模塊的不斷增加,特別是近兩年電子病歷的使用,臨床診療信息大量寫入數據庫,數據量急劇增加,造成業(yè)務數據庫非常龐大,業(yè)務處理的速度明顯下降。加之在頻繁的業(yè)務數據庫中還要進行大數據量查詢或報表統(tǒng)計,導致在業(yè)務處理時經常出現阻塞或死鎖現象,嚴重影響到日常的工作。故如何對數據庫性能在進行優(yōu)化設計,即提高數據庫的吞吐量、減少用戶等待時間具有重大意義。
傳統(tǒng)的數據庫性能優(yōu)化主要從操作系統(tǒng)、客戶端應用軟件程序設計、網絡及其它硬件設備等方面來考慮,這種方法只是調整數據庫的周邊環(huán)境,只能暫時緩解問題,而不能從根本上解決問題。實際應用中,更多情況是醫(yī)院信息系統(tǒng)(包括數據庫系統(tǒng))都已設計好,只是在運行的過程中隨著數據規(guī)模的增大,使得系統(tǒng)出現周期性性能問題。本文提出的醫(yī)院數據庫系統(tǒng)性能優(yōu)化是在己有的硬件設施升級、數據庫的物理設計、關系規(guī)范化等方面進行改進基礎之上,對SQL語句進行了有效的分析設計的問題,以使其加快執(zhí)行速度,減少網絡傳輸,能更高效地工作,充分發(fā)揮系統(tǒng)的效率。
1 合理使用索引
提高數據庫查詢速度最有效的方法就是優(yōu)化索引。索引是建立在實體表上的一種數據組織,它可以提高訪問表中一條或多條記錄的查詢效率,使用索引的目的是為了避免全表掃描,減少磁盤I/O的次數,加快查詢速度,在大型的表中進行索引的建立對加快表的查詢有著重要的意義。但是也并不對任何的數據表都要建立索引,索引通常能提高select、update以及delete語句的性能(當訪問的行較少時),但會降低insert語句的性能(因為需要同時對表和索引進行插入)。此外,過多的索引會產生維護上的開銷,只會降低而不是增加系統(tǒng)的性能,索引的使用要恰到好處。索引使用原則如下:
(1)在經常進行連接,但是沒有指定為外鍵的列上建立索引,而不經常連接的字段則由優(yōu)化器自動生成索引。
(2)在頻繁進行排序或分組(即進行group by或order by操作)的列上建立索引,而頻繁進行刪除、插入操作的表不要建立過多的索引。
(3)在條件表達式中經常用到的不同值較多的列上建立檢索,在不同值少的列上不要建立索引。比如在雇員表的“性別”列上只有“男”與“女”兩個不同值,因此就沒有必要建立索引,如果在此建立索引不但不會提高查詢效率,反而會嚴重降低更新速度。
(4)如果待排序的列有多個,可以在這些列上建立復合索引(compound index)。盡量使用較窄的索引, 這樣數據頁每頁上能因存放較多的索引行而減少操作。
(5)在查詢中經常作為條件表達式并且不同值較多的列上建立索引,而不同值較少的列上不要建立索引。
(6)當數據庫表更新大數據后, 刪除并重新建立索引來提高查詢速度。
總之,建立索引一定要慎重,對每個索引建立的必要性都要仔細分析,一定要有建立的依據。過多的索引或不充分、不正確的索引對提升數據庫的性能毫無益處。
2 SQL語句優(yōu)化
SQL語言是一種非常靈活的語言,相同功能的實現??梢杂脦追N不同的語句來表達,但語句的執(zhí)行效率可能存在很的差別。因此,任何一個數據庫應用系統(tǒng)中,合理的對SQL語句進行優(yōu)化將大大的提高整個數據庫系統(tǒng)的性能。所有的SQL語句執(zhí)行過程分三個階段,分別是進行處理語法分析、執(zhí)行、讀取數據。
圖1 SQL語句執(zhí)行過程
在使用SQL時,性能差異在大型的或是復雜的數據庫環(huán)境中,如在HIS的一些大型表中表現尤為明顯。經過一段時間的總結,發(fā)現SQL語句比較低下的原因主要來自于不恰當的索引設計、不充分的連接條件和不可優(yōu)化的WHERE子句及其它不恰當的語句操作等,在對它們進行適當的優(yōu)化后,其運行速度有了明顯提高。下面將從這幾個方面分別進行說明:
2.1 LIKE操作符
LIKE操作符可以應用通配符查詢,里面的通配符組合可能達到幾乎是任意的查詢,但是如果用得不好則會產生性能上的問題,如like 'a%' 使用索引,like ‘%a’ 不使用索引。用 like ‘%a%’ 查詢時,查詢耗時和字段值總長度成正比,所以不能用CHAR類型,而是VARCHAR。
2.2 限制返回行
在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的數據,浪費了服務器的I/O資源,加重了網絡的負擔降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯接訪問表,后果嚴重。可以使用TOP語句來限制返回結果。當返回多行數據時,盡可能不使用光標,因為它占用大量的資源,應該使用datastore。
2.3 UNION操作符
UNION在進行表鏈接后會篩選掉重復的記錄,所以在表鏈接后會對所產生的結果集進行排序運算,刪除重復的記錄再返回結果。實際大部分應用中是不會產生重復的記錄,最常見的是過程表與歷史表UNION。推薦采用UNION ALL操作符替代UNION,因為UNION ALL操作只是簡單的將兩個結果合并后就返回。
2.4 Between與IN
Between在某些時候比IN速度更快,Between能夠更快地根據索引找到范圍。如:
select * from YF_KCMX where YPXH in (12,13)
Select * from YF_KCMX where between 12 and 13
一般在GROUP BY 個HAVING字句之前就能剔除多余的行,所以盡量不要用它們來做剔除行的工作。他們的執(zhí)行順序應該如下最優(yōu):select 的Where字句選擇所有合適的行,Group By用來分組個統(tǒng)計行,Having字句用來剔除多余的分組。這樣Group By 個Having的開銷小,查詢快。對于大的數據行進行分組和Having十分消耗資源。如果Group BY的目的不包括計算,只是分組,那么用Distinct更快。
2.5 注意細節(jié)
一般不要用如下的字句: “<>”, “!=”, “!>”, “!<”, “NOT”, “NOT EXISTS”, “NOT IN”, “NOT LIKE”, and “LIKE ‘%500’”,因為他們不走索引全是表掃描。NOT IN會多次掃描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 來替代,特別是左連接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用, “<>”, “!=”, “!>”,等還是不能優(yōu)化,用不到索引。
不要在WHere字句中的列名加函數,如Convert,substring等,如果必須用函數的時候,創(chuàng)建計算列再創(chuàng)建索引來替代。還可以變通寫法:
WHERE SUBSTRING(firstname,1,1) = ‘m’
改為:WHERE firstname like ‘m%’(索引掃描),但MIN() 和 MAX()能使用到合適的索引。
select * form ZY_FYMX where FYDJ > 3000
分析在此語句中若FYDJ是Float類型的,則優(yōu)化器對其進行優(yōu)化為Convert(float,3000),因為3000是個整數,我們應在編程時使用3000.0而不要等運行時讓DBMS進行轉化。同樣字符和整型數據的轉換。應改為:
select * form ZY_FYMX where FYDJ > 3000.00
2.6 避免相關子查詢
一個列的標簽同時在主查詢和where子句中的查詢中出現,那么很可能當主查詢中的列值改變之后,子查詢必須重新查詢一次。查詢嵌套層次越多,效率越低,因此應當盡量避免子查詢。如果子查詢不可避免,那么要在子查詢中過濾掉盡可能多的行。
3 SQL案例分析
3.1案例分析一
醫(yī)院數據庫容量為28GB,根據對MS_CF01和MS_CF02的大小統(tǒng)計,其中MS_CF02記錄條數為1000萬條;發(fā)藥統(tǒng)計時間一個月,耗時30分鐘仍然無法得到結果,嚴重影響正常業(yè)務,遂中止。
原先統(tǒng)計的SQL語句如下:
select sum(MS_CF02.YPSL*MS_CF02.YPDJ*MS_CF02.CFTS) as total
from MS_CF01,MS_CF02
where MS_CF01.CFSB=MS_CF02.CFSB and MS_CF01.CFLX=1
and (MS_CF01.FYBZ=1 or MS_CF01.FYBZ=3)
and MS_CF01.FYRQ>=”2004.3.1 00:00:00”
and MS_CF01.FYRQ<=”2004.3.30 00:00:00”
and MS_CF01.ZFPB=0
根據對系統(tǒng)的分析(僅限于MS SQL Server數據庫),給出相應的優(yōu)化方案,可以在性能上大幅度提高:
select top 1CFSB from MS_CF01 where FYRQ>=”2004.3.1 00:00:00”
//得到該時間段內最小的CFSB,例如3198724
select top 1CFSB from MS_CF01 where FYRQ<=”2004.3.30 00:00:00”
order by CFSB desc //得到該時間段內最大的CFSB,例為4178763
select sum(MS_CF02.YPSL*MS_CF02.YPDJ*MS_CF02.CFTS) as total
from MS_CF01,MS_CF02
where MS_CF01.CFSB=MS_CF02.CFSB and MS_CF01.CFLX=1
and MS_CF02.CFSB>=3198724 and MS_CF02.CFSB<=4178763
and (MS_CF01.FYBZ=1 or MS_CF01.FYBZ=3)
and MS_CF01.ZFPB=0
所有語句執(zhí)行完畢后,結果不超過18秒。
3.2案例分析二
醫(yī)院工作人員反映在藥庫系統(tǒng)自動計劃模塊執(zhí)行速度很慢,有時大約需要半個小時才能跳出窗口。
經過分析發(fā)現,在w_yk_plan.cb_auto.clicked() 18行開始的代碼如下:
ls_select+= select YK_TYPK.YPXH,YPMC,YPGG,YPDW,GCSL,DCSL,0
ls_select+= from YK_TYPK,YK_KCMX
ls_select+= where XTSB=+string(base_info.syscode)+ and DCSL>0 and GCSL>DCSL and YKZF=0
ls_select+= and YK_TYPK.YPXH not in (select YPXH from YK_KCMX)
ls_select+= group by YK_TYPK.YPXH,YPMC,YPGG,YPDW,GCSL,DCSL
顯然是NOT IN語句導致速度很慢,然后把該語句改成:
ls_select+= select YK_TYPK.YPXH,YPMC,YPGG,YPDW,GCSL,DCSL,0
ls_select+= from YK_TYPK
ls_select+= where XTSB=+string(base_info.syscode)+ and DCSL>0 and GCSL>DCSL and YKZF=0
ls_select+= and not exists ( select YPXH FROM YK_KCMX WHERE YK_TYPK.YPXH = YK_KCMX.YPXH )
ls_select+= group by YK_TYPK.YPXH,YPMC,YPGG,YPDW,GCSL,DCSL “
結果5秒內執(zhí)行完成。
3.3案例分析三
以下SQL的功能是醫(yī)院用于作日報時顯示哪些收費員還沒有做過當天的個人日報,速度非常慢,每次都需要好幾分鐘才能出來數據。
顯然這個問題是由于不合理的子查詢造成的,經分析后我們把子查詢從where子句中去除,語句改成如下后,2秒內數據庫出來了。
某些HIS系統(tǒng)中病區(qū)系統(tǒng)中醫(yī)囑提交、醫(yī)囑執(zhí)行、醫(yī)技提交速度慢問題原因分析ZY_BQYZ 這個表中出院數據沒有轉出到ZY_BQYZ_CY 表中。
沒有建立正確的索引,SQL 語句本身存在的問題,在醫(yī)囑提交中的WHERE子句:
WHERE ( ZY_BQYZ.ZYH = ZY_BRRY.ZYH AND ZY_BRRY.CYPB = 0 )
AND ( ZY_BQYZ.SRKS = :al_hsql)
AND ( ZY_BQYZ.LSBZ=0 OR ZY_BQYZ.LSBZ=2)
AND ( ZY_BQYZ.SYBZ = 0)
AND ( ZY_BQYZ.XMLX<4 )
AND ( ZY_BQYZ.YZPB=0 )
AND ( ZY_BQYZ.FYSX<2)
AND ( ZY_BQYZ.JFBZ<2)
AND ( ZY_BQYZ.YSBZ = 0 OR (ZY_BQYZ.YSBZ = 1 AND ZY_BQYZ.YSTJ = 1))
在醫(yī)院執(zhí)行模塊的數據窗口SQL:
SELECT DISTINCT
ZY_BQYZ.ZYH,ZY_BRRY.BRCH,ZY_BRRY.ZYHM,ZY_BRRY.BRXM,ZY_BRRY.BRXZ
FROM ZY_BQYZ, ZY_BRRY
WHERE ( ZY_BQYZ.ZYH = ZY_BRRY.ZYH )
AND ( ZY_BRRY.CYPB = 0 )
AND ( ZY_BQYZ.SRKS = :al_hsql )
AND ( ZY_BQYZ.SYBZ = 0 )
AND ( ZY_BQYZ.LSBZ = 0 OR ZY_BQYZ.LSBZ = 2 )
AND ( ZY_BQYZ.QRSJ < :ad_today OR ( ZY_BQYZ.QRSJ IS NULL ) )
AND ( ZY_BQYZ.JFBZ = 2 OR ZY_BQYZ.JFBZ = 9 )
AND ( ZY_BQYZ.XMLX > 3 )
AND ( ZY_BQYZ.YZPB = 0 )
ORDER BY ZY_BRRY.BRCH
4小結
從以上這些例子可以看出,SQL優(yōu)化的實質就是在結果正確的前提下,用優(yōu)化器可以識別的語句,充份利用索引,減少表掃描的1/O 次數,盡量避免表搜索的發(fā)生。其實SQL的性能優(yōu)化是一個復雜的過程,上述這些只是在SQL語句應用時的一種具體實例和平時應用中的總結??傊瑪祿斓男阅軆?yōu)化是一個系統(tǒng)工程,涉及的方面很多。數據庫管理員需要綜合運用多種方法,認真分析數據庫運行過程中出現的各種問題,才能保證數據庫高效地運行。
評論