基于盒式圖的數(shù)據(jù)過(guò)濾與回歸分析算法
作者：
時(shí)間：2010-07-30
來(lái)源：網(wǎng)絡(luò)
收藏
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢(xún)
1 盒形圖和回歸分析簡(jiǎn)介
1.1 盒形圖
該方法可以描述數(shù)據(jù)集取值范圍的情況，展示數(shù)據(jù)主要聚集的區(qū)域，發(fā)現(xiàn)離群數(shù)據(jù)可能的位置，以便于對(duì)離群數(shù)據(jù)進(jìn)行處理。盒形圖顯示一個(gè)變量的信息，如對(duì)相同CMM等級(jí)的不同項(xiàng)目完成每個(gè)FP的工作量分析，根據(jù)中位數(shù)m、上四分位數(shù)u、下四分位數(shù)l、盒長(zhǎng)d、和尾(tail)來(lái)分析。
中位數(shù)是在數(shù)據(jù)集中排列居中的項(xiàng)。也就是說(shuō)，如果中位數(shù)取值為m，則數(shù)據(jù)集中有一半的值大于m，一半的值小于m。將所有數(shù)值按大小順序排列并分成四等份，處于三個(gè)分割點(diǎn)位置的得分就是四分位數(shù)。最小的四分位數(shù)稱(chēng)為下四分位數(shù)l，所有數(shù)值中，有四分之一小于下四分位數(shù)，四分之三大于下四分位數(shù)。中點(diǎn)位置的四分位數(shù)就是中位數(shù)。最大的四分位數(shù)稱(chēng)為上四分位數(shù)u，所有數(shù)值中，有四分之三小于上四分位數(shù)，四分之一大于上四分位數(shù)。也有叫第25百分位數(shù)、第75百分位數(shù)的。將上四分位數(shù)和下四分位數(shù)的距離定義為盒長(zhǎng)d，因此，d=u-l。接下來(lái)定義分布的尾(tail)。理論上，上尾值點(diǎn)為u+1.5d，下尾值為u-1.5d，這些值必須進(jìn)行舍位處理，以接近真實(shí)數(shù)據(jù)，位于上尾和下尾之外的值稱(chēng)為離群值。
1.2 回歸分析方法
回歸分析方法是研究要素之間具體數(shù)量關(guān)系的強(qiáng)有力的工具，運(yùn)用這種方法能夠建立反映要素之間具體的數(shù)量關(guān)系的數(shù)學(xué)模型，即回歸模型。線(xiàn)性回歸技術(shù)的基礎(chǔ)就是散點(diǎn)圖。將每個(gè)屬性對(duì)表示為一個(gè)數(shù)據(jù)點(diǎn)(x，y)，然后用回歸技術(shù)計(jì)算出能夠最好地?cái)M合這些點(diǎn)的直線(xiàn)。目標(biāo)是將屬性y(因變量)根據(jù)屬性x(自變量)表示為等式：y=a+bx。
線(xiàn)性回歸的理論是從每個(gè)點(diǎn)垂直向上或向下畫(huà)一條線(xiàn)段到趨勢(shì)直線(xiàn)，表示從數(shù)據(jù)點(diǎn)到趨勢(shì)直線(xiàn)的垂直距離。在某種意義上，這些線(xiàn)段的長(zhǎng)度表示數(shù)據(jù)和直線(xiàn)的差異，且這種差異應(yīng)盡可能地小。因此，“最佳擬合”的直線(xiàn)式是指使該距離最小的直線(xiàn)。
在數(shù)學(xué)上要計(jì)算“最佳擬合”直線(xiàn)的斜率b和截距a是很簡(jiǎn)單的。每個(gè)點(diǎn)的差異稱(chēng)為殘差，生成線(xiàn)性回歸直線(xiàn)的公式是殘差的平方和達(dá)到最小。可以將每個(gè)數(shù)據(jù)點(diǎn)的殘差表示為：
2 算法實(shí)現(xiàn)
在進(jìn)行數(shù)據(jù)清洗時(shí)，由于數(shù)據(jù)是無(wú)序輸入的，所以先對(duì)其排序，再用盒形圖法行數(shù)據(jù)清洗。以下是偽代碼：
void BubbleSort(double m，double q，int n) //先對(duì)輸入
//的數(shù)據(jù)進(jìn)行冒泡排序，并相應(yīng)修改
//第二組數(shù)據(jù)的順序，以保證它們之間的對(duì)應(yīng)關(guān)系
{ for(int i=0；in；i++)
for(int j=n-1；j>i；j--)
{
輸入數(shù)據(jù)的排序
修改第二組數(shù)據(jù)
}
}
void box(double *m，double *q，int n) //盒形法篩選
//掉離群項(xiàng)目工作量數(shù)據(jù)，n為輸入數(shù)據(jù)個(gè)數(shù)，m、q為指針
{
double a，b，c，top，bottom，l； //上分位a，中位數(shù)b，//下分位c
if(n%2==0) //計(jì)算出3個(gè)四分位數(shù)
{
b=(*(m+n/2)+*(m+n/2-1))/2； //數(shù)據(jù)個(gè)數(shù)為
//偶數(shù)時(shí)，中位數(shù)取中間兩數(shù)的平均值
a=*(m+n/4)；
c=*(m+3*n/4)； }
}
else
{ b=*(m+n/2)；
a=*(m+n/4)；
c=*(m+3*n/4)； }
l=c-a； top=c+1.5*l；bottom=c-1.5*l； //計(jì)算出盒
//長(zhǎng)，上尾數(shù)，下尾數(shù)
if(bottom0) bottom=m； //并進(jìn)行必要的舍位處理
int j=n；
for(int i=0；ij；i++) //判斷是否為離群值，
{
if(*(m+i)>top‖*(m+i)bottom)
如有，將其從數(shù)組中剔去
}
}
評(píng)論