带随机约束的线性回归模型及Bayes方法的统计诊断
|
摘要
本文首先讨论了带随机约束的线性回归模型，给出了其广义最小二乘估计，证明了数据删除模型和均值漂移模型的等价性定理，介绍了几种残差的概念，求出了Cook距离，W-K统计量，协方差比，似然距离等常见的诊断统计量。对其方差扩大模型，讨论了异方差检验问题，给出了Score检验统计量。通过实例分析，验证了诊断方法的有效性，并给出诊断图。接着介绍了线性回归模型Bayes方法的统计诊断，运用Bayes理论对参数进行估计，得出了不同于张([47])的参数的参数型经验Bayes(PEB)估计，并讨论了其估计的优良性，随后对模型进行统计诊断，介绍了常见的诊断模型，数据删除模型，求出了几种诊断统计量；最后也通过实例证明了诊断方法的有效性，并给出了诊断图。
In this paper, we discuss the linear regression model with the random constraints,give the general LS estimation, introduce its residuals, and show that the CDM is equiva-lent to the mean shift outlier model(MSOM) for diagnostics purpose, then we investigatethe common statistics: Cook distance, W-K statistic, Covariance Ratio, Likelihood dis-tance and so on. We discuss the heteroscedastictiy and obtain the score statistic aboutthe model, an example is given to illustrate our results. After that, we introduce theBayesian method of the linear regression model, use the Bayesian theories to estimatethe coefficient parameter, have educed Parametric Empirical Bayes (PEB) estimation ofparameter that is different from what Zhang et al.[47] described, and study its supe-riorities over the ordinary least squares (LS) estimations, then investigate the commoncase deletion rnodel(CDM), and its statistics; an example is given to illustrate our results,provide the diagram.
In this paper, we discuss the linear regression model with the random constraints,give the general LS estimation, introduce its residuals, and show that the CDM is equiva-lent to the mean shift outlier model(MSOM) for diagnostics purpose, then we investigatethe common statistics: Cook distance, W-K statistic, Covariance Ratio, Likelihood dis-tance and so on. We discuss the heteroscedastictiy and obtain the score statistic aboutthe model, an example is given to illustrate our results. After that, we introduce theBayesian method of the linear regression model, use the Bayesian theories to estimatethe coefficient parameter, have educed Parametric Empirical Bayes (PEB) estimation ofparameter that is different from what Zhang et al.[47] described, and study its supe-riorities over the ordinary least squares (LS) estimations, then investigate the commoncase deletion rnodel(CDM), and its statistics; an example is given to illustrate our results,provide the diagram.
引文
[1] Atkinson, A.C.: Plots, Transformations, and Regression. Clarendon Press, Oxford.1985.
[2] Bate, Watts. Relative curvature measure of nonlinearlity. J.R.Statist.Soc.B, 1980(42):1-25.
[3] Beisser, S.: On the prediction of observables: aslective update .Bayesian Statistics 2, Ed by Bernardo, J.er al, Elsevier Sxience Publishers, North-Holland, 203-230.1985.
[4] Box,G.E.P.and Tiao, G., Bayesian Inferencein Statistical Analysis, A ddison-Wesley, Reading, MA, 1973.
[5] Broemeling, L.D.: Bayesian Analysis Of Linear Models. Marcel Dekker INC, New York and Basel, 1985.
[6] Chaloner, K.and Brant, R.: A Bayesian approch to outlier detection .and residual analysis. Biometrika 75, 651-659, 1988.
[7] 陈希孺，数理统计引论．北京：科学出版社，1981.
[8] Chen Xiru.Asymptotically optimal empirical Bayes estimation for parameter of one dimension discrete exponential families, Chin.Ann.Math., 4B(1): 41-50, 1983.
[9] 陈希孺，王松桂．近代回归分析，合肥：安徽教育出版社，1987．
[10] 陈希孺，高等数理统计，合肥：中国科技大学出版社，1999．
[11] Cook R D, WEISBERGS. Residual and influences in regression [M]. New York snd London: Chapman and Hall, 1982. 550-563.
[12] Escobar. L. A. and skarpness. B. A closed from solution for the least squares regression problem with linear inequality constraints[J]. Commu. Statist. A 1984. 13: 1127-1134.
[13] Geisser, S.: In fluential observation, diagnostics and discovery tests. Appl.Statist. 14, 133-142. 1987.
[14] 林金官，韦博成．非线性纵向数据模型中自相关性和随机效应的存在性检验，应用数学，17(1)：42-48，2004．
[15] 林金官，韦博成．非线性随机效应模型的异方差检验，系统科学与数学，22(2)：245-256．2002．
[16] 林金官，韦博成．加权非线性随机系数模型异方差性的Score检验，工程数学学报，19(2)，05，2002．
[17] 刘应安，韦博成，林金官．具有AR(1)误差的线性随机效应模型中的方差齐性和自相关性的检验，应用概论统计，20(1)，2004(2)．
[18] 马阳明，韦博成，带约束非线性回归模型的影响分析，东南大学学报，Vol23，No.3，1993．
[19] 茆诗松，王静龙．高等数理统计，高等教育出版社，施普林格出版社，1998．
[20] 茆诗松．贝叶斯统计，北京：中国统计出版社，1999．
[21] 申维，带约束的非线性回归诊断混合模型分析，武汉工业大学学报，1995年17卷，第3期．
[22] 石磊，任仕泉．线性等式约束下线性回归模型参数估计的局部影响评价[J]．云南大学学报(自然科学版)，17(2)，457-460，1995．
[23] 史宁中，保序回归与最大似然估计，应用概率统计，Vol9，203-215，1993．
[24] Shi ningzhong and Jianghua, Maximum likelihood estimation of isotonic nor mal means with unknown variances. Journal of Multivariate Analysis Vol64, 183-195, 1998.
[25] Wang JinDe, Asymptotics Of Least-squares Estimators for Constrained Nonlinear Regression. The Annals of Statistics. Vol24,No.3, 1316-1326, 1996.
[26] Wang Jin.De, Approximate Representation Of Estimators In Constrained Regression Problems. Scand.J.Statist. Vol27:21-23, 2000.
[27] 王松桂，线性模型参数估计的新进展，数学进展，1985，14，193—204．
[28] 王松桂，线性模型的理论及其应用，合肥：安徽教育出版社，1987．
[29] 王松桂，杨振海．广义逆矩阵及其应用，北京：北京工业大学出版社，1996．
[30] 王松桂，陈敏，陈立萍．线性统计模型．北京：高等教育出版社，1999．
[31] 王松桂，线性模型引论，科学出版社，2003．
[32] 王立春，韦来生．刻度指数族参数的渐近最优的经验Bayes估计，中国科学技术大学学报，32(1)：62-69，2002．
[33] 韦博成，近代非线性回归分析，清华大学出版社，1989．
[34] 韦博成，曹国良．带有线性约束的非线性回归模型，东南大学学报，Vol19，No．5，1-8,1989．
[35] 韦博成，统计诊断引论．南京：东南大学出版社，1991．
[36] Wei.B.C., Shi.J.Q., On statistical models in regression diagnostics. Ann. Inst.Statist.Math. 267-278, 1994.
[37] 韦来生，方差分析模型中参数的经验Bayes估计及其优良性问题，高校应用数学学报，12：A(1997)，163-174．
[38] 韦来生，错误先验假定下回归系数Bayes估计的小样本性质，应用概率统计，Vol.16 No.1(2000)：71-80．
[39] Weisberg，应用线性回归，北京：中国统计出版社，1995．
[40] 吴喜之，统计学，北京高等教育出版社，2000．
[41] Wu.S.Y, Yu.Y.L. The influence analysis of the constrained least square estimates Contributed paper in Sino—American Statistical Meeting. Beijing: 987,493-496.
[42] 许文源，王东谦．带有线性不等式约束的最小二乘．系统科学与数学，1984，4：55～62．
[43] 杨丽，陈炳生，宋绍云．随机约束线性回归模型参数估计的影响分析，云南大学学报(自然科学版)，2000，22(5)；325-329．
[44] 杨婷，杨虎．椭球约束与广义岭估计，应用概率统计，Vol19，No.3,2003,232-236.
[45] 曾林蕊，半参数广义线性模型的若干问题的研究．上海：华东师范大学，2004．
[46] 张双林，带约束线性模型中的可容许线性估计，应用数学学报，1994，第3期．
[47] 张伟平，线性模型中Bayes分析若干问题研究，2005年中国科技大学博士毕业论文．
[48] 张尧庭，方开泰．多元统计分析引论，北京科学出版社，1982．
[49] 赵慧秀，带有线性约束的指数族非线性模型的基于曲率的统计分析，南京理工大学硕士论文，2003，1．
[2] Bate, Watts. Relative curvature measure of nonlinearlity. J.R.Statist.Soc.B, 1980(42):1-25.
[3] Beisser, S.: On the prediction of observables: aslective update .Bayesian Statistics 2, Ed by Bernardo, J.er al, Elsevier Sxience Publishers, North-Holland, 203-230.1985.
[4] Box,G.E.P.and Tiao, G., Bayesian Inferencein Statistical Analysis, A ddison-Wesley, Reading, MA, 1973.
[5] Broemeling, L.D.: Bayesian Analysis Of Linear Models. Marcel Dekker INC, New York and Basel, 1985.
[6] Chaloner, K.and Brant, R.: A Bayesian approch to outlier detection .and residual analysis. Biometrika 75, 651-659, 1988.
[7] 陈希孺，数理统计引论．北京：科学出版社，1981.
[8] Chen Xiru.Asymptotically optimal empirical Bayes estimation for parameter of one dimension discrete exponential families, Chin.Ann.Math., 4B(1): 41-50, 1983.
[9] 陈希孺，王松桂．近代回归分析，合肥：安徽教育出版社，1987．
[10] 陈希孺，高等数理统计，合肥：中国科技大学出版社，1999．
[11] Cook R D, WEISBERGS. Residual and influences in regression [M]. New York snd London: Chapman and Hall, 1982. 550-563.
[12] Escobar. L. A. and skarpness. B. A closed from solution for the least squares regression problem with linear inequality constraints[J]. Commu. Statist. A 1984. 13: 1127-1134.
[13] Geisser, S.: In fluential observation, diagnostics and discovery tests. Appl.Statist. 14, 133-142. 1987.
[14] 林金官，韦博成．非线性纵向数据模型中自相关性和随机效应的存在性检验，应用数学，17(1)：42-48，2004．
[15] 林金官，韦博成．非线性随机效应模型的异方差检验，系统科学与数学，22(2)：245-256．2002．
[16] 林金官，韦博成．加权非线性随机系数模型异方差性的Score检验，工程数学学报，19(2)，05，2002．
[17] 刘应安，韦博成，林金官．具有AR(1)误差的线性随机效应模型中的方差齐性和自相关性的检验，应用概论统计，20(1)，2004(2)．
[18] 马阳明，韦博成，带约束非线性回归模型的影响分析，东南大学学报，Vol23，No.3，1993．
[19] 茆诗松，王静龙．高等数理统计，高等教育出版社，施普林格出版社，1998．
[20] 茆诗松．贝叶斯统计，北京：中国统计出版社，1999．
[21] 申维，带约束的非线性回归诊断混合模型分析，武汉工业大学学报，1995年17卷，第3期．
[22] 石磊，任仕泉．线性等式约束下线性回归模型参数估计的局部影响评价[J]．云南大学学报(自然科学版)，17(2)，457-460，1995．
[23] 史宁中，保序回归与最大似然估计，应用概率统计，Vol9，203-215，1993．
[24] Shi ningzhong and Jianghua, Maximum likelihood estimation of isotonic nor mal means with unknown variances. Journal of Multivariate Analysis Vol64, 183-195, 1998.
[25] Wang JinDe, Asymptotics Of Least-squares Estimators for Constrained Nonlinear Regression. The Annals of Statistics. Vol24,No.3, 1316-1326, 1996.
[26] Wang Jin.De, Approximate Representation Of Estimators In Constrained Regression Problems. Scand.J.Statist. Vol27:21-23, 2000.
[27] 王松桂，线性模型参数估计的新进展，数学进展，1985，14，193—204．
[28] 王松桂，线性模型的理论及其应用，合肥：安徽教育出版社，1987．
[29] 王松桂，杨振海．广义逆矩阵及其应用，北京：北京工业大学出版社，1996．
[30] 王松桂，陈敏，陈立萍．线性统计模型．北京：高等教育出版社，1999．
[31] 王松桂，线性模型引论，科学出版社，2003．
[32] 王立春，韦来生．刻度指数族参数的渐近最优的经验Bayes估计，中国科学技术大学学报，32(1)：62-69，2002．
[33] 韦博成，近代非线性回归分析，清华大学出版社，1989．
[34] 韦博成，曹国良．带有线性约束的非线性回归模型，东南大学学报，Vol19，No．5，1-8,1989．
[35] 韦博成，统计诊断引论．南京：东南大学出版社，1991．
[36] Wei.B.C., Shi.J.Q., On statistical models in regression diagnostics. Ann. Inst.Statist.Math. 267-278, 1994.
[37] 韦来生，方差分析模型中参数的经验Bayes估计及其优良性问题，高校应用数学学报，12：A(1997)，163-174．
[38] 韦来生，错误先验假定下回归系数Bayes估计的小样本性质，应用概率统计，Vol.16 No.1(2000)：71-80．
[39] Weisberg，应用线性回归，北京：中国统计出版社，1995．
[40] 吴喜之，统计学，北京高等教育出版社，2000．
[41] Wu.S.Y, Yu.Y.L. The influence analysis of the constrained least square estimates Contributed paper in Sino—American Statistical Meeting. Beijing: 987,493-496.
[42] 许文源，王东谦．带有线性不等式约束的最小二乘．系统科学与数学，1984，4：55～62．
[43] 杨丽，陈炳生，宋绍云．随机约束线性回归模型参数估计的影响分析，云南大学学报(自然科学版)，2000，22(5)；325-329．
[44] 杨婷，杨虎．椭球约束与广义岭估计，应用概率统计，Vol19，No.3,2003,232-236.
[45] 曾林蕊，半参数广义线性模型的若干问题的研究．上海：华东师范大学，2004．
[46] 张双林，带约束线性模型中的可容许线性估计，应用数学学报，1994，第3期．
[47] 张伟平，线性模型中Bayes分析若干问题研究，2005年中国科技大学博士毕业论文．
[48] 张尧庭，方开泰．多元统计分析引论，北京科学出版社，1982．
[49] 赵慧秀，带有线性约束的指数族非线性模型的基于曲率的统计分析，南京理工大学硕士论文，2003，1．
© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号 地址：北京市海淀区学院路29号 邮编：100083 电话：办公室：(+86 10)66554848；文献借阅、咨询服务、科技查新：66554700 |