计量经济学 on 格物堂

用R检验股票的协整关系

Thu, 27 Oct 2011 00:00:00 +0000

需要用到的R包

xts和zoo是两个强大的处理时序对象的R包。xts包本身又相当于是一个加强版的zoo包。zoo包处理的对象是zoo，zoo对象与数据框（dataframe)类似，由行列构成。不同的是，zoo对象比数据框多了一个时间戳。

假设我们有一个zoo对象t，index(t)返回时间戳，也就是一个表示日期的向量。start(t)和end（t）可以查看zoo对象的起始值和末端值。

数据预处理

分四个步骤：

读入数据（data frame格式）
将日期转化为Date对象
将data frame数据转换为zoo对象
合并数据

相应的R代码：

library(quantmod) # 金融数据获取

## 载入需要的程序包：xts

## 载入需要的程序包：zoo

## 
## 载入程序包：'zoo'

## The following objects are masked from 'package:base':
## 
## as.Date, as.Date.numeric

## 载入需要的程序包：TTR

## Registered S3 method overwritten by 'quantmod':
## method from
## as.zoo.data.frame zoo

library(urca) # 协整检验
library(ggplot2) # 可视化

# 获取2010-2011年股票数据
getSymbols(c("AAPL","MSFT"))

## [1] "AAPL" "MSFT"

# 提取收盘价并转换为对数序列
aapl <- log(Ad(AAPL$AAPL.Adjusted))
msft <- log(Ad(MSFT$MSFT.Adjusted))

# 创建合并数据集
prices <- merge(aapl, msft)
colnames(prices) <- c("log_AAPL", "log_MSFT")

# 绘制对数价格趋势
ggplot(prices, aes(x=Index)) +
 geom_line(aes(y=log_AAPL, color="苹果")) +
 geom_line(aes(y=log_MSFT, color="微软")) +
 labs(title="苹果与微软对数收盘价序列", y="log(Price)", x="日期") +
 scale_color_manual(values=c("#FF6B6B", "#4ECDC4")) +
 theme_minimal(base_family = "PingFang SC")

平稳性检验

# 原始序列检验
# 苹果价格ADF检验
summary(ur.df(prices$log_AAPL, type="drift", lags=5)) #P-value大于0.05则序列不平稳

## 
## ############################################### 
## # Augmented Dickey-Fuller Test Unit Root Test # 
## ############################################### 
## 
## Test regression drift 
## 
## 
## Call:
## lm(formula = z.diff ~ z.lag.1 + 1 + z.diff.lag)
## 
## Residuals:
## Min 1Q Median 3Q Max 
## -0.197346 -0.008942 0.000164 0.010330 0.141513 
## 
## Coefficients:
## Estimate Std. Error t value Pr(>|t|) 
## (Intercept) 0.0016271 0.0008139 1.999 0.0457 *
## z.lag.1 -0.0002047 0.0002258 -0.907 0.3646 
## z.diff.lag1 -0.0321993 0.0147383 -2.185 0.0290 *
## z.diff.lag2 -0.0155993 0.0147150 -1.060 0.2892 
## z.diff.lag3 -0.0090648 0.0147162 -0.616 0.5379 
## z.diff.lag4 0.0250380 0.0147149 1.702 0.0889 .
## z.diff.lag5 0.0145020 0.0147113 0.986 0.3243 
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.01992 on 4600 degrees of freedom
## Multiple R-squared: 0.00234,	Adjusted R-squared: 0.001039 
## F-statistic: 1.798 on 6 and 4600 DF, p-value: 0.09538
## 
## 
## Value of test-statistic is: -0.9067 5.4705 
## 
## Critical values for test statistics: 
## 1pct 5pct 10pct
## tau2 -3.43 -2.86 -2.57
## phi1 6.43 4.59 3.78

# 微软价格ADF检验
summary(ur.df(prices$log_MSFT, type="drift", lags=5))

## 
## ############################################### 
## # Augmented Dickey-Fuller Test Unit Root Test # 
## ############################################### 
## 
## Test regression drift 
## 
## 
## Call:
## lm(formula = z.diff ~ z.lag.1 + 1 + z.diff.lag)
## 
## Residuals:
## Min 1Q Median 3Q Max 
## -0.148299 -0.008044 0.000121 0.008836 0.160776 
## 
## Coefficients:
## Estimate Std. Error t value Pr(>|t|) 
## (Intercept) 0.0001374 0.0010067 0.137 0.89142 
## z.lag.1 0.0001571 0.0002344 0.670 0.50269 
## z.diff.lag1 -0.1088675 0.0147498 -7.381 1.86e-13 ***
## z.diff.lag2 -0.0421217 0.0148530 -2.836 0.00459 ** 
## z.diff.lag3 0.0054135 0.0148661 0.364 0.71576 
## z.diff.lag4 -0.0431566 0.0148530 -2.906 0.00368 ** 
## z.diff.lag5 -0.0185213 0.0147761 -1.253 0.21010 
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.01756 on 4600 degrees of freedom
## Multiple R-squared: 0.01478,	Adjusted R-squared: 0.0135 
## F-statistic: 11.5 on 6 and 4600 DF, p-value: 8.16e-13
## 
## 
## Value of test-statistic is: 0.6703 4.8403 
## 
## Critical values for test statistics: 
## 1pct 5pct 10pct
## tau2 -3.43 -2.86 -2.57
## phi1 6.43 4.59 3.78

# 一阶差分平稳性验证
# 差分处理
diff_aapl <- diff(prices$log_AAPL)[-1]
diff_msft <- diff(prices$log_MSFT)[-1]

# 差分序列ADF检验
summary(ur.df(diff_aapl, type="none"))

## 
## ############################################### 
## # Augmented Dickey-Fuller Test Unit Root Test # 
## ############################################### 
## 
## Test regression none 
## 
## 
## Call:
## lm(formula = z.diff ~ z.lag.1 - 1 + z.diff.lag)
## 
## Residuals:
## Min 1Q Median 3Q Max 
## -0.197910 -0.007903 0.001180 0.011336 0.140719 
## 
## Coefficients:
## Estimate Std. Error t value Pr(>|t|) 
## z.lag.1 -1.04076 0.02112 -49.286 <2e-16 ***
## z.diff.lag 0.01349 0.01473 0.916 0.36 
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.01999 on 4608 degrees of freedom
## Multiple R-squared: 0.5134,	Adjusted R-squared: 0.5131 
## F-statistic: 2430 on 2 and 4608 DF, p-value: < 2.2e-16
## 
## 
## Value of test-statistic is: -49.2864 
## 
## Critical values for test statistics: 
## 1pct 5pct 10pct
## tau1 -2.58 -1.95 -1.62

summary(ur.df(diff_msft, type="none"))

## 
## ############################################### 
## # Augmented Dickey-Fuller Test Unit Root Test # 
## ############################################### 
## 
## Test regression none 
## 
## 
## Call:
## lm(formula = z.diff ~ z.lag.1 - 1 + z.diff.lag)
## 
## Residuals:
## Min 1Q Median 3Q Max 
## -0.149197 -0.007368 0.000777 0.009507 0.165463 
## 
## Coefficients:
## Estimate Std. Error t value Pr(>|t|) 
## z.lag.1 -1.14697 0.02190 -52.367 < 2e-16 ***
## z.diff.lag 0.03991 0.01475 2.705 0.00685 ** 
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.01758 on 4608 degrees of freedom
## Multiple R-squared: 0.5521,	Adjusted R-squared: 0.5519 
## F-statistic: 2840 on 2 and 4608 DF, p-value: < 2.2e-16
## 
## 
## Value of test-statistic is: -52.3667 
## 
## Critical values for test statistics: 
## 1pct 5pct 10pct
## tau1 -2.58 -1.95 -1.62

协整检验

我们用Engle-Granger两步法进行协整检验。

# 第一步：构建回归模型
coint_model <- lm(log_AAPL ~ log_MSFT, data=prices)
summary(coint_model) # 显示回归系数与R-squared

## 
## Call:
## lm(formula = log_AAPL ~ log_MSFT, data = prices)
## 
## Residuals:
## Min 1Q Median 3Q Max 
## -1.20523 -0.17828 0.03798 0.22297 0.77306 
## 
## Coefficients:
## Estimate Std. Error t value Pr(>|t|) 
## (Intercept) -1.343406 0.020650 -65.06 <2e-16 ***
## log_MSFT 1.131850 0.004805 235.54 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.3607 on 4611 degrees of freedom
## Multiple R-squared: 0.9233,	Adjusted R-squared: 0.9233 
## F-statistic: 5.548e+04 on 1 and 4611 DF, p-value: < 2.2e-16

# 提取残差序列
residuals <- residuals(coint_model)

# 第二步：残差平稳性检验
adf_test <- ur.df(residuals, type="none", lags=5)
print(adf_test@teststat) # ADF统计量

## tau1
## statistic -2.893062

print(adf_test@cval) # 临界值

## 1pct 5pct 10pct
## tau1 -2.58 -1.95 -1.62

ADF统计量为-2.893062,小于1%置信水平对应的临界值-2.58，故拒绝原假设，说明残差序列平稳，两股票存在协整关系。

对协整关系进行可视化

# 计算价差序列
spread <- prices$log_AAPL - coint_model$coefficients[2] * prices$log_MSFT

# 绘制价差通道
ggplot(spread, aes(x=Index)) +
 geom_line(aes(y=spread), color="#2C3E50") +
 geom_hline(yintercept=mean(spread), linetype="dashed", color="#E74C3C") +
 geom_hline(yintercept=mean(spread)+2*sd(spread), color="#27AE60", alpha=0.5) +
 geom_hline(yintercept=mean(spread)-2*sd(spread), color="#27AE60", alpha=0.5) +
 labs(title="协整价差序列与2σ通道", y="标准化价差")+
 theme_minimal(base_family = "PingFang SC")

## Don't know how to automatically pick scale for object of type <xts/zoo>.
## Defaulting to continuous.

R与单位根检验

Sun, 08 May 2011 00:00:00 +0000

R里面的fUnitRoots包可以轻松实现时间序列的单位根检验。两个主函数分别是adfTest和unitrootTest。对于以应用统计为主要目的的人而言，看懂单位根检验的结果可能比探讨单位根检验的原理更重要。

为了清晰地表明有单位根的序列的检验结果和无单位根的序列的检验结果之间的差别，在这里生成两个可对比的单位根序列来举例：

首先，载入fUnitRoots包：

library(fUnitRoots);

# 生成没有单位根的序列x和由单位根的序列y

x <- rnorm(1000) 
y <- cumsum(c(0, x))

对序列x进行adf检验：

adfTest(x)

## Warning in adfTest(x): p-value smaller than printed p-value

## 
## Title:
## Augmented Dickey-Fuller Test
## 
## Test Results:
## PARAMETER:
## Lag Order: 1
## STATISTIC:
## Dickey-Fuller: -21.1357
## P VALUE:
## 0.01 
## 
## Description:
## Mon May 5 17:44:36 2025 by user:

注意上述结果中的P值。

对序列y进行adf检验：

adfTest(y)

## 
## Title:
## Augmented Dickey-Fuller Test
## 
## Test Results:
## PARAMETER:
## Lag Order: 1
## STATISTIC:
## Dickey-Fuller: 0.8508
## P VALUE:
## 0.8875 
## 
## Description:
## Mon May 5 17:44:36 2025 by user:

注意上述结果的p值，跟x序列的结果有什么区别？

对序列x和序列y进行单位根检验，观察下两者的区别。

unitrootTest(x)

## 
## Title:
## Augmented Dickey-Fuller Test
## 
## Test Results:
## PARAMETER:
## Lag Order: 1
## STATISTIC:
## DF: -21.1357
## P VALUE:
## t: < 2.2e-16 
## n: 0.001252 
## 
## Description:
## Mon May 5 17:44:36 2025 by user:

unitrootTest(y)

## 
## Title:
## Augmented Dickey-Fuller Test
## 
## Test Results:
## PARAMETER:
## Lag Order: 1
## STATISTIC:
## DF: 0.8508
## P VALUE:
## t: 0.8938 
## n: 0.8854 
## 
## Description:
## Mon May 5 17:44:36 2025 by user:

用R进行Jarque-Bera检验

Fri, 06 May 2011 00:00:00 +0000

线性回归模型的检验是建立在假设随机误差 $u_t$ 服从正态分布的基础之上的。但问题是我们没有办法直接观察到真实的 $u_t$ ，那么，如何验证它是否服从正态分布呢？一般来说，会用残差 $e_t$ 近似表示 $u_t$ ，再通过 $e_t$ 的正态性来推断 $u_t$ 的正态性。

一种比较常用的正态性检验方法叫Jarque-Bera(雅克-贝拉)检验，简称JB检验。其思路大概是这样的：

首先，计算偏度系数 $s_{k}$ 和峰度系数 $k$ ：

$$ s_{k}=\frac{\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar x)^{3}}{(\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar x)^{2})^{\frac{3}{2}} } $$

$$ \text{k}=\frac{\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar x)^{4}}{(\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar x)^{2})^{2} }-3 $$

Jarqe和Bera建立了如下检验统计量：

$$ \text{JB}=\frac{n}{6}(sk^{2}+\frac{k^{2}}{4}) $$

在正态性分布的假定下，JB统计量渐近服从自由度为2的 $\chi^2$ 分布。

显然，如果变量服从正态分布，则S为0，K为0，因而JB统计量的值为零。如果变量不是服从正态分布的变量，则JB统计量将为一个逐渐增大值。而针对每一个JB统计量，都可以算出其对应的P值，根据P值和事先确定的置信水平便可以确定是否拒绝变量为正态分布的假设。

在R软件中，Jarque-Bera检验可以用tseries包中的jarque.bera.test来实现。我们这里虚构两个数据，第一个例子中的数据服从正态分布，第二例子中的数据是1到200的序列。

library(tseries)

## Registered S3 method overwritten by 'quantmod':
## method from
## as.zoo.data.frame zoo

set.seed(123)
x=rnorm(20)
jb <- jarque.bera.test(x)
jb

## 
## 	Jarque Bera Test
## 
## data: x
## X-squared = 0.081917, df = 2, p-value = 0.9599

返回结果中p-value等于0.9598692，大于0.05，因此在95%置信水平下，无法拒绝x服从正态分布的假设。

另外一个例子：

library(tseries)
x <- 1:200 #不服从正态分布
jb <- jarque.bera.test(x)
jb

## 
## 	Jarque Bera Test
## 
## data: x
## X-squared = 12.001, df = 2, p-value = 0.002477

返回结果中p-value等于0.0024773，远小于0.05，因此在95%置信水平下，拒绝x服从正态分布的假设（这是显而易见的）。

用R拟合缺项的ARIMA模型

Sun, 17 Apr 2011 00:00:00 +0000

标准的ARMA（p,q）模型是这样的：

$$ X_t=a_1X_{t-1}+\ldots+a_pX_{t-p}+\epsilon_t+b_1\epsilon_{t-1}+\ldots+b_q\epsilon_{t-q} $$

比如，ARMA(3,2)的形式如下：

$$ X_t=a_1X_{t-1}+a_2X_{t-2}+a_3X_{t-3}+\epsilon_t+b_1\epsilon_{t-1}+b_2\epsilon_{t-2} $$

拟合ARMA（3,2）模型的R代码如下：

arima(lh, order = c(3,0,2))

运行结果如下：

Call:
arima(x = lh, order = c(3, 0, 2))

Coefficients:
 ar1 ar2 ar3 ma1 ma2 intercept
 0.0402 0.4567 -0.4164 0.6602 -0.1109 2.3911
s.e. 0.3952 0.2032 0.2310 0.4403 0.3977 0.1010

sigma^2 estimated as 0.1711: log likelihood = -26.2, aic = 66.4

代码清晰易懂。order=c(3,0,2)中的3便是模型中的p，2是模型中的q。中间的0是序列X在建立ARMA模型前的差分次数。

有时候，我们不需要拟合完整的ARMA模型。比如，要拟合的模型如下：

$$ X_t=a_1X_{t-1}+a_3X_{t-3}+\epsilon_t+b_1\epsilon_{t-1}+b_2\epsilon_{t-2} $$

虽然模型的最高阶依然是（3,2）可是AR项里面缺少了第二项。其实，这个问题解决起来很简单的。分3步：

观察完整的ARMA模型有几个参数，上例中共有6个参数。
观察缺失项的参数在原模型参数中的位置，上例中缺失项是6个参数中的第2个参数。
在arima()函数中，加入fixed=c(NA,0,NA,NA,NA,NA)，transform.pars = FALSE。

上例中的R代码如下：

arima(lh, order = c(3,0,2),fixed=c(NA,0,NA,NA,NA,NA),transform.pars = FALSE)

返回结果如下：

Call:
arima(x = lh, order = c(3, 0, 2), transform.pars = FALSE, fixed = c(NA, 0, NA, 
 NA, NA, NA))

Coefficients:
 ar1 ar2 ar3 ma1 ma2 intercept
 0.4367 0 -0.2255 0.2294 0.0742 2.3935
s.e. 0.4278 0 0.1560 0.4537 0.2919 0.1008

sigma^2 estimated as 0.1776: log likelihood = -26.97, aic = 65.93

arima()中fixed=c(NA,0,NA,NA,NA,NA)的长度为6，与不缺项的ARMA（3,2）模型的参数个数相同。第二个参数为0，意思是把6个参数中的第二个参数固定为0。transform.pars = FALSE是一个辅助项。

当然了，如果你愿意，也可以将参数固定为其它数值，比如0.5,0.6之类的，这些都无伤大雅。

CPI数据经过调整吗

Sun, 20 Feb 2011 00:00:00 +0000

不久前，2011年1月份的CPI数据出炉。这个引人瞩目的数据低于人们对于1月份CPI破5的预期，尴尬地站在4.9的位置上。坊间纷纷传言说统计局人为调低食品类权重而达到了此效果。孰真孰假？不妨来算一下。

国家统计局公布的居民价格指数的如数据1：（统计局所公布的2010年1月至11月的数据）：

Index y x1 x2 x3 x4 x5 x6 x7 x8
1 101.5 103.7 101.5 99.6 98.9 102.3 99.5 98.8 102.5
2 102.7 106.2 101.6 98.7 99.2 102.4 100.1 100.8 103.0
3 102.4 105.2 101.7 98.9 99.3 102.5 100.0 100.3 103.3
4 102.8 105.9 101.7 98.7 99.5 102.8 100.0 100.4 104.5
5 103.1 106.1 101.7 98.8 99.7 103.2 100.1 100.6 105.0
6 102.9 105.7 101.7 99.0 100.0 103.2 99.7 100.9 105.0
7 103.3 106.8 101.6 99.2 100.2 103.3 99.3 101.1 104.8
8 103.5 107.5 101.5 98.8 100.4 103.3 99.4 101.2 104.4
9 103.6 108.0 101.4 98.5 100.4 103.4 99.3 101.2 104.3
10 104.4 110.1 101.5 98.7 100.5 103.7 99.5 100.9 104.9
11 105.1 111.7 101.6 99.3 100.7 104.0 99.3 100.6 105.8

各符号的含义如下：

居民消费价格指数:y
食品:x1
烟酒及用品:x2
衣着:x3
家庭设备用品及服务:x4
医疗保健及个人用品:x5
交通和通信:x6
娱乐教育文化用品及服务:x7
居住:x8

八大类的权数分别为：a,b,c,d,e,f,g,h。

将上述数据减去100，得到数据2：

Index y x1 x2 x3 x4 x5 x6 x7 x8
1 1.5 3.7 1.5 -0.4 -1.1 2.3 -0.5 -1.2 2.5
2 2.7 6.2 1.6 -1.3 -0.8 2.4 0.1 0.8 3.0
3 2.4 5.2 1.7 -1.1 -0.7 2.5 0.0 0.3 3.3
4 2.8 5.9 1.7 -1.3 -0.5 2.8 0.0 0.4 4.5
5 3.1 6.1 1.7 -1.2 -0.3 3.2 0.1 0.6 5.0
6 2.9 5.7 1.7 -1.0 0.0 3.2 -0.3 0.9 5.0
7 3.3 6.8 1.6 -0.8 0.2 3.3 -0.7 1.1 4.8
8 3.5 7.5 1.5 -1.2 0.4 3.3 -0.6 1.2 4.4
9 3.6 8.0 1.4 -1.5 0.4 3.4 -0.7 1.2 4.3
10 4.4 10.1 1.5 -1.3 0.5 3.7 -0.5 0.9 4.9
11 5.1 11.7 1.6 -0.7 0.7 4.0 -0.7 0.6 5.8

数据2中各变量之间的关系如下：

$$ a·x1+b·x2+c·x3+d·x4+e·x5+f·x6+g·×7+h·x8=y $$ $$ a+b+c+d+e+f=1 $$

由于a,b,c,d,e,f,g,h一直不为人知。因此，我们用2010年1月至11月的数据对其进行估计。同时，为了保证估计出的系数和为1，我们将估计方程设定为如下形式：

$$ (y-x8)\sim (x1-x8)+(x12-x8)+(x3-x8)+(x4-x8)+(x5-x8)+(x6-x8)+(x7-x8) $$ 估计模型所用的数据为数据3：

Index y x1 x2 x3 x4 x5 x6 x7
1 -1.0 1.2 -1.0 -2.9 -3.6 -0.2 -3.0 -3.7
2 -0.3 3.2 -1.4 -4.3 -3.8 -0.6 -2.9 -2.2
3 -0.9 1.9 -1.6 -4.4 -4.0 -0.8 -3.3 -3.0
4 -1.7 1.4 -2.8 -5.8 -5.0 -1.7 -4.5 -4.1
5 -1.9 1.1 -3.3 -6.2 -5.3 -1.8 -4.9 -4.4
6 -2.1 0.7 -3.3 -6.0 -5.0 -1.8 -5.3 -4.1
7 -1.5 2.0 -3.2 -5.6 -4.6 -1.5 -5.5 -3.7
8 -0.9 3.1 -2.9 -5.6 -4.0 -1.1 -5.0 -3.2
9 -0.7 3.7 -2.9 -5.8 -3.9 -0.9 -5.0 -3.1
10 -0.5 5.2 -3.4 -6.2 -4.4 -1.2 -5.4 -4.0
11 -0.7 5.9 -4.2 -6.5 -5.1 -1.8 -6.5 -5.2

估计的结果如下:

Call:
lm(formula = y ~ ., data = data)

Coefficients:
(Intercept) x1 x2 x3 x4
0.59960 0.32473 -0.23855 0.14522 0.13161
x5 x6 x7
0.09067 0.26724 0.13645

得到八大类的权重为：

a=0.324733
b=-0.238554
c=0.145224
d=0.131614
e=0.090674
f=0.267241
g=0.136449
h=0.142618

2011年1月份八大类的数据分别是：

x1 x2 x3 x4 x5 x6 x7 x8
110.3 101.8 99.8 101.4 103.2 99.9 101.0 106.8

用predict()函数进行预测，得到2011年1月的CPI数据应为5.04，95%置信水平下的预测区间为[3.23, 6.85]。计算结果表明似乎没有足够的理由来证明统计局通过调整权重而导致CPI的明显调低。

唯一可以确认的事实在于：民众“认为”CPI数据被明显调低了，且是无充足理由的“认为”。民众的这种信念暴露了一种可怕的讯号。

有一句话说：

什么是意识形态？意识形态就是在了解对方的话语之前，首先怀疑对方的动机！

现在，中国民众的普遍意识形态便是如此。在理解政府的话语之前，民众倾向于无限怀疑政府的动机。长此以往，政府的号召力倾于式微，而民众也极有可能会过多地否认政府的真实话语。