Frivolity: Regression on Channel

回归在信道上

（这是一个很蠢的想法……可以来抠一下是否成立或者说条件在哪里）

我们假想我们做的回归 \(Y\) 对 \(X\) 其实由一个高斯信道 \(X\rightarrow Y\) 把控。如果事实上机制就是这样，那么估计的信道容量会趋向真实值 \(\hat{C}\rightarrow C=-\frac{1}{2}\ln(1-R^2)\)，这也是最大可能达到的码率——这里就有事了，我们正是依靠\(X\)的行为传递的信息去判别\(Y\)​。

若连续变量 \(X\) 确实按照高斯分布，那么理论上我们能无限量的发出信息；但这并没有用，鉴于信道的限制，我们相当于以至少存在 \(D_{min}=\sigma_X^2(1-R^2)\) 的均方误差进行测量。（\(R(D)=\frac{1}{2}\ln\frac{\sigma_X^2}{D}<C\)）

如果形式的分组（就像处理微分熵那样），那么我们有 \(\lfloor \frac{1}{\sqrt{1-R^2}}\rfloor\) units。于是相关系数 \(R\ge \frac{\sqrt{3}}{2}=0.866\) 尚才1个bit的定性判断。否则在样本量趋向于无穷时候，结果落在典型集中的概率会趋向于0，亦即此时用以预测其实跟打奖没什么区别呃呃。