相关系数的灵感来源,与概率没什么关系,倒是与物理上的电路有一点关系。
![](http://39.104.58.144/wp-content/uploads/2023/02/v2-6865aac5c96475b5946c7747cd91aeb5_1440w.png)
如图所示,电阻\(R_1\)和电阻\(R_2\)串联后,再与电阻\(R_3\)并联。电阻\(R_3\)两端与电阻\(R_1\)和电阻\(R_2\)串联的电路具有相同的电压。如果需要流经电阻\(R_3\)的电流比较大,那么这些电阻之间的阻值应当满足:\(R_3 \le R_1 + R_2 \)。
如果把电阻“类比”成字符串:电阻\(R_i\)对应于字符串\(s_i\),其电导率\({\sigma _i} = \frac{1}{{{R_i}}}\)对应于字符串的统计词频\(f_i\)。其统计词频\(f_i\)越大,意味着电导率\(\sigma _i\) 越大,电阻\(R_i\)的阻值越小。同等阅读“压力”下(即同等电压下),“电流”就会越大,阅读就会越顺畅。
对于图中的电路,电阻\(R_3\)可以对应于由字符串\(s_1\)和\(s_2\)拼接而成的字符串\(s_3\)。如果字符串\(s_1\)和\(s_2\)有组合成新词汇的倾向,那么电阻\(R_3\)的阻值,就不应当超过串联电路的阻值。由电路并串联规律可知,如果需要流经电阻\(R_3\)的电流比较大,那么这些电阻之间的阻值应当满足:\(R_3 \le R_1 + R_2 \)。
即:\( \frac{1}{{{f_3}}} \le \frac{1}{{{f_1}}} + \frac{1}{{{f_2}}} \)
因此可以定义:
\[ \gamma \propto \frac{{{\sigma _1} + {\sigma _2}}}{{{\sigma _3}}} = \frac{{\frac{1}{{{f_1}}} + \frac{1}{{{f_2}}}}}{{\frac{1}{{{f_3}}}}} = {f_3}(\frac{1}{{{f_1}}} + \frac{1}{{{f_2}}}) \]
- 实际应用中,会发现其实由字符串\(s_1\)和\(s_2\)拼接而成的字符串\(s_3\)的统计词频\(f_3\)一般是远小于期望值。
- 此时\( \gamma \)的取值范围还与参数个数有一定关系。可以通过除以参数个数(即\( \gamma ^* = \frac{\gamma}{2} \))将取值范围归一化。
最终可以得到公式:
\[ \gamma = \frac{{{f_3}}}{2}(\frac{1}{{{f_1}}} + \frac{1}{{{f_2}}}) \]
可以通过例举更多电阻串联的情况,就可以得到最终的相关系数公式:
\[ \gamma (s|s_1,s_2,……,s_N) = \frac{f}{N}\sum\limits_{i = 1}^N {\frac{1}{{{f_i}}}} \]
虽然这样得到公式有点牵强附会,不过最终可以通过数学角度分析,得出合理的解释。