泊松过程
伯努利实验
在一种随机实验里，某个事件发生的概率为 p, 不发生概率为 1-p …
比如抛一个硬币，正面概率是 1/2 ，反面也是 1/2…
因为有其他不同类型的随机实验，比如抛掷骰子，为了区分，我们说这种只关注某事件发生与否的实验是伯努利实验，而连续不断地执行相同的实验的过程称为伯努利过程。
在伯努利过程中，前两次都是正面的概率是 \( p^2 \) ，因为两次抛硬币一般认为是不会相互干扰的，一件事情发生的概率是 p, 两件同时发生就是概率相乘。
第 k 次才出现正面的概率是多少？
先进行简单地分析：“第 k 次才出现正面” 中 "才出现证明" 意味着之前没有出现过正面，因此问题转为另一句话：抛了 k 次硬币，前 k-1 次是反面，最后一次是正面。
基于独立性所蕴含的乘法代数规则进行推理，得到概率是 \( (1-p)^{k-1}p \)
这个公式被称为几何分布，它的一种现实解释是连续抛硬币 k 次才出现正面的概率。
抛 n 次硬币中出现 k 次正面的概率是多少？
解析这段话，发现要将其翻译成不同概率事件可能性的组合，并且能拆分成 C(n,k）个子事件，然后计算出各个事件概率并求和得到总概率为 \( C(n,k)p^{k}(1-p)^{n-k} \) 。
这个关于 n 和 k 的概率表达式被称为二项分布
抛 n 次硬币才出现 k 次正面的概率是多少？
"才" 字又需要被细分，它意味着第 n 次抛硬币时正好是第 k 次正面，等价于前 n-1 次里出现了 k-1 次正面的事件以及最后一次是正面的事件，概率为 \( C(n-1,k-1)p^k(1-p)^{n-k} \), 它被称为帕斯卡分布。
推向无穷
概率不受限下推向无穷
如果抛硬币次数 n 非常大，出现 k 次正面的概率还是 \( C(n,k)p^{k}(1-p)^{n-k} \) 。
将 \( S_n \) 记为前 n 次抛掷中正面出现的次数，根据中心极限定理，当 n 充分大时，随机变量 \( Z_n = \frac{S_n - np}{\sqrt{np(1-p)}} \) 的分布近似服从标准正态分布 \( N(0,1) \)。
这种 p 不变，纯粹是 n 无限增大的场景，并不会得到泊松过程，只是我们能在大时间跨度下对伯努利过程中一些属性计算的近似。
比如抛 k 次正面概率近似于：
\[ P(S_n = k) = P(k-\frac{1}{2} < S_n \leq k+\frac{1}{2}) \approx \Phi\!\left(\frac{k+\frac12 - np}{\sqrt{np(1-p)}}\right) - \Phi\!\left(\frac{k-\frac12 - np}{\sqrt{np(1-p)}}\right), \]
第一个等式成立是因为 k 是整数，第二个约等于则是用是标准正态的累积分布函数 \( \Phi \) 去近似计算。
概率受限下推向无穷
要出现泊松分布，必须在 n 增大的同时，p 减小，比如在长度为 t 的时间均匀抛 n 次，让 n 无限增大且抛出正面的期望 np 为常数 \( \lambda t \)。
我们先假设 \( t=1 \), 那么二项分布：
\begin{align*} & {n\choose k} p^{k}(1-p)^{n-k} \\ & = \frac{n!}{k!(n-k)!} p^{k}(1-p)^{n-k} \\ & = \frac{n(n-1)(n-2)\cdots (n-k+1)!}{k!} (\frac{\lambda}{n})^{k}(1-\frac{\lambda}{n})^{n-k} \\ & = \frac{n(n-1)(n-2)\cdots(n-k+1)!}{k!} (\frac{\lambda}{n})^{k}(1-\frac{\lambda}{n})^{n-k} \\ \end{align*}n 趋于无穷大，而 k 一般是一个远小于 n 的值，那么最后一行公式的后半部分利用 \( (1+\frac{1}{n})^{n} \) 在极限下等于 e 的性质，可写成 \[ (1-\frac{\lambda}{n})^{n-k} = (1-\frac{\lambda}{n})^n (1-\frac{\lambda}{n})^{-k} \simeq e^{-\lambda}\cdot 1 = e^{-\lambda} \]
前半部分如下：
\begin{align*} & = \frac{n(n-1)(n-2)\cdots(n-k+1)!}{k!} (\frac{\lambda}{n})^{k} \\ & = \frac{n(n-1)(n-2)\cdots(n-k+1)!}{n\cdot n \cdots n} (\frac{\lambda^{k}}{k!}) \\ & = \frac{n}{n}\frac{n-1}{n}\cdots \frac{n-2}{n} (\frac{\lambda^{k}}{k!}) \\ & \simeq 1 \cdot 1 \cdots 1 (\frac{\lambda^{k}}{k!}) \\ & = (\frac{\lambda^{k}}{k!}) \\ \end{align*}因此极限情况二项分布 \( {n\choose k} p^{k}(1-p)^{n-k} \) 就等价于泊松分布 \( (\frac{\lambda^{k}}{k!})e^{-\lambda} \)
如果 n 次实验发生在 t 时间内，即 \( np=\lambda t \), 泊松分布表示在时间 t 内到达 k 次的概率， \( P(k,t) = e^{-\lambda t}\frac{(\lambda t)^k}{k!} \)
泊松分布期望和方程
由于泊松分布是二项分布在极限情况下的近似，那么其均值和方差应该也等于对应二项分布的均值和方差。
二项分布是 n 次独立伯努利实验的求和，因此其期望是 \( np \), 方差是 \( np(1-p) = np-p^2 \)
由于 np 是恒定的 \( \lambda t \), 而 \( p^2 \) 随着 n 增大为 0, 因此 \( np-p^2 \) 近似为 \( \lambda t \)
即泊松分布 \( P(k,t) = e^{-\lambda t}\frac{(\lambda t)^k}{k!} \) 均值和方差都是 \( \lambda t \)
当然也可以用期望方差定义去计算积分，但麻烦很多。
Stirling 公式
我们结合两种不同极限下分别得到的 possion 分布和正态分布的近似性来推导出对 n! 的近似计算公式。
前文从 \( (1+\frac{1}{n})^{n} \) 的极限角度计算出了 Possion 分布公式，也从中心极限定理得到了正态分布形式。
取总时长 t=1, 由前文可知泊松分布期望和方差都是 \( \lambda \)
假设 n 是一个固定值，只不过非常大， p 也是一个定值，根据中心极限定理，该时间发生 k 次事件的概率分布近似于以 \( \lambda \) 为均值和方差的正态分布
\[ \frac{1}{\sqrt{2\pi \lambda }}e^{\frac{-(x-\lambda)^{2}}{2\lambda }} \]
注意泊松分布描述的是单位时间里出现 k 次的概率，k 是恒为正的，而以上正态分布可以取负的输入值。
另外，泊松分布 \( e^{-\lambda }\frac{\lambda ^{k}}{k!} \) 是概率质量函数，得到的是概率，而以上正态分布得到的是概率密度，二者是不能近似的，即以下方程是有问题的。
\begin{align*} e^{-\lambda }\frac{\lambda ^{k}}{k!} \simeq \frac{1}{\sqrt{2\pi \lambda }}e^{\frac{-(k-\lambda)^{2}}{2\lambda }} \end{align*}但在期望 \( \lambda \) 附近， \( [\lambda - \frac{1}{2} , \lambda + \frac{1}{2}] \) 区间内高斯密度函数的积分就近似于泊松分布下 \( k=\lambda \) 的概率；
假设高斯分布在期望附近概率密度为 z, 那么其左右 1/2 邻域的区间宽度为 1, 其概率密度就近似为 z 。
利用这些性质，设 \( k=\lambda \) 可得：
\begin{align*} & e^{-\lambda }\frac{\lambda ^{\lambda }}{\lambda !} \simeq \frac{1}{\sqrt{2\pi \lambda }}e^{\frac{-(\lambda -\lambda)^{2}}{2\lambda }} \\ & \leftrightarrow e^{-\lambda }\frac{\lambda ^{\lambda }}{\lambda !} \simeq \frac{1}{\sqrt{2\pi \lambda }}e^{\frac{-(\lambda -\lambda)^{2}}{2\lambda }} \\ & \leftrightarrow e^{-\lambda }\frac{\lambda ^{\lambda }}{\lambda !} \simeq \frac{1}{\sqrt{2\pi \lambda }} \\ & \leftrightarrow \lambda! \simeq e^{-\lambda }\lambda ^{\lambda }\sqrt{2\pi\lambda } \end{align*}这就是 Stirling 对阶乘的估计公式， \( x! \approx e^{-x}x^{x}\sqrt{2\pi x } \)
取 ln 形式为： \( \ln x! \approx x\ln x -x +\frac{1}{2}\ln 2\pi x \)
泊松过程的假设
前文中我们假设 t 时间里均匀地抛 n 次，且 np 保持不变为 \( \lambda t \), 而 np 在伯努利过程中是有明确定义的，它是抛 n 次出现正面的次数的期望。
因此我们实际是假设时间 t 里事件平均发生的次数为固定为 np，然后去切分，自然地， t/2 里平均方程的次数为 np/2, t/3 里平均方程的次数为 np/3 。
而切成 n 份之后，时间 t/n 里时间平均发生 p 次。
这里 p 是一个远小于 1 的小数，比如 0.001, 那么某个时间里平均发生 0.001 次是什么意思？
为什么可以转变为发生一次的概率？
这里其实发生了循环，因为我们本身是假设进行了 n 次概率为 p 的伯努利实验，然后说它的期望是 np, 接着我们反过来切成 n 次，那么每次还是原来的伯努利实验，所以概率就是 p ，我们不需要解释为什么平均次数 p 就是发生一次的概率 p, 因为 p 本身是我们假设的。
但更贴近现实的解释并不是先假设出一个极小时间内的伯努利过程，考虑这样的例子，cpu 每秒 \( 10^9 \) 时钟周期，而这 1 秒中内平均只会出现 1 次周期偏移。
现实中，我们是先在一个连续的时间里观测到了某些事件发生的频次，先得到的即使一个平均发生次数。
接着我们反过来假设，在更小的时间间隔中，这种时间发生的频次能被均匀分摊，这实际是个很强的假设，因为很多时候往往一旦事情发生了，反而会连着发生，比如地震，因为一旦发生一次地震，余震的概率是非常高的，余震和第一次地震不是独立事件。
所以发生频次的均匀分摊中就包括了平稳性和独立性两个假设。
在回到 cpu 的例子， 1s 中内平均发生 1 次周期偏移，那么 0.5s 平均发生 0.5 次，但这并不排除 0.5s 发生 2 次甚至 3 次偏移的可能。同样 0.1s 平均发生 0.1 次偏移，也不能排除发生 2 次或 3 次的可能。
到了 n 很大的时候， 1/n 秒发生偏移的平均次数是 1/n, 但也不能排除 2 次或 3 次发生的可能。
所以为了把平均次数 1/n 变成发生一次的概率 1/n 且不发生的概率是 1-1/n, 我们需要额外的假设，即小区间里发生两次及以上的概率比发生一次的概率低得多。
如何数学化这个低得多呢？
我们把切分后的小时间段时间 \( \frac{1}{n} \) 一般化为 \( \Delta t \), 这段时间里发生的事件次数用 \( N(\Delta t) \) 随机变量来表示
那么 \( E(N(\Delta t)) = \lambda \Delta t \)。
而根据期望定义有 \( E(N(\Delta t)) = 1 \cdot P(N(\Delta t)=1) + 2 \cdot P(N(\Delta t)=2) + 3 \cdot P(N(\Delta t)=3) + \cdots \)。
我们要的是 \( P(N(\Delta t=1)) = \lambda \Delta t \)
这意味着 \( 2 \cdot P(N(\Delta t)=2) + 3 \cdot P(N(\Delta t)=3) + \cdots \) 为 0
当然我们不需要让他们绝对为 0 ，只要在极限下为 0 即可，也就是随着 \( \Delta t \) 趋近于 0, 这些尾项级数变小的速度要高于 \( \lambda \Delta t \), 一般记为 \( o(\lambda \Delta t) \) ，即它与 \( \Delta t \) 比值在极限下为 0 。
这泊松过程要求的“普通性”。
所以为了能将现实中的某些事情发生的过程用泊松分布建模，我们需要考虑这些事件是否在各个时间段发生的规律都是一致的（平稳性），事件之间是否是独立的（独立性），以及事件不会扎堆发生（普通性）。
平稳性和独立性是否蕴含普通性呢？
基本可以，如果独立性是事件之间的，那么两个事件在同一个微小区间里发生的概率就是发生一次的高阶无穷小，但如果独立性是更宏观事件区间上的，比如 [1,3] 时间段发生事件次数和 [2,4] 时间段发生次数是独立的，那么就需要额外的普通性。因为考虑某种成双成对发生事件的过程，它可以在宏观区间里发生次数之间是独立的，也是平稳的，但普通性不满足。