概述

一般来说，概率DP找到正确的状态定义后，转移是比较容易想到的。但状态一定是“可数”的，把有范围的整数作为数组下标。事实上，将问题直接作为状态是最好的。如问“n人做XX事的期望次数”，则设计状态为f[i]表示i个人做完事的期望。转移一般是递推，即从上一个状态转移得（填表）或转移向下一个状态（刷表）。

有时期望DP需以最终状态为初始状态转移，即逆推。如f[i]表示期望还要走f[i]步到达终点。这种状态的转移是刷表法，形如$f[i]=\sum p[i\to j]f[j]+w[i\to j]$，其中$p[]$表示转移的概率，$w[]$表示转移对答案的贡献。一般来说，初始状态确定时可用顺推，终止状态确定时可用逆推。

练习题

涂格子1

n个格子，每次随机涂一个，求涂满m个格子的期望次数。

如概述所说，因为最终状态确定，使用逆推。设计状态$f[i]$表示涂了$i$个格子，到涂满$m$个格子还要涂的期望次数。初始状态是$f[m]=0$。转移时考虑$f[i]$是怎么来的，有$\frac{i}{n}$的概率由“涂到涂过的格子”转移来，即由$f[i]$转移来；另有$\frac{n-i}{n}$的概率由“涂到没涂过的格子”转移来，即由$f[i+1]$来。并且无论从哪里来，这次的期望次数都比原来的期望次数多$1$。于是转移方程为$f[i]=\frac{i}{n}f[i]+\frac{n-i}{n}f[i+1]+1(i<m)$。

涂格子2

n个格子，每次随机涂一个，求涂m次后期望涂色格子数。

如概述所说，设计状态f[i]表示涂i次后的答案。转移时考虑这次是涂了的还是没涂的。转移方程为$f[i]=\frac{n-f[i-1]}{n}+f[i-1]$。

另外，可证明$f[n]=n\cdot (1-(\frac{n-1}{n}{)}^m)$。

涂格子3

有$n$个格子，每次会涂一个格子，其中涂第$i$个格子的概率是$p_i$（保证$\sum p_i$=1）。求每个格子都被涂色的期望次数。

因为涂到每个格子的概率不同，所以没法把“格子数量”当成一维状态，只能使用状压。设$f[S]$表示涂格子的状态（二进制表示）为$S$时到涂满还需要的次数。则初始状态为$f[2^n-1]=0$，转移时枚举涂哪个格子即可，具体方程为$f[S]={\sum }_{i=0}^{n-1}{p}_{i}f[S\text{ or }{2}^i]+1$。

小孩和礼物

有$n$个礼物盒和$m$个小孩，每个盒子里有一个礼物。所有人轮流开盒子，每次打开一个随机盒子，如果里面有礼物就拿走（如果被开过了就没有礼物了）。问所有人拿走礼物的期望数量。

一个礼物=一个打开过的盒子。f[i]表示i个人拿走礼物的期望，相当于表示涂i次期望涂色格子数量。同涂格子2。

麻球繁衍

开始有n个麻球，每天每个麻球会死亡，同时繁衍出若干新麻球。每个麻球繁衍i个麻球的概率是$p[i](0\le i<k)$。求在m天内麻球死绝的概率。

每个麻球是互相独立的，设计状态f[i]表示一个麻球i天内死绝的概率，则n个麻球在i天内死亡的概率是$f[i{]}^n$。转移时考虑这个麻球第一天繁衍多少个，它们在接下来的$i-1$天内死绝了。转移方程为$f[i]={\sum }_{j=0}^{k-1}p[j]f[i-1{]}^j$。

亚瑟王的生日庆典

亚瑟王过生，他每天抛一枚硬币，正面向上的概率是$p$。办庆典要花钱，在第$i$天要花$(2i-1)$千元。求正面向上数$\ge k$次时的期望花钱数。

f[i]表示正面向上i次的期望花钱。转移时考虑是否掷到正面，容易列出转移$f[i]=(1-p)f[i]+pf[i-1]+正面向上i次当天期望花费$。
需要计算g[i]表示正面向上i次的期望天数，则当天期望开销=$2\times g[i]-1$。$g[i]=(1-p)g[i]+pg[i-1]+1$。

BZOJ4318 OSU!

开始有一个空串，每次添加一个0或1，添加1的概率为$p$。添加完后计算得分，每一段连续极长1段贡献$le{n}^3$分。求最后期望得分。

转移时考虑是否增加1，如果增加了一个1，设当前期望连续1个数为$l$，那么答案应该增加$(l+1{)}^3-l^3$。因此还需要维护$l$和$l^2$的期望。维护$l^2$时同样考虑答案增加多少。

循环转移处理方法

有些DP方程之间会循环转移。可以高斯消元，或者设每个状态为形如$f[u]=a[u]f[fa]+b[u]f[0]+c[u]$，最后求出所有系数。

例题

单人博弈

有三个正多面体骰子，第i个有k[i]面。每次扔全部三个骰子，得到等同于它们的和的分数。如果三个骰子分别掷得a、b、c，则得分清零。求得分≥n时的期望次数。

设f[i]表示得i分的期望次数。转移时考虑三个骰子的和，先算出p[i]表示和为i的概率，p0表示得分清零的概率。用刷表法，转移方程为$f[i]={\sum }_{k}p[k]f[i+k]+p_0\ast f[0]+1$。
我们看到，转移方程是与$f[0]$有关的。设$f[i]=a[i]f[0]+b[i]$，则可以解出$a[i]$和$b[i]$。

迷宫

给定一棵$n$个点的树，开始你在根节点，在结点$u$上时有$kill[u]$的概率去根节点，$escape[u]$的概率结束，剩下的概率随机到一个与$u$相邻的点。求结束时期望经过的边数。

考虑逆推，$f[i]$表示在$i$结点到结束期望的边数。
对叶子节点有$f[u]=kill[u]f[0]+escape[u]\times 0+(1-kill[u]-escape[u])(f[fa[u]]+1)$
对非叶子节点有$f[u]=kill[u]f[0]+escape[u]\times 0+\frac{1-kill[u]-escape[u]}{deg[u]}\cdot (f[fa[u]]+{\sum }_{v=son[u][]}f[v])$
用待定系数法，设$f[u]=a[u]f[0]+b[u]f[fa[u]]+c[u]$，代入上面式子的$f[v]$，解得参数。先从下到上计算参数的值，再从上到下计算答案。