最优化学习笔记(十)——对偶线性规划
一、对偶问题 每个线性规划问题都有一个与之对应的对偶问题。对偶问题是以原问题的约束条件和目标函数为基础构造而来的。对偶问题也是一个线性规划问题,因此可以采用单纯形法(有关单纯形法会在以后的笔记中补充)求解。对偶问题的最优解也可以通过原问题的最优解得到,反之亦然。而且,在某些情况下,利用对偶理论求解线性规划问题更为简单,而且有助于深入了解待求问题的本质。二、对偶问题的定义与表述 考虑如下
·
一、对偶问题
每个线性规划问题都有一个与之对应的对偶问题。对偶问题是以原问题的约束条件和目标函数为基础构造而来的。对偶问题也是一个线性规划问题,因此可以采用单纯形法(有关单纯形法会在以后的笔记中补充)求解。对偶问题的最优解也可以通过原问题的最优解得到,反之亦然。而且,在某些情况下,利用对偶理论求解线性规划问题更为简单,而且有助于深入了解待求问题的本质。
二、对偶问题的定义与表述
考虑如下形式的线性规划问题:
mincTxst.Ax≥bx≥0
<script type="math/tex; mode=display" id="MathJax-Element-1460"> \min \quad \boldsymbol{c}^T\boldsymbol{x} \\ st. \quad \boldsymbol{Ax} \ge \boldsymbol{b}\\ \boldsymbol{x} \ge \boldsymbol{0} </script>
该问题称为原问题,其相应的对偶问题定义为:
maxλTbst.λTA≤cTλ≥0
<script type="math/tex; mode=display" id="MathJax-Element-1461"> \max \quad \boldsymbol{\lambda}^T\boldsymbol{b}\\ st.\quad \boldsymbol{\lambda}^T\boldsymbol{A} \le \boldsymbol{c}^T\\ \boldsymbol{\lambda} \ge \boldsymbol{0} </script>
其中, λ∈Rm<script type="math/tex" id="MathJax-Element-1462">\boldsymbol{\lambda} \in \mathbb{R}^m</script>是对偶向量。在原问题和对偶问题中,b和c<script type="math/tex" id="MathJax-Element-1463">\boldsymbol{b}和 \boldsymbol{c}</script>的作用是互逆的,这种对偶称为对称形式的对偶。
为了定义任意线性规划问题的对偶问题,可首先将给定的线性规划问题转换为与上述原问题结构形式相同的等价问题;然后,根据对称形式的对偶,得到等价问题的对偶。
三、证明对偶问题的对偶是原问题
将对偶问题表示为:
minλT(−b)st.λT(−A)≥(−cT)λ≥0
<script type="math/tex; mode=display" id="MathJax-Element-1422"> \min \quad \boldsymbol{\lambda}^T(-\boldsymbol{b})\\ st. \quad \boldsymbol{\lambda}^T(-\boldsymbol{A}) \ge (-\boldsymbol{c}^T)\\ \boldsymbol{\lambda} \ge \boldsymbol{0} </script>
则上述问题的等价于:(将上式两端同时转置)
min(−bT)λst.(−AT)λ≤−cλ≥0
<script type="math/tex; mode=display" id="MathJax-Element-1423"> \min \quad (-\boldsymbol{b}^T)\boldsymbol{\lambda}\\ st. \quad (-\boldsymbol{A}^T)\boldsymbol{\lambda} \le -\boldsymbol{c}\\ \boldsymbol{\lambda} \ge \boldsymbol{0} </script>
则上式的对偶问题为:(x<script type="math/tex" id="MathJax-Element-1424">\boldsymbol{x}</script>等价于对偶定义的λ<script type="math/tex" id="MathJax-Element-1425">\boldsymbol{\lambda}</script>)
maxxT(−c)st.xT(−A)T≤−bTx≥0
<script type="math/tex; mode=display" id="MathJax-Element-1426"> \max \quad \boldsymbol{x}^T(\boldsymbol{-c})\\ st. \quad \boldsymbol{x}^T(-\boldsymbol{A})^T \le -\boldsymbol{b} ^T\\ \boldsymbol{x} \ge \boldsymbol{0} </script>
对上式取转置:
max(−cT)xst.(−A)x≤−bx≥0
<script type="math/tex; mode=display" id="MathJax-Element-1427"> \max \quad (-\boldsymbol{c}^T)\boldsymbol{x}\\ st. \quad (-\boldsymbol{A})\boldsymbol{x} \le -\boldsymbol{b} \\ \boldsymbol{x} \ge \boldsymbol{0} </script>
整理后,就可以得到原问题。
四、线性规划问题的标准型
线性规划问题的标准型约束为Ax=b<script type="math/tex" id="MathJax-Element-3159">\boldsymbol{Ax=b}</script>,为了构造相应的对偶问题,首先将上述等式变换为不等式:
Ax≥bAx≤b⇒−Ax≥−b
<script type="math/tex; mode=display" id="MathJax-Element-3160"> \boldsymbol{Ax \ge b}\\ \boldsymbol{Ax \le b} \Rightarrow \boldsymbol{- Ax \ge -b} </script>
那么,带有等式的原问题可以写为:
mincTxst.Ax≥b−Ax≥−bx≥0
<script type="math/tex; mode=display" id="MathJax-Element-3161"> \min \quad \boldsymbol{c}^T\boldsymbol{x}\\ st. \quad \boldsymbol{Ax} \ge \boldsymbol{b}\\ \boldsymbol{- Ax \ge -b}\\ \boldsymbol{x} \ge \boldsymbol{0} </script>
上式的对偶问题可以整理为:
maxλTbst.λTA≤cT
<script type="math/tex; mode=display" id="MathJax-Element-3162"> \max \quad \boldsymbol{\lambda}^T\boldsymbol{b}\\ st. \quad \boldsymbol{\lambda}^T\boldsymbol{A}\le \boldsymbol{c}^T </script>
这种对偶关系称为非对称形式的对偶。
| 原问题 | 对偶问题 |
|---|---|
| mincTx<script type="math/tex" id="MathJax-Element-3163">\min \quad \boldsymbol{c}^T\boldsymbol{x}</script> | maxλTb<script type="math/tex" id="MathJax-Element-3164">\max \quad \boldsymbol{\lambda}^T\boldsymbol{b}</script> |
| st.Ax≥bx≥0<script type="math/tex" id="MathJax-Element-3165"> st.\quad \boldsymbol{Ax} \ge \boldsymbol{b}\\ \quad \quad\quad\boldsymbol{x} \ge \boldsymbol{0}</script> | st.λTA≤cTλ≥0<script type="math/tex" id="MathJax-Element-3166">st.\quad \boldsymbol{\lambda}^T\boldsymbol{A} \le \boldsymbol{c}^T\\\quad\quad\quad\quad\boldsymbol{\lambda} \ge \boldsymbol{0}</script> |
表1 对称形式对偶关系
| 原问题 | 对偶问题 |
|---|---|
| mincTx<script type="math/tex" id="MathJax-Element-3167">\min \quad \boldsymbol{c}^T\boldsymbol{x}</script> | maxλTb<script type="math/tex" id="MathJax-Element-3168">\max \quad \boldsymbol{\lambda}^T\boldsymbol{b}</script> |
| st.Ax=bx≥0<script type="math/tex" id="MathJax-Element-3169">st. \quad \boldsymbol{Ax} = \boldsymbol{b}\\\quad\quad\quad\boldsymbol{x} \ge \boldsymbol{0}</script> | st.λTA≤cT<script type="math/tex" id="MathJax-Element-3170">st. \quad \boldsymbol{\lambda}^T\boldsymbol{A}\le \boldsymbol{c}^T</script> |
表2 非对称形式对偶关系
五、构造任意线性规划问题的对偶问题
- 将原问题转换为与之等价的对称形式对偶关系中的原问题。
- 参照对称形式对偶关系就可得到对偶问题,整理后可得到非对称形式的对偶问题。
更多推荐


所有评论(0)