【関数解析と最適化1】あらすじ・閉集合と収束の関係

最近読んでるLuenberger “Optimization by Vector Space Methods”を参考に関数解析の枠組みでみた最適化理論についての議論をまとめていこうと思います。どうやら、関数解析の知識を整備していくと、複雑な空間(e.g. 連続関数の空間などと言った無限次元のヒルベルト空間)における最適化問題を幾何的な直感の元扱えるようになるみたいです。

章立てはこんな感じ。

Introduction
Linear Space
Hilbert Space
Least Squares Estimation
Dual Spaces
Linear Operators and Adjoints
Optimization of Functionals
Grobal Theory of Constrained Optimization
Local Thoery of Constrained Optimization
Iterative Methods of Optimization

(4章以外は)6章まで前提知識を整えて7章から最適化理論をみていく感じですね。ざっとみた感じ有名どころだと8章でラグランジュの未定乗数法、9章でKKT条件、ポントリャーギンの最大原理などに触れるみたいです。

イントロダクション曰く、本書の中で一貫して展開される最適化の幾何学的直感において重要となる原理は・射影定理・ハーン-バナッハの定理・双対性・微分法の4つだそうなので、この辺を意識しながら進めていきたいです。

2章：Linear Spaceは、線型空間やノルム空間の確認の章です。ベクトル空間の定義→部分空間、アファイン空間→凸、錐→線型独立、次元という流れで線型空間についての知識が整備されていきます。(ここは標準的な議論) 次にノルム→開集合→収束→連続性→バナッハ空間→完備集合といった流れでノルム空間についての知識が整備されていきます。

開集合の議論でちょっと面白いのが、まず集合の内部や閉包を定義し、開集合を内部と自身が一致する集合、閉集合を閉包と自身が一致する集合と定義する。そして、定理として開集合の補集合が閉集合を導いてるという所です。同値なのでどちらを定義としてどちらを定理としても齟齬はないのですが、慣れた構成と違った展開をされると少しハッとして面白いですね。

閉集合については収束との重要な関係があります。

定理1

点列 $(a_n) \subset A$ がxに収束する時、xはAの閉包に属する。

証明

xがAの閉包に属さない、すなわちAの補集合の内部に属すると仮定する。

この時、ある正の $\epsilon$ が存在し、 $B(x, \epsilon) \subset A^c$ が成立。(ただし、 $B(x, \epsilon)$ は中心x半径 $\epsilon$ を中心とする開球とする。)

$a_n \to x$ よりある $a_N$ が存在して $a_N \in B(x, \epsilon) \subset A^c$ だが、これは $(a_n) \subset A$ に矛盾。

閉集合は自身と閉包が一致するので定理1から収束操作について閉じていることが分かる。また、以下で示すように逆も成立する。

定理2

$(a_n) \subset A$ and $a_n  \to \alpha$ ⇒ $\alpha \in A$ が成立する(i.e.Aが収束操作について閉じている)ならば、Aは閉集合。

証明

Aが閉集合でない、すなわちAの閉包に属すがAには属さないような元xが存在すると仮定する。

このとき、任意の自然数nに対し、 $B(x,1/n) \cap A \not= \phi$ が成立。

$a_n \in B(x,1/n) \cap A$ となるように点列 $(a_n) \subset A$ を構成できる。

このとき $a_n$ はxに収束するが、仮定よりxはAに属する。これは矛盾である。

以上より閉集合が収束操作について閉じるという性質によって特徴付けられた。

これを使うとバナッハ空間において完備集合であることと閉集合であることが同値であることが直ちにわかる。

ある集合が閉だと仮定する。その集合内でコーシー列を取るとこれは収束列となり全体集合のどこかに収束先を持つが、閉集合は収束操作について閉じているので収束先はその集合に属する。よって閉集合は完備集合である。逆にある集合が完備だと仮定する。この集合に含まれるような収束列を任意にとる。収束列はコーシー列なので完備性からこの点列はその集合内に収束先をもつことになり、この集合は収束操作について閉じていることがわかった。よってこの集合は閉である。

3章での議論を追っていると、射影原理の議論をするときなどある部分空間が閉集合であるかどうかが重要になるようだ。となると、「ノルム空間において、任意の有限次元部分空間は完備である。」という定理が重要になってくるはずだ。これを示せば、バナッハ空間、ヒルベルト空間の有限次元部分空間は閉集合になるということが(上の議論と合わせて)分かる。

ヒルベルト空間の無限次元部分空間と閉集合(閉包)についての議論が気になるけど全然知らないので詳しい人教えてください......

本当は今回この定理を示して2章のまとめ終わり！ってしたかったんだけど、既にいい分量になっちゃったし、いい時間にもなっちゃったので今回はここまでにします。

経済学と数学のまとめをそれぞれ週1位のペースで投稿できればいいな(目標)と思ってます〜