ガウス過程の汎化性能向上: ハイパーパラメータ探索手法「PAC-GP」

3つの要点
✔️ 従来のガウス過程は最尤推定でハイパーパラメータ探索をしていたが、過学習を起こす恐れがある
✔️ 対して本研究では、過去の研究にて定式化されたガウス過程のリスクの上限を最小化するようなハイパーパラメータを探索することで、「直接的に」汎化性能を向上させる
✔️ ガウス過程最大の欠点である高計算コスト問題にも対応

Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds
written by David Reeb, Andreas Doerr, Sebastian Gerwinn, Barbara Rakitsch
(Submitted on 29 Oct 2018 (v1), last revised 28 Dec 2018 (this version, v2))
Comments: Published by NeurIPS 2018.
Subjects: Machine Learning (stat.ML); Machine Learning (cs.LG)

Code

背景

近年ガウス過程と呼ばれる回帰モデルが脚光を浴びています。詳しくは後述しますが、ベイズ的な手法なため予測の振れ幅（分散）が評価できる、純粋に表現力が高い、チューニングすべきハイパーパラメータの数が少ないなど、、、様々なメリットを持つ非常に強力な機械学習アルゴリズムとして知られています。

では、ガウス過程のハイパーパラメータはどのように探索するのでしょうか？従来の手法では一般的に最尤推定が行われてきました。すなわち、訓練データセット$\{(x_1, y_1), \cdots, (x_N, y_N)\}$が与えられたとして、ハイパーパラメータ$\theta$の対数尤度$p(y_1, \cdots, y_N|\theta, x_1, \cdots, x_N)$を最大化するような$\theta$を探索します。このような手法に基づいたハイパーパラメータ探索では、手元に持っている訓練データセットに対し過学習してしまう恐れがあります。

一方で本研究では、ガウス過程のリスクの上限を最小化するようなハイパーパラメータ$\theta$を探索するという手法をとります。「リスク」というのは、ガウス過程が予測を間違う度合いの期待値を表します（これはあくまで直観的な解釈なので、後ほど正確な定義を記述します）。リスクを最小化すると当然汎化性能が向上するはずなので、極めて自然なアイディアですね。

 

では、具体的にどう解析されるのかについて次節以降で説明いたします。

• 
• 
• 

この記事に関するカテゴリー

• 機械学習
• Gaussian