オートエンコーダ(自己符号化器)とは

2020年06月05日

オートエンコーダとは

オートエンコーダ(自己符号化器)とは、2006年にジェフリー・ヒントンによる、ディープラーニングにおけるニューラルネットワークの仕組みの一つです。エンコーダとデコーダからなるニューラルネットワークであり、分類だけでなく生成も可能です。最近ツイッターで話題になったAI画伯などのAIアートや、言葉から画像を生成するの技術の裏にあるのがオートエンコーダです。

仕組みとしては、入力層と出力層のノード数が同じで、中間層の数がそれよりも少ない3層のニューラルネットワークのうち、特に出力を入力に近づけることを学習に行われます。エージェントが「自身の収益を最大化する方策の獲得を目指すことにより、次元削減が得られます。オートエンコーダは、異常検知、クレンジング(ノイズ除去)、クラスタリングなどの次元削減に応用されます。

 

オートエンコーダの仕組み
出典: DeepAge

積層オートエンコーダ、畳み込みオートエンコーダ、スパースオートエンコーダ、変分オートエンコーダ、条件付き変分オートエンコーダなど、様々な種類があります。

 

積層オートエンコーダ

積層オートエンコーダ(ディープオートエンコーダとも呼ばれる)とは、オートエンコーダを積み重ねることによって、ディープオートエンコーダを作成して実現されます。事前学習(pre training)として入力層に近い層から順番に学習させるという、逐次的な方法が特徴です。

 

変分オートエンコーダ

変分オートエンコーダ(変分自動符号化器、VAE: variational autoencoder)とは、変分ベイズ推定法の一種で、通常のオートエンコーダと同様、エンコーダ部分とデコーダ部分を持つモデルです。 

通常のオートエンコーダーと異なる、変分オートエンコーダの特徴は潜在変数に確率分布を用いることです。確率分布の推定と生成にそれぞれ用いるエンコーダとデコーダにニューラルネットワークを用い、確率的勾配降下法と誤差逆伝播法によってパラメーターを更新します。

変分オートエンコーダは潜在変数の確率分布が求められるという利点がありますが、画像データの場合、輪郭がぼやけやすいという欠点もあります。それに比べ、GANは画像が鮮明なものもありますが、学習が不安定になるという短所が挙げられます。解決策として、変分オートエンコーダの後段にGANを付けた「VAEGAN」というモデルが提案されています。

出典: 慶應義塾大学

変分オートエンコーダの応用である、条件付き変分オートエンコーダ(CVAE: conditional variational autoencoder)はその名の通り、変分オートエンコーダに条件変数を加えた手法です。データにラベル情報を加えて学習できるため、条件付きのデータを生成することができます。

 

LionbridgeのAI教師データサービス

ディープラーニング向けの教師データセットをお探しの方は、ぜひ当社にご相談ください。AI向け教師データの作成やアノテーションのサービスを提供し、研究開発を支援しています。世界の各タイムゾーンを渡る、100万人のコントリビューターが登録されており、大規模なAIプロジェクトも素早く仕上げることができます。お問い合わせ・無料見積もりはこちらから。

AIの最新ニュースをいち早くお届け!

メディア掲載結果

    AI・機械学習の最新情報をお届けします!

    Lionbridge AIのブログで紹介している事例記事やトレンドニュースといったビジネスに役立つ情報はもちろん、オープンデータセット集なども合わせてメール配信しております。