転移学習の概観と応用例

2020年08月11日

機械学習分野では、過学習非構造化データの分析などの問題を解決するために、多くの技術が提案されています。当サイトではデータ拡張(水増し)や勾配降下法につきまして、既に紹介させて頂いていますが、今回は転移学習(Transfer Learning)について書いていきたいと思います。

 

転移学習とは

転移学習とは、機械学習分野の技術の1つであり、ある領域における学習済みモデル(学習により既にパラメータの調節が済んでいるニューラルネットワーク)を別の領域に役立たせ、効率的に学習させる方法をいいます。転移学習に最適な学習済みモデルを予測し、学習済みモデルのメタ学習を加速させる技術TASK2VECなども提案されています。

ニューラルネットワークの場合、あるタスクで学習したネットワークの出力層を取り除き、特徴抽出器として用いられることが多いです。実際、何かを実験する際に、VGG、GoogLeNet、ResNetなどの巨大なネットワークを一から学習させることは殆どありません。2016年NeurIPS学会のチュートリアルでは、アンドリュー・ン氏は「転移学習は、教師あり学習の次に、機械学習分野の市場成長に繋がる技術となる」と述べています。

最大のメリットは、少ないデータ量でも高精度を実現できることでしょう。例えば、ドローンの種類を見分ける画像分類モデルを構築したいが、十分の教師データ(ドローンの画像)をお持ちでない場合、転移学習で解決することができます。例えば、大量なデータで学習された車の車種を識別するための画像分類モデルに転移学習を用い、新しくドローンの識別を学習させられます。

 

転移学習とファインチューニングの違い

転移学習とファインチューニングは、どちらも学習済みモデルを使用します。ファインチューニングは、学習済みモデルの層の重みを微調整する手法であり、学習済みモデルの重みを初期値とし、再度学習することによって微調整します。一方で転移学習は学習済みモデルの重みは固定し、追加した層のみを使用して学習します。

 

転移学習の応用例

転移学習の応用例をいくつか紹介していきたいと思います。応用先は次々と提案され、最近では新型コロナウイルスの診断にも転移学習が研究されています。転移学習を行う際の1つの注意点として、元ドメインと関連する転移先の目標ドメイン間で、低レベルで共通する特徴が存在しているほうが基本的に成功しやすくなります。

画像認識: 転移学習で扱いやすいImageNetデータセットが最も有名でしょう。画像分類CNNを学習させ、物体検出やセマンティックセグメンテーションなど他の画像タスクに転移させるケースが多くみられます。

自然言語処理: ディープラーニングの前から自然言語処理分野で転移学習の研究はされていて、EasyAdapt、instance weighting、structural correspondence learningなどが有名でした。過去数年では、転移学習は自然言語処理分野で最先端の成果を生み出しています。例えば、BERTの学習済みモデルをテキスト分類など、様々な自然言語処理タスクにに適用されます。他にもELMo、ALBERT、Reformerなどの新しいモデルが多岐にわたって開発されました。

ゲームAI: ポーカー、チェス、囲碁など、あるゲームに特化された機械学習モデルに、別のゲームのルールや戦略を学習させます。

・スパム検出: 学習済みの言語モデルなどに転移学習をかけ、機械学習によるスパム検出を行う方法です。

 

LionbridgeのAI教師データサービス

転移学習は少ないデータ量でも高精度を実現できることが大きなメリットですが、それにしましてもモデル構築には高品質な教師データが必要なことは変わりません。当社は教師データの作成やアノテーションサービスを提供し、機械学習の研究開発を支援しております。100万人の認定コントリビューターが登録されており、20年に渡る機械学習プロジェクトの実績がございます。無料トライアルやお見積は、こちらからお問い合わせ下さい。

AI向け教師データの作成やアノテーションサービスを提供し、研究開発を支援いたします。

メディア掲載結果

    AI・機械学習の最新情報をお届けします!

    Lionbridge AIのブログで紹介している事例記事やトレンドニュースといったビジネスに役立つ情報はもちろん、オープンデータセット集なども合わせてメール配信しております。