ディープラーニング向け教師データセットの作り方

2020年03月11日

どのようなAIプロジェクトにおいても、ディープラーニング向けのラベル付きデータが大量に必要です。最終製品が顧客サポートのチャットボットでも感情分析エンジンでも、ディープラーニングモデルを構築する際は必ず、膨大な学習データへのアクセスが必要となります。 そのため、十分な精度と品質のデータを大規模に収集することは、個人や企業にとって共通の課題です。

 

ディープラーニング向け教師データセットの作り方

今回は、 ディープラーニング向け教師データセットの作り方と、アノテーションを実施する方法についてまとめました。

 

1. 公開データセットを利用

インターネットには、そのまま利用、分析、強化することが可能な数千もの公開データセットが含まれています。当社は、ディープラーニング向け公開データセットをウェブから探し出し、こちらのダウロード資料にまとめました。ぜひご活用ください。

公開データセットを利用する際の課題は、構築しようとするモデルに適した本当に役立つデータセットを見つけることです。公開データセットには、詳細かつ豊富なデータが無制限に含まれているように見えますが、特定の最終目的に役立つとは限りません。さらに、適切なデータを取得できた場合でも、システムにインプットする前にはデータクレンジングと編集が必要になるでしょう。

 

2. ウェブスクレイピング

ウェブスクレイピングとは、データ抽出など通常手動で行う活動を、プログラムを組んで自動化したアプリケーションによって行うことを指します。これらのツールは、新しいデータまたは更新されたデータを自動的に探し出して取得し、将来アクセスできるように保存します。ウェブスクレイピングは、個人や研究者、企業、政府が大量の情報を理解するためのまたとない機会を提供します。 ただし、利用者に知らせずにデータを収集する場合など、プライバシーや合法性に関する懸念が明らかに増大しています。

 

3. 合成データセットの構築

必要なデータがない場合は、ニューラルネットワークの学習用に十分な規模のサンプルデータを取得するため、プログラムによるデータ生成が利用されています。合成データを利用する際の主なメリットの一つは、データセットの範囲や形式、ノイズ量など、多くの特性を明確に規定できることです。強化学習アルゴリズムが動作できる環境を作れば、無制限にデータを作成することが可能です。

このように合成データの利用によって可能性が広がるのは明らかですが、決して全ての課題を解決できるわけではありません。優れたアプローチになる場合もありますが、時間と労力を考えると最も実行可能かつ最適な方法でない場合もあります。そのため、社内で合成データの作成環境を構築する場合などは、大きな負担になることが多いのです。

また、合成データを利用すると、著作権侵害やプライバシーの問題に関するリスクは無くなりますが、データに偏りが生じる可能性があります。ディープラーニングシステムは、非常に複雑な実世界の環境で動作する必要があります。しかし、現段階では、人工データだけで高度なアルゴリズムに十分学習させることはできません。

 

4. 社内データの活用

社内に蓄積された非構造化データは、顧客関係管理から顧客サポートチケットに至るまで、大規模な組織に様々なチャンスを提供します。この潜在的情報の宝庫は、有用なアプリケーションを開発するために利用できるのです。社内データを基にしたディープラーニングモデルは、業務プロセスの合理化や生産性の向上に大変役立ちます。 

ただし、社内データを活用する際、個人情報が含まれる場合は特に、プライバシーに関する多くの懸念が生じます。また、組織が社内データを利用しないもう一つの理由は、データの抽出および書式設定に固有の複雑さがあるからです。公開データセットの場合と同様、ディープラーニングに利用できるようにするためには、社内データに多くの前処理を行う必要があります。 

 

5. アノテーション代行サービスの活用

十分な量のデータを取得した後は、アルゴリズムの学習に利用する前にアノテーションを付ける必要があります。社内で行うか、アノテーションサービス専門企業に委託するかを選択できます。 社内でアノテーションを行う場合、アノテーションプロセスそのものに投資する必要があります。これには、アノテーションツールの開発から、アノテーター向け手順書の作成まで全てが含まれます。このプロセスを独自に行うための帯域幅やエンジニアリング技術が社内に不足している場合は、アノテーションサービスを提供する経験豊富なパートナーと連携することによって投資対効果を最大にすることができます。

 ディープラーニング用の独自のアノテーションが必要な場合は、ぜひ当社のアノテーションサービスをご利用ください。当社は、適切なアノテーターの調達から品質チェックまで、データの品質向上に役立つプラットフォームを設計し、言語的アノテーションや音声分析など幅広いサービスを提供しています。100万人の認定コントリビューターが登録されている、迅速かつ低価格で大量のデータセットを処理することが可能です。お見積り(無料)、お問い合わせはこちらから。

AI開発に肝心な学習データを提供いたします

メディア掲載結果

AI・機械学習の最新情報を配信中

Lionbridge AIのブログで紹介している事例記事やトレンドニュースといったビジネスに役立つ情報はもちろん、オープンデータセット集なども合わせてメール配信しております。