【25個掲載】自然言語処理に使えるデータセットまとめ

ミリアム・アリ | 2019年07月09日

自然言語処理に使える無料のオンライン・データセットは、どこで探すのが一番いいでしょうか。

Lionbridge AIはインターネット上を隈なく調べて究極のデータセット・リストを作成し、テキスト、音声スピーチ、感情分析の三つに分類しました。

 

感情分析のデータセット

マルチドメイン感情分析データセット: アマゾンの商品レビューに的を絞った、やや古いデータセット。

IMDB レビュー: 感情の二項分類のための、やや古い比較的小さなデータセットで、25,000の映画レビューから成る。

スタンフォード・センチメント・ツリーバンク: 感情のアノテーションを付したスタンダードな感情分析に使えるデータセット。

センチメント140: 顔文字をあらかじめ取り除いた16万のツイートを使用した、人気の高いデータセット。

ツイッター米航空会社センチメント: ポジティブ、ネガティブ、ニュートラルで分類した、2015年2月以降の米国航空会社に関するツイッターのデータ。

 

テキストのデータセット

20のニュースグループ: 20の異なるニュースグループの約2万の文書コレクション。

ロイター・ニュース・データセット: 1987年以降のロイターのテキストのデータセット。

ペン・ツリーバンク: 1989年以降の『ウォール・ストリート・ジャーナル』の記事のデータセット。次の単語の予測に使用される。

カリフォルニア大学アーバイン校のスパムベース: スパムのフィルタリングに役立つスパムメールの大型データセット。

Yelpレビュー: Yelpがリリースしたオープンなデータセット。500万を超えるレビューから成る。

WordNet:「synset」と呼ばれる英語の同義語グループの大型データセット。意味の異なる語句は別の「synset」に分類される。

 

音声スピーチのデータセット

2000HUB5英語評価記録: 40本の電話の会話から成る英語の発話データ。

LibriSpeech: オーディオブックのデータセット。複数の朗読者による500時間に及ぶオーディオブックから成る。オーディオブックの章で整理されている。

TED-LIUM: 1,495本のTEDトークの録音コレクション。

発話された数字の無料データセット: 英語における1,500の発話された数字の録音コレクション。

TIMIT: 630人のアメリカ英語話者の録音コレクション。

 

自然言語処理のデータセット(一般)

エンロン・データセット: エンロン社管理職の電子メールのデータ。フォルダーに整理されている。

アマゾン・レビュー: 18年にわたるアマゾンのおよそ3,500万のレビューから成る。データには、製品及びユーザー情報、評価、プレーンテキストのレビューが含まれる。

GoogleブックスNgrams: Googleブックスの単語のコレクション。

Bloggerコーパス: blogger.comから収集した681,288本のブログ記事のコレクション。各ブログには最低でも200の一般的英単語の使用が含まれている。

ウィキペディア・リンク・データ: ウィキペディアのテキスト全文。400万を超える記事の約19億語から成るデータセット。単語やフレーズ、段落の一部分で検索できる。

グーテンベルク電子書籍リスト: プロジェクト・グーテンベルクの電子書籍のアノテーション付きリスト。

カナダ議会議事録: 第36回カナダ議会議事録の、2カ国語の130万のテキスト。

Jeopardy: クイズ番組『Jeopardy』で使われた20万を超える質問集。

英語のSMSスパム・コレクション: 英語の5,574のSMSスパムメッセージから成るデータセット。

 

必要なデータセットがまだ見つかりませんか。Lionbridge AIはお客様のニーズに合わせた、言語プロジェクト用のデータセットをご提供します。翻訳の世界で20年の経験を持つLionbridge AIの専門分野は、意味的アノテーションや感情分析をはじめとする自然言語関連のタスクです。Lionbridge AIはまた、300言語の50万人を超える認定ネイティブスピーカーを擁しています。

AI・機械学習の最新情報を配信中

Lionbridge AIのブログで紹介している事例記事やトレンドニュースといったビジネスに役立つ情報はもちろん、オープンデータセット集なども合わせてメール配信しております。