自然言語処理の二つの課題を打ち破る

2020年08月20日

皆さん、こんにちは。今回は、MatrixFlow代表取締役社長の田本芳文とご一緒させて頂いた共著記事です。

 

プラットフォームを活用して自然言語処理の二つの課題を打ち破る

当サイトでは、AI人材不足、倫理、個人情報の扱いバイアスなど、AIの領域に関する様々な課題を取り上げてきました。5月に開催したウェビナーでは、マスクドアナライズ氏MatrixFlowの代表取締役社長田本芳文氏をお迎えし、ビジネスにおけるAI活用事例を紹介し、AI民主化についてディスカッションをしました。

さて、日本のAI導入が進む中で他に比べてハードルが高いと言われている分野が自然言語処理です。自然言語処理とは日本語のような日常で使うような明確なルールが決まっていない言語をAIに処理させる技術分野です。自然言語処理のハードルの高さには二つの理由があります。

一つ目は、言語は地域によって大きく異なるという点です。画像や数値の処理は地域差はありませんが、自然言語はそうはいきません。日本語は、英語と違い単語がスペースで区切られているわけでないので分かち書きという処理をしないといけません。また、半角・全角、ひらがな・漢字・カタカナのという独自の特徴に対しても適切に処理をするという特殊なスキルが必要となります。

二つ目は、日本語がメジャーな言語ではない点です。AIの学習に使うデータセットはほとんどが英語ですし、学習済みのAIについても英語で学習されているものがほとんどでこれらをそのまま日本語の処理に使うことはできません。

これら二つの点から想像に難くないと思いますが、日本語に対する自然言語処理のノウハウの不足と日本語のデータセットの不足は深刻な問題になっています。

日本語のデータセットの不足について独自に用意するしか現状解決策がありません。

例えば、日常会話ができる対話チャットボットを構築する株式会社ZAIZENに、当社は「今日のできごと」や「好きな◯◯(食べ物など)」などの内容を含む、カスタム会話コーパスを提供いたしました。また、国立研究開発法人情報通信研究機構(NICT)の多言語翻訳アプリを学習させるためには、多くの方言や非ネイティブ話者を含む、音声データとその文字起こしされたテキストデータが利用されました。

AI向けデータの作成やアノテーションサービスが必要な場合は、ライオンブリッジがお手伝いできます。AI向け教師データの作成やアノテーションサービス「Lionbridge AI」は20年を渡り、AIの研究開発を支援してきました。世界の各タイムゾーンを渡る、100万人のコントリビューターが登録されており、大規模なAIプロジェクトも素早く仕上げることができます。無料トライアルやご相談は、こちらからお問い合わせ下さい。

ライオンブリッジ自社開発のAIデータプラットフォーム

次に、日本語に対する自然言語処理のノウハウの不足に対しては、一から特殊な手法を学び実践していくよりもプラットフォーム側である程度自動化されたものを使うのが良いでしょう。

例えば、ビジネスのためのAI活用プラットフォーム「MatrixFlow」の場合は分かち書きや品詞の選択、統計的サンプリングなどを自動で処理する機能があり、ノーコードで日本語を処理できるAIが構築できます。MatrixFlowを使うことで日本語の自然言語処理に詳しくない人でも、難しいことを考えることなくAIの構築・運用を行うことができます。

事例としましては、竹中工務店様の「ソーシャルヒートマップ®︎」のSNS分析機能にMatrixFlowを活用いたしました。より具体的な使い方はこちらが参考になると思います。

また、MatrixFlowは現在も自然言語処理を中心に開発を進めています。BERTなどの最新のアルゴリズムもノーコードで使えるようになっています。参考記事はこちらです。

最後に、株式会社MatrixFlowはビジネスのためのAI活用プラットフォーム「MatrixFlow」の提供だけでなく、AIの企画推進、内製化、コンサルも行っておりますので気軽にお問い合わせください。

OCRによるDXやチャットボットの導入が進むにつれて自然言語処理の活用事例も増えてます。また、コロナショックによってテレワークが普及し文書のデジタル化が一気に進んでいることが原因で、自然言語処理の重要性は急激に高まっています。オフィス仕事を大幅に削減した成功事例もよく耳にします。まだ文書に対してAIの導入していないのなら、検討することをお勧めします。

 

MatrixFlowについて

株式会社MatrixFlowは、「テクノロジーで世界をつくる」をミッションとするAIベンチャーです。大人から子供、ビジネスマンから学生、デザイナーからサイエンティストに至るまで、様々な人々がAIを活用し、素晴らしい着想を得たり、あっと言わせるクールな活動をすることを支援したいと考えています。その実現に向けた第一歩として、プログラミング不要のクラウド型AI構築プラットフォーム「MatrixFlow」を開発しております。また、様々な会社でのAI活用を推進するためにAIの受託開発・コンサルティング事業も行っております。気軽にお問い合わせください。

 

Lionbridge AIについて

ライオンブリッジジャパン株式会社は20年以上に渡り、AI事業を展開する世界中の企業に、機械学習用のデータを提供してきました。Lionbridge AIでは、自然言語処理、機械学習用のデータ作成などのAIプロジェクトに取り組みます。データ作成やアノテーションのご依頼や無料トライアルは、こちらからお問い合わせください。

AI向け教師データの作成やアノテーションサービスを提供し、研究開発を支援いたします。

メディア掲載結果

    AI・機械学習の最新情報をお届けします!

    Lionbridge AIのブログで紹介している事例記事やトレンドニュースといったビジネスに役立つ情報はもちろん、オープンデータセット集なども合わせてメール配信しております。