AIベンダーにアノテーション作業を外注する際の注意点

2020年07月28日

アノテーション作業を外注する際は、アノテーションの代行サービスに問い合わせる前に考慮すべき事項がたくさんあります。また、貴社のプロジェクトに最適なAI企業を選択するのが難しいと感じている方もいるかもしれません。

 

AIベンダーにアノテーション業務を外注する際の注意点

当社はアノテーションサービスを提供する企業として20年の実績と専門知識を有しているので、学習データの外注に関わる不必要な頭痛の種を取り除くことができます。品質基準からプラットフォームの検討に至るまで、アノテーション業務を外注する際に役立つ基本的なヒントを以下にまとめました。 

 

1. アノテーションツールのデモ動画やサンプルデータを参考にする

複数社のアノテーションサービスを検討されている場合、しっかりと調べることは最も基本的ながら重要なことの一つです。市場における実績を調査する必要があるのはもちろんですが、教師データを扱う企業は複数のサービスを提供していることが多いので、アノテーション能力を証明するものを見つけることが重要です。

企業サイトを閲覧し、写真やサイトデザイン、デモ動画の品質を確認しましょう。多くのAIベンダーは、サービスの内容を説明するため、スクリーンショットや動画を掲載しています。 アノテーションツールやプラットフォーム、提供しているアノテーションの種類を紹介するグラフィックや動画を探してください。見込み顧客に品質を評価してもらうため、アノテーション付きのサンプルデータを提供している企業もあります。

PRODUCT CATEGORIZATION
当社自社開発のAIプラットフォーム(画像分類機能)

 

2. データ検証方法を決定する

AIプロジェクトのニーズに基づいて、必要な代行サービスの内容を正確に定義することが重要です。事前に決めておくべき要素の一つに、アノテーションの検証方法があります。

画像分類は良い例でしょう。画像分類では、アノテーターが各画像に対して適切なアノテーションを選択します。しかし、手動による分類では、人間の先入観や偏見がデータに影響を与える可能性があるので、これに対処するため複数の検証方法があります。

  • シングルパス: 一人のアノテーターがアノテーションを行います。
  • ダブルブラインドテスト(二重盲検法): 二人のアノテーターが同一のデータに対して、別々にアノテーションを行います。両者のアノテーションが一致しない場合、監督者がチェックして正しいアノテーションを決定します。
  • マルチブラインドテスト: 三人以上のアノテーターが同一のデータに対して、別々にアノテーションを行います。アノテーションが一致しない場合、コンセンサスによるか、裁定によって決定するかの二つの選択肢があります。コンセンサスでは、多数決により、最も多くのアノテーターが選んだアノテーションが選択されます。裁定では、監督者が正しいアノテーションを決定します。

AIベンダーによって用語が異なる場合がありますが、これらがデータ入力とアノテーションで利用される標準的なシステムです。厳密な検証を行うのは時間がかかるだけでなく、追加費用が必要な場合もあります。AIプロジェクトと外注費の予算に適した検証方法を選択するようにしましょう。

 

3. AIベンダーの品質基準にこだわる

検証方法とは別に品質基準を明確に示す必要があります。多くのAIベンダーは「正確な」学習データを提供すると銘打っていますが、貴社のAIプロジェクトにとって「正確」とはどのようなものでしょうか? 

例えば、バウンディングボックスや直方体、ポリゴンのアノテーションは、どれくらい正確に描く必要がありますか。物体のエッジを拡大し、ピクセル単位でアノテーションを調節する必要があるAIプロジェクトから、誤差の範囲が許されるプロジェクトまで様々です。データ全体の精度についても同様で、データに100%の精度を求めるお客様もいれば、90%の精度を許容する方もいます。

重要なのは、外注先企業に相談する前に、これらの点を明確に定めたガイドラインを作成することです。正しいアノテーションと誤ったアノテーションの例をAIベンダーに提示し、必要なファイル形式やバッチ処理法、実装したい品質管理システムについて説明してください。提供する情報が多いほど、最終製品の質が良くなります。 

 

AIベンダーにトライアルを依頼する

ガイドラインが理解されたかどうかを確認する最も良い方法は、トライアルを依頼することです。当社は無料でトライアルを提供しておりますが、少額の費用がかかる場合もあります。 トライアルを通じて、ワークフローやアノテーション業務の速さ、品質などが確認できます。たとえ費用がかかる場合でも、全てのAIプロジェクトを任せてしまう前にAIベンダーのワークフローや品質水準を判断できるので、トライアルを行う価値があるでしょう。 

 

4. どのようなアノテーターが作業を行うのかを調査する

教師データを扱う企業はそれぞれ、独自のワークフローやビジネスモデル、人材調達システムを持っています。専門分野で使用するデータにアノテーションをつける場合、どのようなアノテーターがAIプロジェクトに携わるのかが重要です。 

  • 常駐のアノテーターがアノテーションを行うのか、在宅勤務のアノテーターに発注するのか、それとも両方が含まれるのか
  • アノテーターの訓練はどのように行われているのか?特定の資格基準があるのか

外注先を決める際には、各企業にこのような点を質問する必要があります。 

 

専門アノテーター

専門知識を必要としないアノテーション業務もありますが、医療でCTスキャンで病変や腫瘍のアノテーションを付ける場合などは、この限りではありません。アノテーションを行う際に特定の分野の専門家が必要な場合、専門アノテーターを調達するリソースを持っている企業かどうか確認しなければなりません。

 

5. AIベンダーのアノテーションツールにもこだわる

AIベンダーが独自のアノテーションツールを持っているかどうかも考慮すべき重要な要素の一つです。当社はツール料金を請求していませんが、企業によってはツールの使用に追加料金がかかる場合もあります。 

企業独自のツールでアノテーションを行うことには多くのメリットがあります。まず、その企業がツールを所有しているので、AIプロジェクトで特別な機能が必要になったとき、変更を加えることが可能です。クラウドソーシングを活用している企業では、アノテーターが既にそのツールの使用方法を知っているはずです。そのため、ツールについてアノテーターに追加訓練を施す必要がありません。 

一方、お客様が独自のプラットフォームを所有している場合や、第三者のツールを利用したい場合があるかもしれません。このように外部ツールでアノテーション作業を行う必要があるときは、そのツールでアノテーターを訓練するための追加費用を請求する企業もあります。見積もりを依頼する際は、ツール費用について必ずお問い合わせください。

当社のアノテーションツール

 

アノテーション作業を外注する際、アノテーションツールの提供に特化した企業があることに気づかれるかもしれません。アノテーターの人材のみを提供する企業もあります。しかし、両方を提供する企業を見つける方が、最終的にはずっと効率的です。当社はツールやアノテーターだけでなく、プロジェクト管理も行います。データとガイドラインさえ提供いただければ、あとは当社が対応します。アノテーションの外注化のご相談や見積もりは、こちらからお問い合わせください。

AI開発に肝心な学習データを提供いたします

メディア掲載結果

AI・機械学習の最新情報を配信中

Lionbridge AIのブログで紹介している事例記事やトレンドニュースといったビジネスに役立つ情報はもちろん、オープンデータセット集なども合わせてメール配信しております。