AI スコアカード

継続的なコーチングとパフォーマンスのモニタリングにより、顧客サービスの向上、顧客維持率の改善、そして従業員のモチベーション向上につながります。

AI スコアカードは、手動での作業を省き、客観的で実行可能なインサイトをもとに通話評価を自動化します。標準提供のテンプレートを活用することで、Dialpadアプリ内から即座に運用を開始できます。

スコアカードには、高度で文脈に応じた評価モデルを実現するLLM(大規模言語モデル)搭載の質問が含まれています。

以下、詳細をご参照ください。

対象ユーザー

AI スコアカードは、Dialpad Support および Dialpad Sell をご利用のアカウントで、コンタクトセンターおよびコーチングチームを対象に提供されています。

スコアカードの作成

従来型のスコアカードを作成することも、スコアカードに AI 質問を追加することもできます。AI 質問を使用すると、通話評価が自動化され、マネージャーが通話を手動で確認したり、エージェントをモニタリングしたりする時間を大幅に削減できます。

AI スコアカードを作成するには、 管理者設定を開きます。

  1. [AI スコアカード] > [スコアカードを作成] を選択します。
  2. スコアカードの名前と説明を入力します。

    すべてのスコアカードには固有の名前が必要です。

  3. スコアカードを使用できるコンタクトセンターまたはコーチングチームを選択します。

    スコアカードは、1 つまたは複数のコンタクトセンターまたはコーチングチームに適用できます

    指定がない場合、スコアカードはすべてのコンタクトセンターおよびコーチングチームに割り当てられます

  4. スコアカードの評価方法を選択します。

    - AI が評価: すべての通話が自動で AI によって評価されます

    - AI による提案: AI が通話を評価しますが、スーパーバイザーが評価を確認・提出する必要があります

    - AI オフ(手動評価): AI を使用せず、スーパーバイザーが手動で各スコアカードを確認、評価します

  5. 使用する AI 質問を選択します。
カスタム LLM 質問

AI が評価するスコアカードまたは [AI による提案] のスコアカードで新しい AI 質問を作成すると、カスタム LLM 質問として作成されます。これらの質問は、より高度な大規模言語モデル(LLM)を活用しているため、動作のためにトリガーワードやフレーズを指定する必要はありません。

Note

トリガーワードやフレーズの機能が削除されたわけではありません。これらは任意のオプション機能であり、よりターゲットを絞った検出を行うために引き続き追加できます。

カスタム LLM 質問にトリガーワードを追加した場合、Dialpad は質問の評価時に LLM モデルとトリガーワードモデルの両方を使用します。トリガーワードを追加しない場合は、LLM モデルのみで評価を行います。

書き換え提案と質問の最適化

[リライト] オプションを使用すると、カスタム LLM 質問の表現を改善し、評価精度を向上させるための提案を受けることができます。また、質問が不明確である、または改善の余地があるとシステムが検出した場合、リライトの提案が自動的に表示されることもあります。

Rewrite-AI-scorecard-question.png

質問の意味が解釈できない場合や、不明確な社内用語・略称が使用されている場合、Dialpad はスコアカード作成者に警告を表示し、公開前に質問を修正できるようにします。この警告を無視して質問を公開することも可能ですが、評価の品質が低下する可能性があります。

Note

AI がオフの場合、AI 質問は追加できません

AI 質問の文字数上限は 500 文字です。

  1. [スコアカードを作成] を選択します。
  2. 各質問を確認し、必要に応じて編集します。以下の操作が可能です:

    - 各回答に割り当てられたポイント数を変更

    - コメントフィールドを追加し、必須に設定

    - 質問のスキップを許可する (質問のスキップを許可する場合、スキップ条件の説明文として最大1,000文字まで入力可能です)

    - 特定の回答に対して自動的にスコアカード全体を不合格にする

  3. 必要に応じて質問を追加します。

    - [AI 質問を追加] :定型 AI 質問を追加する場合

    - [新しい質問を作成] :カスタム LLM 質問を作成する場合
    必須項目
    すべての質問には、次を含める必要があります:

    1. 質問のタイトル:通話を採点する際に考慮すべき質問またはステートメント
    2. 回答の種類:”はい”または”いいえ”、同意度 (リッカート)、頻度 (リッカート)、重要度 (リッカート)、尤度 (リッカート)、品質 (リッカート)
      • AI 質問は ”はい” または ”いいえ” のみ対応しています。別の回答の種類を選択すると、質問は従来型(非 AI 対応)に変わり、AI による評価は対象外となります。
      • [AI が評価] のスコアカードは “はい” または “いいえ” の回答を提供しますが、[AI による提案] のスコアカードは “はい” のみを提供します。回答が検出されない場合は、評価者が手動で評価します。
      • 回答内容は、選択した回答の種類に合わせて自動入力されますが、カスタマイズも可能です。
    3. ポイント:各回答に与えられたポイント値
  4. 任意項目
    以下のオプションを追加して、より詳細な質問を作成できます:

    - 回答に基づいてフォローアップの質問を含める:フォローアップの回答は任意であり、評価には影響しません。

    - コメントフィールドを追加 : 評価者がコメントを記入できるテキストボックスを作成します。

  • 各質問にコメントフィールドを追加でき、すべてのコメントが詳細スコアカードのエクスポートに表示されます。
  • コメントフィールドは必須または任意に設定可能です。

    - 質問のスキップを許可する: 質問を N/A (該当なし)としてマークし、エージェントの総合スコアに影響を与えずに、

    • AI 自動化を質問に追加することはできますが、AI は回答として ”N/A” を選択しません。
    • ”N/A” 回答は、スコアカード内で手動変更が必要です。
    • 現在、AI 自動化 は ”はい”/”いいえ” の回答のみをサポートしています。

    特定の回答に対して自動的にスコアカード全体を不合格にする:この機能を有効にすると、特定の回答が選択された場合にスコアカード全体が自動的に不合格になり、エージェントの評価は 0% になります。

    • スコアカード内で、複数の質問に対して自動不合格設定を適用することができます。

    - テンプレートとして保存: AI 質問を保存し、他のスコアカードで再利用できるようにします。

9. 質問の追加・編集完了後、[公開] を選択します。

10. [はい、公開します] を選択して、スコアカードの作成を完了します。

評価理由の確認

AI によって「はい/いいえ」の質問が採点されると、その判定に至った理由・文脈が表示されます。

Note

評価理由の表示は、機能有効化以降に開始された新しい通話にのみ適用されます。

採点結果の回答にカーソルを合わせると、評価理由を記載したツールチップが表示されます。

AI が適切な回答を特定できない場合は自動的に「いいえ」と判定されます。

スキップが許可されている質問でスキップが適用された場合は、その理由メッセージが表示されます。

LLM 質問作成のベストプラクティス

LLM 質問の精度は、提示するコンテキストの明確さに依存します。評価基準が具体的であるほど採点結果の精度が向上します。

  • 評価基準(何をもって「はい」「いいえ」「N/A」とするか)を明確に定義する
  • [スキップする] 欄を活用し、N/Aとすべき条件を具体的に記載する
  • 主観的・曖昧な表現を避け、客観的に観察可能な行動基準を設定する。
  • 社内略語や専門用語を使用する場合は、必ず定義を併記する。

記述例の比較

不十分な例より良い例
エージェントは予約を確認しましたか?

エージェントはアポイントメントの日時を顧客と確認しましたか?

会話中にアポイントメントや会議について触れられなかった場合は「N/A」と判定してください。

エージェントは問題を解決しましたか?

エージェントは顧客の提示した問題に対して明確な解決策、または合意された次のアクションを提供しましたか?

間違い電話、トラブルシューティング前の切断、解決を要しないやり取りの場合は「N/A」と判定してください。

複数選択の質問

複数選択の問題は手動で評価する必要があり、AI 自動スコアカードには追加できません。

[回答の種類] ドロップダウンメニューで、スコアカード作成者は [複数選択] を回答の種類として選択できます。

AI-scorecards-multiple-options-questions.png

複数選択式質問の仕組み:

  • 各選択式質問には、最大 10 個の回答オプションを含めることができます。
    • 「スキップ」オプションを含める場合、それも10 個のうちの 1 つとしてカウントされるため、追加のカスタム回答は最大 9 個まで設定できます。
  • 質問に最大スコアを設定できますが、各選択肢のスコア値を合計して満点にする必要はありません。
    • 複数選択式問題は、複数の正解を設定できるように設計され、さまざまな回答の組み合わせで満点を取得できます。
    • システムは比例スコアを計算します。その質問におけるエージェントのスコアは、正解の選択率 (最大 100%) に基づいて計算されます。

スコアに影響しないフォローアップ質問

フォローアップの質問を使用することで、スコアカード内でより明確な説明や詳細な文脈を提供できます。これらの質問はスコアには影響しませんが、主要な質問に対して補足的な説明や、より詳細なフィードバックが必要な場合に有効です。

フォローアップの質問に含まれる要素:

  • タイトル
  • 回答の種類:
    • 単一選択
    • 複数選択
    • 自由回答

スコアカードの評価方法を変更する

スコアカードが下書きモードの間は、3 つの異なる評価オプションの間で切り替えることができます。

評価タイプを変更するには:

  1. スコアカードを選択します (下書きモードである必要があります)。
  2. 現在の評価方法を選択します。
  3. ドロップダウンメニューから新しい評価方法を選択します。
  4. [確認] を選択します。

Note

評価タイプを [AI が評価] から [AI による提案] に変更した場合、スコアカードは引き続き AI 機能を使用しますが、通話中に ”はい” の回答のみを選択できるようになります。最終的な評価は、評価者が手動でする必要があります。

評価タイプを [AI が評価] から [AI オフ (手動評価)] に変更した場合、スコアカードはすべての AI 機能を失い、すべての質問に対してスーパーバイザーまたは評価者が手動で回答する必要があります。AI 質問を含むスコアカードを [AI オフ (手動評価)] に切り替えた場合でも、 [AI による提案] には再度戻すことができます。

ただし、スコアカードを [AI が評価] に戻したい場合は、すべての質問の回答種類を “はい” または “いいえ” に変更する必要があります。また、[AI オフ (手動評価)] に切り替えると削除されるため、トリガーワードやフレーズを再度追加する必要があります。

LLM 障害発生時の動作

LLM プロバイダーの障害や採点イベントの欠落を検出した場合、システムは誤ってスコア 0% が登録されるのを防止します。該当の通話データは [未提出] ステータスとして保持され、管理者が後から手動で確認・採点できます。

トリガーワード・フレーズの編集

スコアカードを使用していくうちに、いくつかのトリガーワードやフレーズを追加し忘れたことに気付くかもしれませんが、後から追加することができます。

Note

LLM 質問の導入後もトリガー単語機能は引き続きサポートされます。既存の公開済みスコアカードでそのまま利用でき、特別な更新作業は不要です。

トリガーワード・フレーズを編集するには:

  1. Dialpad 管理者設定から [AI スコアカード] を開きます。
  2. [AI 質問] タブを選択します。
  3. 質問の横にある [オプション] > [編集] を選択します。

    Edit-AI-questions.png
  4. トリガーワードやフレーズを追加/削除します。
  5. [保存] を選択します。

スコアカード設定の編集

通話方向(着信/発信/両方)および通話時間に基づく採点条件を設定できます。

Note

本設定は AI 自動スコアカードのみに適用され、支援付きスコアカードや手動スコアカードには適用されません。

設定手順:

  1. [管理者設定] > [AIスコアカード] に移動し、対象のスコアカードを選択(または新規作成)します。
  2. [設定] アイコンを選択し、以下を設定します:
    • 評価する最小長:評価対象とする最短通話時間(デフォルト:30秒、最大:99分59秒)
    • 評価する通話:
  3. - インバウンドのみ 

    - アウトバウンドのみ

    - インバウンドとアウトバウンド

  4. [保存] > [公開] を選択します。

    AI-scorecards-settings.png

スコアカードをアーカイブする

業務フローの変化などに伴い、スコアカードの内容も変わる可能性があります。使わなくなった AI スコアカードはアーカイブできます。その場合、カードのアナリティクスデータが維持されます。

スコアカードをアーカイブするには:

  1. 管理者設定から [AI スコアカード] を開きます。
  2. スコアカードの横にある [オプション] > [アーカイブ] を選択します。

    Archive-a-scorecard.png
  3. 確認ポップアップで [ はい、アーカイブします] を選択します。

Note

この操作は元に戻すことができないのでご注意ください。

アーカイブ済みスコアカードの確認

アーカイブされたスコアカードは、 [アーカイブ済み] フィルターを使用していつでも表示できます。

Archived-scorecards.png

スコアカードを複製する

AI スコアカードを複製するには:

  1. 管理者設定から [AI スコアカード] を開きます。
  2. スコアカードの横にある [オプション] > [複製] を選択します。

    Duplicate-a-scorecard.png
  3. スコアカードを確認し、 [公開] を選択します。
  4. 確認ポップアップで [はい、公開します] を選択します。

FAQ

LLM 質問はすべてのユーザーが利用できますか?

AI スコアカードは Dialpad Support Premium および Sell Premium のご契約者様が対象です。

トリガー単語やフレーズは必須ですか?

いいえ。カスタム LLM 質問ではオプションです。特定の言い回しをピンポイントで検出したい場合のみご活用ください。

LLM 質問を使用しない既存のスコアカードはどうなりますか?

既存のスコアカードおよびトリガー単語はそのまま機能します。一から作成し直すことなく、向上した LLM モデルの精度向上処理が適用されます。

判定が困難な場合、モデルはどう挙動しますか?

基準が曖昧な場合、モデルは「いいえ」と判定します。明確な質問文を使用し、適切な場合は [スキップする] の詳細を含めてください。

設定時に不適切な構文や曖昧な条件が検知された場合、警告メッセージが表示されます。

文字数制限はありますか?

AI 質問は最大 500 文字、[スキップする] の説明文は最大 1000 文字です。

この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています