概要
自動精度検証機能は質問と回答のリストを作成し、そのリストをもとに RAG の精度を評価する機能です。
自動精度検証で利用している RAG の構成については以下を参照ください。
精度検証QA追加方法
精度検証QAを自動で追加する方法（β版）
精度検証QAを自動で追加する機能は一部の 「Trial」「Engine Tool Professional」「RAG Engine Tool
Enterprise」プランの方 に対してのみ提供しています。
利用をご希望の方は、弊社担当者までお問い合わせください。
※β版でのテスト提供のため、正式リリース時はオプションメニューとして有償提供に変更する可能性があります
精度検証QAを自動で追加します。
精度検証画面アクセス時、または精度検証画面の 3 点ドットをクリックし、「精度検証 QA を自動生成」を選択します。
ボタンを押したあとは、自動で処理状態を取得します。完了までお待ちください。
「精度検証 QA を自動生成」を押すたびに、プロジェクトに登録されているチャンクをもとに10質問がつくられます。
使用上の注意
- 対象のチャンクはランダムに選択されます。
- すでに質問が紐づけられているチャンクに対して、自動生成は行われません。
- 紐づけられていないチャンクが10チャンクに満たない場合、対象のチャンク数まで生成を行います。
- 自動生成に使用するチャンクが1件もなかった場合はエラーとなります。
精度検証QAを 1 件ずつ追加する方法
精度検証QAを1ずつ手作業で追加します。
精度検証画面アクセス時、または精度検証画面の 3 点ドットをクリックし、「精度検証 QA を登録」を選択します。
「精度検証 QA を登録」のポップアップが表示されるので、「質問」と「模範解答」を入力します。
入力後に「保存」をクリックすれば、精度検証の精度検証のQAを追加することができます。
精度検証QAを CSV ファイルでインポートする方法
精度検証QAを CSV ファイルで追加します。
複数データをまとめて登録したい場合に、CSV ファイルインポート機能を活用します。
精度検証画面の 3 点ドットをクリックし、「CSV インポート」を選択します。
「CSV フォーマットはこちら」のリンクをクリックします。
qa-format.csv がダウンロードされます。
qa-format.csv は下記のようなフォーマットになっています。
ヘッダーの「question,answer」は編集せずに 2 行目以降（question1, answer1）を編集して下さい。
下記は qa-format.csv の設定例です。フォーマットの question に「質問」を設定し、answer に「模範解答」を設定します。
フォーマットの CSV ファイルを編集後に、TASUKI にインポートします。
「CSV インポート」のポップアップに CSV ファイルをアップロードします。
「アップロードしたファイルに個人情報が含まれていないことを確認しました」に同意したら、チェックを入れます。
「インポート」をクリックすると、CSV ファイルがインポートされます。
CSV ファイルでインポートで失敗したときの対応方法
CSV ファイルインポートが失敗した場合は、CSV ファイルのフォーマットに誤りがないかを見直して下さい。
フォーマットに誤りがないことを確認後、再度 CSV ファイルをインポートして下さい。
インポートエラーが解消されなければ、TASUKI の TOP 画面に問い合わせフォームがあるのでお問い合わせ下さい。
「質問」と「模範解答」にチャンクを紐づける方法
「精度検証 QA を登録」のポップアップから「＋ チャンクを紐づける」をクリックします。
アップロードしているファイルを選択し、紐づけたいチャンクをページごとに 3 件まで選択できます。
紐づけたいチャンク（ファイルのページ）にチェックを入れたら、「紐づける」をクリックします。
「精度検証 QA を登録」の「保存」をクリックします。
「質問」と「模範解答」にチャンクを紐づけが完了です。
精度検証を実行する方法
精度検証QAを登録したら、精度検証を実行します。
ユーザーが登録した「質問」に対して AI が回答するので、AI の回答とユーザーが登録した「模範解答」が類似しているかを評価します。
精度検証を実行するためにいくつかの実行方法を下記で紹介します。
AI の計算処理の関係上、1 質問あたりの判定に 30 秒から 1 数分ほどかかる場合があります。
RAG の回答が期待する回答でない場合、編集したチャンクの情報が反映されていない場合があります。以下の手順で、チャンクの編集を RAG に反映させてください。
全件実行する方法
登録した精度検証QAを全て実行することができます。
登録した精度検証QAを全て実行する場合は、「全件実行」をクリックします。
更新ボタン（全て検証ボタンの左）をクリックして、画面を定期的に更新しながら結果を取得します。
精度検証の結果が NG のみ実行する方法
精度検証の結果が NG となった精度検証QAのみに絞って実行することができます。
「質問」に対して、AI の回答と「模範解答」が相違する場合があります。
その場合は、精度検証の結果が NG になります。
NG になった場合、AI の回答が間違っているチャンクの内容を確認して、修正が必要であれば修正をします。
合わせて、「質問」に対して「模範解答」が誤っていないことを確認をします。
チャンクや「模範解答」を修正した後に再度、「NG 項目のみ検証」をクリックします。
NG 判定の精度検証QAのみ精度検証が実行されます。
選択した精度検証のみ実行する方法
選択した対象の精度検証QAのみ実行することができます。
「質問」の左にチェックボックスがあります。
精度検証を実行したいQAのチェックボックスにチェックを入力します。
「選択項目のみ検証」をクリックします。
精度検証の結果を見る方法
「結果」に精度検証の結果が表示されます。
「質問」に対して、AI の回答と「模範解答」の内容が一致していれば「結果」が OK になります。
内容が一致していなければ「結果」が NG になります。
データを CSV ファイルにエクスポートする方法
精度検証のトップ画面で3点リーダをクリックし、CSVエクスポートをクリックします。
エクスポートした内容には、以下の項目が含まれます
- 質問
- 模範回答
- RAGの回答
- 判定結果
- RAG引用したチャンク名_1～3
- 紐づけたチャンク名_1～3
編集画面に移動する手順
「質問」、「模範解答」を編集したい場合は、精度検証QAごとの編集画面に移動します。
「精度検証 QA 」の行を選択します。
精度検証 QA ごとの「精度検証」画面に遷移するので、「編集」をクリックします。
「精度検証 QA を更新」ポップアップが表示されるので、「質問」や「模範解答」を編集することができます。
編集が完了したら「更新」をクリックします。
「質問」、「模範解答」の更新が完了です。
結果が「NG」となった精度検証QAの質問/模範解答、チャンクを編集する方法
結果が「NG」となった精度検証QAの「質問」/「模範解答」を編集したい場合、結果が「NG」の精度検証QAを選択します。
「精度検証」画面で「設定した精度検証 QA」の「編集」をクリックします。
「精度検証 QA を更新」ポップアップで、「質問」か「模範解答」を編集します。
編集が完了したら、「更新」をクリックします。
変更箇所の内容が反映されるので、「回答精度を検証」ボタンをクリックします。
「判定結果」のみ確認したいのであれば、「精度検証」画面でも「判定結果」を確認できます。
「判定結果」と「RAG 回答結果」を確認したいのであれば、「精度検証」画面で確認できます。
結果が「NG」となった精度検証QAのチャンクを編集したい場合、結果が「NG」の精度検証QAを選択します。
「精度検証」画面で「模範解答」のチャンクか「RAG の回答結果」のチャンクをクリックします。
チャンクの内容が表示されるので、右上の「編集」リンクをクリックします。
選択したチャンクの「テキスト構造化」画面が表示されるので、テキストエリアに表示されているテキストを編集します。
編集したら「保存」アイコンをクリックし、「精度検証画面に戻る」ボタンをクリックします。
「精度検証」画面に戻るので、結果が「NG」となった精度検証QAの検証を実行すれば、編集した内容で精度検証を行えます。
チャンクの改善方法に悩んだ場合は、以下のページの「チャンク作成補助機能」をご利用ください。
精度検証を実行し「結果」が「ERROR」となった場合は、時間を少しおいて再度精度検証を実行して下さい。
それでも、エラーが解消されない場合は、TASUKI へお問い合わせ下さい。
精度検証QA 削除方法
精度検証QAを選択して削除する方法
選択した対象の精度検証QAを削除できます。「質問」の左にチェックボックスがあります。
削除したい精度検証QAのチェックボックスにチェックを入力します。 「削除」アイコンをクリックします。
ポップアップ内の「OK」ボタンをクリックします。
チャンク編集画面での精度検証QA
精度検証QAを実行
チャンク編集画面でも、精度検証QAを実行することが可能です。
「チャンクに紐付けられた精度検証QA」のパネルに、選択中のチャンクに紐付けられているQAの一覧が表示されます。
QAの設定で、「参照するチャンク」に選択中のチャンクが設定されている場合に紐付けられているQAが表示されます。
QAをクリックすると、「精度検証QA詳細」セクションが表示されます。
「検証」ボタンをクリックすることで、精度検証を実行できます。
精度検証QAを編集
チャンク編集画面でも、QAを編集することが可能です。
QAを他のチャンクにも紐付けたい場合は、「+チャンクを紐づける」ボタンより、紐づけることが可能です。
「編集内容を保存」ボタンで変更内容を保存します。また、QAを削除したい場合は「削除」ボタンより削除することが可能です。
画面右上の「x」ボタンあるいは、画面左上の「ビューワーを開く」ボタンで、「精度検証QA詳細」を閉じることができます。その際、編集途中の変更内容は保存されます。
ただし、ページ送り、あるいは他のチャンクを選択した場合、変更内容は保存されずに他のQAに遷移します。
精度検証QAを自動生成（β版）
精度検証QAを自動で追加する機能は一部の 「Trial」「Engine Tool Professional」「RAG Engine Tool
Enterprise」プランの方 に対してのみ提供しています。
利用をご希望の方は、弊社担当者までお問い合わせください。
※β版でのテスト提供のため、正式リリース時はオプションメニューとして有償提供に変更する可能性があります
チャンク編集画面でも、精度検証QAを自動生成することが可能です。
チャンク編集画面右下の「+ QAを登録」ボタン➡︎「自動生成」より、精度検証QAを自動生成することができます。
自動生成には、30秒 ~ 最大1分程度時間がかかります。
また、自動生成を処理中のチャンクでは、新たに自動生成を行うことはできません。 自動生成の処理が完了した、あるいは処理中のチャンクでなければ、並行して自動生成を実行することができます。
精度検証QAを新規追加
チャンク編集画面でも、精度検証QAを作成することが可能です。
チャンク編集画面右下の「+ QAを登録」ボタン➡︎「新規登録」より、精度検証QAを新規追加することができます。
登録後、登録したQAの「精度検証QA詳細」セクションに遷移します。
新規登録では、「参照するチャンク」は選択中のチャンクが、デフォルトで選択されています。
QAを他のチャンクにも紐付けたい場合は、登録を行い「精度検証QA詳細」セクションの「+チャンクを紐づける」で紐づけを行うか、あるいは、次項の「チャンクにQAを一括で紐づける」でQAの紐付けを行うことができます。
チャンクにQAを一括で紐づける
チャンク編集画面で、チャンクにQAを一括で紐づけることができます。
「+ QAを登録」ボタン➡︎「QA一覧から紐づけ」ボタンで、「QAを登録 | QA一覧から紐付け」セクションを開きます。
選択中のチャンクに紐付けたいQAを選択し、「登録」することで一括で紐づけることができます。
既に3つ以上のチャンクに紐づけているQAは、紐付け対象のチャンクとして選択不可です。
