AIの試作品・デモはどう評価する？試す入力と使えるかを決める基準

1．デモの前に「何ができればよいか」を書き出す

試作品を見ながら評価の基準を足していくと、何を確かめたかったのかが曖昧になります。まず対象の仕事を絞り、入力から何を取り出し、どんな形で返せればよいかを書き出します。見た目の整い方より、担当者が次の作業に進める内容かを基準にすると整理しやすくなります。

正解には、内容を埋めることだけでなく、埋めずに確認を求めることも含めます。たとえば、元の資料にない情報は空欄に戻す、判断が分かれる内容は保留する、といった扱いです。文章の言い回しの違いと、相手先や数量の取り違えも分けて考えます。どこまでを人の修正で扱い、どんな誤りが残る間は利用を見送るのか、評価する担当者同士で揃えておきます。

公正取引委員会の「スタートアップとの事業連携及びスタートアップへの出資に関する指針」は、スタートアップとの事業連携の契約の説明の中で、PoCを、本格的な共同研究開発に進めるかを判断するための検証行為と位置づけています（確認日：2026-11-03）。

この指針はスタートアップとの事業連携を扱うもので、小さな会社が外部から試作品の提案を受けたときの評価の基準を定めたものではありません。ここで提案するのは、試作品が担える仕事の範囲を判断するための当社の整理です。デモで動いたという感想と、自社の担当者が確認しながら扱えるという判断を分けて残します。

2．普通の入力と、不備のある入力を並べて試す

下の表は、試す入力の一覧と判断基準をまとめて残すための記入例です。公的機関が定めた合格基準ではありません。

表の見本をそのまま使うのではなく、対象の仕事で起こり得る不備に置き換えます。桁違いを確認する範囲や、空欄を許容する項目も自社で記入する部分です。自動で気づける項目と、人が元の資料を見て気づく項目は分けて記録します。

初めは不備の種類を分けて試し、原因を追いやすくします。その後、空欄と表記の誤りが重なるような入力も対象に含めます。提供側が用意した見本に加え、自社が選んだ入力でも同じ観点を確かめる流れです。

3．同じ入力でも確かめ、結果と変更を残す

入力を変えて試すことと、同じ入力で出力を見直すことを、評価の予定に含めます。

AIセーフティ・インスティテュートの評価観点ガイドでは、同じデータを繰り返し入力した際に出力の一貫性があるかを、評価項目の例に挙げています（確認日：2026-11-03）。

当社の整理では、表現が変わったかより、取り出した項目や確認待ちに戻す判断が変わったかを見ます。違いが出た入力は、どの出力を担当者が採用できるか、その理由とともに残します。都合のよい回答だけを選んで記録する形は避けます。

記録には、表の判定に加え、試したときの指示文と設定の控えも添えます。画面を撮るだけで済ませず、入力と出力の対応が後からたどれる形にする考え方です。

対象の仕事：
試した入力の控え：
期待する出力・確認待ちに戻す内容：
実際の出力の控え：
誤りに気づけた場所と方法：
確認した担当者：
判定と理由：
使った指示文・設定の控え：
修正した点と、再評価する入力：

直した後は、問題の出た入力と、以前は期待どおりだった入力を見直します。修正した箇所だけでなく、他の処理に影響していないかも同じ記録で確認できるようにします。

4．正答の割合に、誤りを見つけるまでの流れを添える

全体として合っている出力が多くても、誤りの内容と、その後の扱いを分けて見ます。

IPAの中核人材育成プログラムの成果物であるテキスト生成AIの導入・運用ガイドラインにも、ベンチマークの結果を過信しないという注意点が示されています（確認日：2026-11-03）。

ここで当社が確かめる点は、出力を見た担当者が、どこを元の資料と照合すればよいか分かるかです。確認対象の表示があっても、どの入力に対応するか追えなければ、担当者は資料を探し直すことになります。確認の目印、元の資料、修正する場所を続けてたどれるかを見ます。

また、「誤りがなかった」と「誤りを見つけられなかった」は分けて記録します。正解の控えと照らしてから、確認の目印で拾えた誤り、担当者が拾った誤り、見落とした誤りを整理する方法です。確認対象が多すぎて処理しきれない点も、残る課題に含めます。

誤りを見つけた後に処理を止められるか、誰へ差し戻すか、修正後の出力を誰が確認するかまでが評価の範囲です。回答が整うことに加え、確認と差し戻しを含めて仕事が回るかを判断します。

5．引き渡しは、自社の担当者が操作するところまで

説明を聞いたことと、担当者が手順に沿って動かせることを分けて確かめます。

引き渡し時には、評価に使った指示文、設定の控え、操作手順、扱えない入力と残る課題を揃えます。提供側に画面を操作してもらうだけで終えず、自社の担当者が資料を見ながら、入力、出力の確認、差し戻しをたどる流れを設けます。

直せる範囲も操作で確かめる対象です。指示文の文言や確認対象の扱いを変える場所、担当者が触れない設定、変更を依頼する窓口を区別します。変更前の控えと、変更後に見直す入力を残すところまで、手順に含めておくとよいです。

最後は、表の判定と残った課題をもとに、扱う入力を限定して進めるか、修正して再評価するか、利用を保留するかを決めます。「使える」という言葉だけで終えず、対象の仕事、担当者の確認、扱わない入力を添えて残すことが判断の中心です。

6．確認表

公開・共有の前に、この表で確かめます。

7．自社の事務の手順まで形にしたいとき

ここまでの確認を、自社の事務の手順書や、AIの結果を確かめる検査まで形にしたい場合は、当社のように、手順と検査の設計まで行う相談先が選択肢になります。オンラインは全国から対応しています。

自社の事務のどこから確認を入れるかを相談したい場合は、30分の無料相談をご利用ください。法律・税務・労務の判断や、効果の約束は行いません。