AI開発の試しの段階の進め方｜正解つきの見本50件で本番に進むかを決める

この記事では、AI開発を外注する前の頼み方｜見積がぶれない7つの項目をA4で1枚にの「試しの段階は、見本50件で当たる割合を測る」を、実際に進める手順として説明します。

一言でいうと、担当が、正しい答えが分かっている見本50件と、本番に進むための合格線をそろえる。開発会社の試作の仕組みが50件を処理する。担当が、項目ごとに当たる割合を表で数える。社長が、本番に進む、範囲を狭めて進む、止める、のどれかを決める。合格線は試す前に決めるという形です。

経営への効果は、使えない仕組みに本開発の費用を払わないこと

AIを使った仕組みは、作ってみないと、どれだけ正しく動くかが分かりません。いきなり本開発を頼むと、できあがってから「思ったより間違いが多い」と分かり、費用と時間が無駄になります。

試しの段階を置けば、少ない費用で使えるかどうかを確かめられます。使えると分かってから本開発に進めば、作り直しの心配が減ります。使えないと分かれば、そこで止めればよいのです。止めることは失敗ではなく、大きな費用を払う前に分かったという成果です。

AIの開発は、段階に分けて進めるのが基本

モノリス法律事務所の解説によると、経済産業省の「AI・データの利用に関する契約ガイドライン」では、AIの開発を、アセスメント（できそうかを見る）、PoC（試しに作って確かめる）、開発、追加学習（動かしながら良くする）の段階に分け、段階ごとに契約を結ぶ「探索的段階型」の考え方が示されています。同じ解説は、要件を最初に全部決めてから作る従来のやり方は、AIの開発には当てはまらないと指摘しています。

ASCII STARTUP の記事によると、特許庁と経済産業省が公開しているモデル契約書（AI編）には、PoC契約書の例も含まれています。試しの段階を別の契約にしておくと、使えなかったときに止めやすくなります。細かな契約の形は、専門家に確かめてください。

今は、「何割当たればよいか」を決めずに試している

試しの段階を頼んでも、何を確かめれば合格かを決めていないことがあります。試したあとで「8割うまくいきました」と言われても、それで十分なのかが判断できません。全体の割合だけでは、どの項目を人が確かめればよいかも分かりません。

見本も、開発会社に任せると、ふだんの業務とは違う、きれいな例ばかりになりがちです。自社の実際の業務から、例外も含めて選ぶことが大事です。

そろえ、試し、数え、決める

1 そろえる（担当）。 過去の実際の業務から50件を選び、それぞれの正しい答えを表にします。合格線も決めます。

2 試す（試作の仕組み）。 開発会社が作った試作の仕組みに、50件を処理させます。正解の表を開発会社に渡すかどうかは、先に決めておきます。

3 数える（担当）。 仕組みの答えと正解の表を並べ、項目ごとに当たった件数を数えます。

4 決める（社長）。 合格線と比べて、本番に進む、範囲を狭めて進む、止める、のどれかを決めます。

見本50件は、ふだんの案件と例外を混ぜて選ぶ

例外の案件は、ふだんの業務で人が直していた所です。手で試しながら例外を集める方法は、AIの仕組み化は例外集めから｜手で試した4週間で、作る前に分かることで説明しています。50件それぞれについて、項目ごとの正しい答え（品名、数量、納期など）を表にしておきます。

合格線は、項目ごとに、試す前に決める

合格線は、試したあとではなく、試す前に決めます。あとから決めると、結果を見て線が甘くなったり厳しくなったりします。

• 項目ごとに決める。 「品名は9割以上、数量は9割以上、納期は8割以上」のように、項目ごとに線を引きます
• 外れたときに印が付くかも見る。 当たる割合だけでなく、自信のない答えに印が付くかを見ます。印が付けば、人がその行だけ確かめれば済みます
• 人の手で確かめる所を前提にする。 全部を当てる必要はありません。どこを人が確かめるかを決めたうえで、線を引きます

数字は会社と業務によって違います。上の数字は線の引き方の例です。

数えるのは、表で行う

仕組みの答えと正解の表を並べ、項目ごとに当たったかを1か0で表に書き、合計を出します。数えるのは表計算の式で行い、AIに割合を出させません。

（数字はすべて仮定です。）外れた行は、ふだんの案件か、例外か、迷う案件かも分けて数えます。例外で外れているなら、例外を人に回す設計にすれば使える、という判断ができます。

進む・狭める・止めるを、社長が決める

• 進む。 全部の項目が合格線を超え、外れた行に印が付くなら、本開発に進みます
• 範囲を狭めて進む。 一部の項目や例外の案件で届かないなら、その部分は人の手に残し、届いた部分だけを本開発にします
• 止める。 大事な項目で大きく届かず、印も付かないなら、ここで止めます。手で頼むやり方を続けるのも一つの判断です

決めた理由は、1枚にまとめて残しておきます。半年後に別の開発会社に相談するときにも役に立ちます。

開発会社に頼む前に、自社のチャットで試しておく

試しの段階を開発会社に頼む前に、同じ50件を、会社で契約したAIのチャットに手で頼んで試しておくこともできます。

• 同じ指示と見本で頼む。 開発会社に渡す予定の指示と見本で、チャットに50件を1件ずつ、または数件ずつ頼みます
• 同じ表で数える。 正解の表と並べて、項目ごとに当たった件数を数えます
• 開発会社の結果と比べる。 チャットで手で頼んだ結果と、試作の仕組みの結果を並べると、仕組みにする意味がどれだけあるかが見えます

チャットで手で頼んで十分に当たるなら、仕組みにせず、頼み方の見本とスキルで回すほうが安く済むこともあります。

開発会社には、外れた理由を説明してもらう

数え終わったら、外れた行について、開発会社に理由を説明してもらいます。

• 外れた行の一覧を渡す。 項目と、仕組みの答えと、正しい答えを並べた一覧を渡します
• 直せる外れか、直せない外れかを聞く。 指示や見本を変えれば直せるのか、そもそも難しいのかを分けてもらいます
• 直したあとの見込みを聞く。 直せる外れなら、直したあとにもう一度試す時間と費用を聞きます

説明を聞いてから、進む・狭める・止めるを決めます。直したあとにもう一度試すときも、同じ50件と同じ合格線を使います。

型をスキルにし、合否の判断はAIの外に置く

型を Skills にまとめる。 Skills（スキル）は、AIに渡す手順書・見本・道具を1つにまとめたものです。頼まれた内容に合うときにAIが自動で読み込むので、毎回同じ説明をしなくても、AIの働きが安定します。本開発に進むなら、試しの段階で分かった例外と確かめる所を、仕組みの指示書やスキルに入れてもらいます。指示書を自社で持てる作りにしておくと、あとで直せます。

合否の判断は、AIの外に置く。 AIそのもの以外の、指示・道具・点検の仕組みを設計することを、ハーネスエンジニアリングと呼ぶことがあります。ここでは、合格線を試す前に決めること、当たった件数を表の式で数えること、進むか止めるかを社長が決めること、印の付いた行を人が確かめる設計にすることがそれに当たります。

費用は、開発会社の試しの段階の見積と、社内の時間

必要な人は3役で、決めるのは社長

• 担当：見本50件と正解の表を作り、結果を数える
• 開発会社：試作の仕組みを作り、50件を処理する。外れた行の理由を説明する
• 社長：合格線を決め、結果を見て進む・狭める・止めるを決める

2〜4週間で、本開発に進むかが決まる見込み

1. 1週目：見本50件を選び、正解の表を作り、合格線を決める
2. 2〜3週目：開発会社が試作の仕組みで50件を処理する
3. 3〜4週目：担当が結果を数え、外れた行を分けて数える
4. 4週目の終わり：社長が進む・狭める・止めるを決め、理由を1枚に残す

まとめ

• AIを使った仕組みは、本開発の前に試しの段階を置き、別の契約にする
• 見本は自社の実際の業務から50件、ふだんの案件と例外と迷う案件を混ぜて選ぶ
• 合格線は、項目ごとに、試す前に決める
• 当たった件数は表の式で数え、外れた行は例外かどうかで分ける
• 社長が、進む・範囲を狭めて進む・止める、のどれかを決め、理由を残す