AIの効果はどう測る？｜1か月の試しで時間と直しの数を数える

この記事では、AIは何の業務から始める？｜時間×回数×間違いの影響で1つ選ぶの「選んだ業務は、1か月試して、減った時間を数える」を、実際に測って判断する方法を説明します。

一言でいうと、担当者が試す前の1週間、1件ごとにかかった時間を記録する。4週間、AIの下書きを使いながら、時間と直した箇所の数を同じ表に記録する。最後の1週間の数字を表で計算して試す前と比べ、AIが社長向けのメモを下書きする。社長が、続けるか、頼み方を直すか、やめるかを決めるという形です。

1件あたりの時間と、直した箇所の数を一緒に測る

AIを試した効果は、「便利になった気がする」では判断できません。測るのは次の2つです。

• 1件あたりの時間：その業務の1件を始めてから終えるまでの時間。AIの下書きを使った場合は、頼む時間と、確かめて直す時間も含めます
• 直した箇所の数：AIの下書きを担当者が直した箇所の数。多いほど、頼み方や材料に問題があります

時間だけを見ると、下書きが雑なのに急いで出してしまうことがあります。直した箇所の数を一緒に見ることで、出来を落とさずに時間が減ったかを確かめられます。お客さまや社内からの差し戻しの数も、分かれば記録します。

今は、試す前の時間を測らずに始めてしまう

AIを試すとき、よくあるのは、始める前の時間を測らずに使い始めることです。1か月後に「速くなった気がする」と感じても、比べる元の数字がないので、効果を説明できません。社長は続ける費用を払うかを決められず、担当者も頼み方を直す手がかりがありません。

始める前の1週間を測るだけで、この問題は防げます。

前を測り、試し、表で比べ、社長が決める

1 前を測る（担当者）。 試す前の1週間、その業務の1件ごとに、始めた時刻と終えた時刻を記録します。

2 試す（担当者とAI）。 4週間、AIの下書きを使います。1件ごとに、かかった時間と、直した箇所の数を記録します。最初の1〜2週間は慣れの期間なので、時間が長くなることもあります。

3 比べる（表とAI）。 最後の1週間の数字を、試す前の1週間と比べます。平均の時間と、直した箇所の数は、表の計算式で出します。AIには、表の数字から社長が読むメモを下書きしてもらいます。

4 決める（社長）。 社長がメモを読み、続けるか、頼み方を直すか、やめるかを決めます。続けるなら、次の業務も同じ表で試します。

記録の表と、計算の例はこうなる

記録の表の列（見本）：

計算の例です（数字はすべて仮定です）。見積書の作成で、試す前の1週間は1件平均30分、最後の1週間は1件平均18分でした。月に40件あるとすると、1か月で減る時間は（30分−18分）×40件で480分、つまり8時間です。1時間2,500円で計算すると、月に2万円分の時間です。直した箇所の数が週を追うごとに減っていれば、頼み方が固まってきたと分かります。

AIに渡す指示（見本。内容は架空です）：

下は、見積書の作成について、AIを試す前の1週間と、試した最後の1週間の記録の表と、表で計算した平均の時間と直した箇所の数です。社長が5分で読めるメモを下書きしてください。計算はし直さず、表の数字をそのまま使ってください。時間の変化、直した箇所の数の変化、メモの欄に多く出てきた気づき、頼み方を直すとよさそうな点を書いてください。続けるかどうかの結論は書かないでください。

記録は、1件数十秒で終わる形にする

記録が面倒だと、忙しい日から書かれなくなります。続けるために、次の工夫をします。

• 時刻だけを書く。 分の計算は表に任せ、担当者は始めた時刻と終えた時刻だけを書きます
• 紙1枚かスマホの表1つにまとめる。 業務の机の上か、いつも開いている画面に置きます
• 直した箇所は正の字で数える。 下書きを直すたびに印を付け、最後に数を書きます
• 毎日の終わりに5分で見直す。 書き忘れた件を、その日のうちに埋めます

記録は1か月だけと決めておくと、担当者も続けやすくなります。続けると決めた業務は、その後は月に1週間だけ測れば十分です。

続けるか、直すか、やめるかの目安を先に決めておく

判断に迷わないよう、試す前に目安を決めておきます。目安は会社ごとに決めてかまいません。たとえば次のような形です。

• 続ける：1件あたりの時間が減り、直した箇所の数も週を追うごとに減っている
• 頼み方を直して、もう1か月試す：時間は減ったが、直した箇所が多いまま。材料や見本を足して頼み方を直します
• やめる、または別の業務に移る：時間が減らない、または差し戻しが増えた

やめることも、失敗ではありません。その業務がAIに向かないと分かったことが、次の業務を選ぶ材料になります。

記録の型をスキルにし、決める判断はAIの外に置く

記録の型を Skills にまとめる。 Skills（スキル）は、AIに渡す手順書・見本・道具を1つにまとめたものです。頼まれた内容に合うときにAIが自動で読み込むので、毎回同じ説明をしなくても、AIの働きが安定します。ここでは、「記録の表の列」「比べのメモの型（時間の変化、直しの変化、気づき、直すとよい点）」「書いてはいけないこと（計算のし直し、続けるかの結論、担当者の評価）」をスキルにします。次の業務を試すときも、同じスキルで比べられます。

決める判断は、AIの外に置く。 AIそのもの以外の、指示・道具・点検の仕組みを設計することを、ハーネスエンジニアリングと呼ぶことがあります。ここでは、平均の時間と直しの数を表の計算式で出すこと、判断の目安を試す前に社長が決めること、続けるかを社長が決めることがそれに当たります。

社長の仕事は、目安を決め、メモを読み、決めること

社長がすることは、次の3つです。

• 試す前に目安を決める。 続ける、直す、やめるの目安を決めて、担当者に伝えます
• 記録の目的を伝える。 記録は、AIの効果を測るためで、担当者の評価には使わないと伝えます
• 1か月後に決める。 メモを読み、担当者の話も聞いて、続けるか、直すか、やめるかを決めます

経営への効果は、AIへの支出を数字で判断できること

• 続ける費用を払うかを決められる。 減った時間をお金に直して、AIの費用と比べられます
• 頼み方を直す手がかりが分かる。 直した箇所の数とメモから、どこを直せばよいかが分かります
• 次の業務に同じ物差しを使える。 同じ表で試していけば、業務ごとの効果を並べて比べられます

費用の元が取れるかの考え方は、中小企業のAI導入費用はいくら？3つの内訳と元が取れるかの計算式にまとめています。

費用はAIの利用料が1回数円で、大半は記録の手間

必要な人は2役で、決めるのは社長

• 担当者：試す前と試す間の記録を付け、メモの欄に気づきを書く
• 社長：目安を決め、メモを読み、続けるかを決める

1か月で判断でき、3か月で2つ目の業務の結果が並ぶ見込み

1. 1週目：判断の目安を決め、試す前の1週間を測る
2. 2〜5週目：AIの下書きを使いながら記録する
3. 6週目の初め：最後の1週間と比べ、社長が決める
4. 2〜3か月目：続けるなら次の業務を同じ表で試し、2つの業務の結果を並べる

業務を2つ、3つと試していくと、自社でAIが効きやすい業務の傾向が見えてきます。

慣れの期間で比べると、効果を見誤る

よくある失敗は次の3つです。

• 試す前を測らない。 比べる元がないので、効果を説明できません。最初の1週間は必ず測ります
• 最初の週で比べる。 慣れていない最初の週は、時間が長くなることがあります。最後の1週間で比べます
• 時間だけを見る。 直した箇所や差し戻しを見ないと、出来が落ちたことに気づけません。時間と直しの数を、必ず並べて見ます

まとめ

• AIを試した効果は、1件あたりの時間と、直した箇所の数の2つで測る
• 試す前の1週間を必ず測り、4週間試して、最後の1週間と同じ表で比べる
• 平均の時間と直しの数は表で計算し、AIは比べのメモを下書きする。続けるかの結論はAIに書かせない
• 続ける、頼み方を直す、やめるの目安を試す前に決め、社長が決める
• 記録は担当者の評価に使わず、次の業務も同じ表で試す