試用期間で何を確かめるか — デモでは分からないこと

デモで分かること・分からないこと

開始前にこれを書いておく。書かずに始めると、期限が来たときに「なんとなく良さそう」で判断することになる。

• 1. 検証する業務を1つ決める（複数だと薄くなる）
• 2. 使う実データを決める（サンプルではなく本番のもの）
• 3. 採用の基準を数値で決める（例：1件15分→5分になれば採用）

自社の実データで試す

最も重要な項目である。一般的な題材での精度は、どの製品もそれなりに高い。差が出るのは、自社の固有名詞、業界用語、文書の形式を含むデータである。

機密の懸念がある場合は、固有名詞を置き換えたデータで試す。それでも、文書の構造と専門用語は残るので、サンプルデータより参考になる。

時間を測る

「速くなった気がする」では判断できない。同じ作業を従来の方法で3件、新しいツールで3件やって、時間を記録する。

確認と修正の時間を含めることを忘れない。生成は速いが修正に時間がかかる場合、合計では変わらないことがある。

使う人に触らせる

検討する人と使う人が違う場合、実際に使う人が試す。決裁者が試して良いと判断したものが、現場で使われないという失敗が最も多い。

触らせる期間は3日程度でよい。それで使われないなら、導入しても使われない。

期間の使い方

判断を記録する

採用でも不採用でも、理由を記録する。半年後に同じツールが候補に挙がったときに、検討をやり直さずに済む。不採用の理由が解消されているかだけ見ればよくなる。

よくある質問

Q. 試用期間が短い場合は。

A. 検証する業務を1つに絞ってください。7日でも、1つの業務で実データを使って時間を測れば判断できます。広く触ると何も分かりません。