回答が事実か推測か、検証待ちの提案かを判断する方法
結論を検証可能なソース、出力、および条件と照合します。
まず、確実性のレベルを区別するように依頼する
回答を「確認済み、妥当な推測、または情報待ち」に分類するように依頼できます。説明が流暢に聞こえるからといって、ソースが存在したり、操作が成功したりしたとは限りません。特にセキュリティ上の発見、ソフトウェアの動作、バージョンの違いについては、具体的な証拠が対応している必要があります。
モデルが実行を提案したコマンドを、あたかも既に実行されたかのように記述しているか、検索結果を完全に検証されたページであるかのように提示しているかを確認してください。
各根拠を段階的に検証する
検証する際は、結果に最も影響を与える結論から始めてください。すべての背景情報に同じ程度のチェックを適用する必要はありません。
複数の矛盾する説明に遭遇した場合、それぞれが必要とする条件をリストアップするように依頼し、それらを区別するための最小限のチェックを設計できます。このようにして得られた結論は追跡しやすく、期待によりよく適合するという理由だけでステートメントが検証済みであると受け入れてしまうことを避けることができます。
- 引用が実際に適切なページを指しているか確認する。
- ツール出力のステータス、エラーメッセージ、および結果ファイルと比較する。
- 適用されるバージョン、環境、および前提条件に関する明確化を依頼する。
- 証拠が不足している場合は、存在しないソースを捏造するのではなく、結果を検証待ちとしてマークする。
エラーが見つかった場合の対処法
エラーの場所と実際の証拠を指摘し、影響を受ける結論と後続のステップの修正を依頼してください。単に文を置き換えるのではなく、誤った前提を使用し続けてください。環境にアクセスできない場合やツールが失敗した場合は、自分で実行できるチェックを依頼し、検証が不完全であることを明確にマークできます。最終レポートは、将来の再チェックを容易にするために、証拠の場所を保持する必要があります。