T
フラッシュカードの問題を自動ファクトチェック
by ta93abe
フラッシュカード問題をランダムにピックアップして、事実の正確性と正解の妥当性を自動検証できます。 直近7日間にチェック済みの問題を自動的に除外し、効率的にファクトチェックできます。 問題文の明確さ・試験範囲との関連性などを複数の観点から評価し、点数(0.0~1.0の信頼度)で可視化できます。 誤りが見つかった場合、修正内容を自動的にデータベースに記録し、修正前の内容も履歴として残します。 検証結果のサマリーを表示し、問題集全体の品質を定期的に改善できます。 オンライン教育プラットフォーム・問題集管理者 ユーザーが解く問題の正確性を保証したい学習サービス 定期的にコンテンツ品質を点検する必要がある組織 専門知識が確かな状態で問題を管理したい教育機関 実行手順:①npx wrangler d1で直近7日間にチェック済みのカードを除外してランダムに指定数(デフォルト20問)ピックアップ、②各カードの選択肢と正解を取得、③問題文・選択肢・正解・解説を「factual_accuracy(事実の正確性)」「answer_correctness(正解の妥当性)」「clarity(問題文の明確さ)」「relevance(試験範囲との関連性)」の観点で判定、④判定結果をfact_checksテーブルに記録(verdict:correct/incorrect/needs_revision、confidence:0.0-1.0、reason、suggestion、action_taken:none/updated/flagged)、⑤incorrect で confidence >= 0.85の場合はcardsテーブルも修正し修正前の値を記録、⑥結果サマリー表示。dbtの公式ドキュメント知識に基づいて判定、model_usedは「claude-code」に固定。
ドキュメント