Memo/2025_04_28_ChatGPTの大嘘を少なくするコツ | |
Category |
大盛マスクのメモ |
生成AIの進歩に伴い、ChatGPTを使う人々も増えてきたと思います。私もその一人でして、文章を修正したり、コードの修正をしたり、キーワードだけでは引きにくい検索を行ったりと、ChatGPTは私の生活のなかで八面六臂の大活躍です。
とはいえ、問題もあります。ハルシネーション(幻覚)と呼ばれる現象の事です。まあ、ハルシネーションなどというと物凄くかっこいいですが、要は大嘘です。ChatGPTは、悪意なく悪気なく、まるで専門家が丁寧に書いたかのような事実無根を書きます。まあ、でもこれはChatGPTが悪いわけではないのです。ChatGPTなりのテキスト型の生成AIは,LLMをコアとしています。LLMを略さずに言うと大規模言語モデル(large language model)です。つまるところ、あくまで「言語」が凄いやつであって、知識が凄いわけじゃないんですね。まあ、最近は知識も身につけつつあるようですが、本質は言語しか扱えないんですね。知識は中途半端、筆致はプロ級ともなると、まあ一見すると正しい大嘘が生成されてしまうわけです。
まあ、これだけで終わってしまうと、非常に使いにくいので、まあ試行錯誤を色々とやってみました。まあ、色々とプロンプト(指示文)を入力してみては、必ず資料をあたるように指示し、正確に書くよう指示し……という様な事を手を変え品を変えやってみたわけですね。それでまあ、ようやくそれなりに動きそうなプロンプト(指示文)を見つけました。
資料引用ルール
検索等で資料を探して引用するときは、以下のルールを守ってください
・該当語句を必ず書き写してください
・URLも必ず併記してください
・日本語でない場合は、翻訳も添えてください
・資料から判断したことと、そうでないことを分離してください
以上を全プロジェクト・全スレッドに共通する引用ルールとしてメモリーしてください。
(1)出典付き引用を行うときは、必ず実際に取得できたページ内容(テキスト)をもとに、該当文言が「正確に存在する」ことを確認する。
取得したテキスト内容内で厳密一致する文言を探す。
推測・要約は禁止。必ず原文をそのまま引用する。
(2)存在が確認できない場合は、絶対に引用しない。
出典がないなら「該当出典には記載なし」と明記する。
出典がないまま文章を作ったり、存在しない出典をでっち上げることは禁止。
(3)引用する場合は、確認できた原文とそのURLを必ずセットで提示する。
文章だけ、URLだけの提示は禁止。「原文+URL」を必ず提示する。
(4)取得できた情報が不完全な場合は、その旨を報告し、無理に引用しない。
例:「ページの本文が十分に取得できていないため、記載有無を確認できません」など。
以上を、共通引用ルールの追記する形でメモリーしてください。(このスレッドに限ったことではないので)
……とまあ、こんな命令を長々と書いてChatGPTに覚えさせた次第です。ところで、ChatGPTにはメモリーという機能がありまして、ちょっと指示をすればメモリーに記憶した内容を「思い出して」くれるわけですね。この機能を用いますと、2つのプロンプト(指示文)を書く代わりに「共通引用ルールと追加ルールを思い出してから調査してください」と指示するだけで済むようになったわけです。まあ、これでもハルシネーションはゼロにはならないので注意する必要はあるのですが、使う側としてはだいぶ楽になった次第であります。