カテゴリー
キーワード

ハルシネーションとは?事例と生成AIを利用する上での対抗策を3つ紹介

本記事では生成aiのエラーとも言える「ハルシネーション」を紹介します。具体的な事例をもとにハルシネーションがどのような事象なのか説明するとともに、生成aiを活用する上での対策方法も3つ紹介していますので、ぜひ参考にしてください。

         

仕事の生産性や競争力に革命的な影響をもたらすとして生成AIやLLMに注目が集まっています。一方で、日本の組織の72%がChatGPTなどの生成AIアプリケーションの使用禁止を実施、あるいは検討しているという調査結果(BlackBerry Japan社調べ、2023年9月7日発表)も。その理由としては、サイバーセキュリティの問題や著作権侵害への懸念が挙げられていますが、「AIのハルシネーション」によるデマや誤った情報の拡散も、生成AI活用に歯止めがかかっている要因のひとつではないでしょうか。

ハルシネーションって? と疑問に思った方もすでにハルシネーションについてある程度ご存じの方も、本記事で実例とともにAIのハルシネーションとは何か、どのような対策が進んでいるのかや、その可能性などを押さえましょう。

ハルシネーションとは? 生成AIが幻覚を見たかのように誤った情報を出力する現象

ハルシネーションとは? 生成AIが幻覚を見たかのように誤った情報を出力する現象

AIのハルシネーション(Hallucination:幻覚)とは、「生成AIがまるで幻覚を見たかのように誤った情報を出力する現象」を指します。

百聞は一見に如かず、ということで早速生成AI(ChatGPT-3.5)に、質問をしてハルシネーションの実例を見てみましょう。

【1】専門用語(オンプレミス回帰)の説明で起こったハルシネーション

【1】専門用語(オンプレミス回帰)の説明で起こったハルシネーション

コチラの記事詳しく解説している通り、オンプレミス回帰とは、「クラウドの利用をやめ、ITインフラやデータを自社で管理する環境へ回帰すること」であり、統計学・データ分析の用語に「オンプレミス回帰」などという言葉はありません(もしかしたら単体の企業や組織の独自用語として使われたことがある可能性が100%ないとは言えませんが、一般的な用語解説としては明らかに不適切です)。「回帰」というフレーズだけを拾って、ChatGPTがもっともらしい回答を捏造したのです。

【2】計算問題で起こったハルシネーション

【2】計算問題で起こったハルシネーション

8927かける2353の本当の答えは「21,005,231」です。実は、生成AIは計算を苦手としています。自らもその自覚があるのか、最初は「約21,010,731」と不安げに回答し、「約はなしで正確に」とさらに追及したところ、「21,007,631」とやはり間違った答えが出力されました。

このように、生成AIは事実と間違った答えをいかにも真実のようにしれっと出力します。これでは正確な受け答えが求められる業務にそのまま用いることは難しいでしょう。

またAIにプログラミングを行わせた際、ハルシネーションで出力される実在しないパッケージと同名のマルウェアを開発・配布する「AIパッケージ幻覚(AI Package Hallucinations)」というサイバー攻撃手段も存在します。

ハルシネーションへの3つの対抗策とは

さて、ハルシネーションに我々が対抗する手段としてはどのようなものが挙げられるのでしょうか。

1.生成AIの性能を高める

生成AIの性能は、学習に用いたデータ量やパラメーター数を増やすことやアルゴリズムを変更することで向上させられます。ハルシネーションの原因のひとつに学習データの不足や誤りがあると考えられ、ストレートな解決法としてこれらは挙げられます。

実際、GPT-3.5からGPT-4へとモデルがバージョンアップしたことで、ハルシネーションの発生に関するテストのスコアは40%改善されたということです。また、推論のステップごとに報酬を与える「プロセス監督(process supervision)」という手法がハルシネーションの低減に効果を発揮することもOpenAI社により発表されています。

2.プロンプトを工夫する

我々の生成AIに対する指示──プロンプトを工夫することでも、ハルシネーションの発生は抑えられます。
たとえば、前述の「オンプレミス回帰とは何かについて教えてください」という質問文に、「オンプレミス回帰(Cloud Repatriation)」と、英語で同様の現象を指す言葉を付け加えた結果が以下です。

2.プロンプトを工夫する

謝罪とともに、正しい答えが返ってきていますね。

また、「ステップ・バイ・ステップで考えてください(Let’s think step by step)」という一文をプロンプトに付け加えることでハルシネーションの抑制や回答の質の向上につながることはよく知られています。ほかに、事前に用意した質問文に入力したテキストを変換することをサポートするサービスなども生まれてきています。

3.人間がファクトチェックする

最も簡単かつ即効性が高いのは、AIの回答の正しさを人間がチェックし、ハルシネーションが見つかれば適宜修正するという方法です。マニアックな内容や学習データよりも新しい情報を含む回答、文脈によって意味が複数存在する言葉を含む場合など、ハルシネーションが起こりやすい条件はいくつかあります。それらを意識しながら人間がファクトチェックを行うプロセスは、生成した情報の信頼性を担保するために、しばらくは必要とされ続けるでしょう。

ハルシネーションが生成AIを進化させる?

ハルシネーションが生成AIを進化させる?

ハルシネーションはAIを業務で利用するにあたって大きな障害となります。では、百害あって一利なしかというと──そうではないかもしれません。

なぜなら、突拍子もない答えを幻覚するということ自体が、生成AIならではの創造性の発露とも考えられるからです。NRI金融デジタルビジネスリサーチ部 エキスパートリサーチャーの柏木 亮二氏は、「AIがねつ造した架空の論文から有用なアイディアが生まれ、敵対的学習により飛躍的にあらゆる学問に発見がもたらされる」というストーリーのSF中編を、コラムにて執筆しています。

今、生成AIが注目を集めるのはまるで創造性があるかのように自然な文章や画像を一瞬で出力してくれるからであり、正確な計算は従来のコンピューターにやらせておけばよいともいえます。よくいわれることですが、アイディアとは何かと何かの組み合わせであり、突拍子もないAIのハルシネーションがそのきっかけとなる可能性は少なくないでしょう。

終わりに

生成AIの活用において必ず押さえておきたいハルシネーションの概念と対策、その可能性についてご紹介しました。自分の専門分野やごく簡単なことについてトンチンカンな答えが返ってくると「これじゃ全然仕事につかえない」と反射的に感じてしまいますが、もしかしたら、AIとハサミは使いようとも言えるのかもしれません。それに、これから生成AIがさらに進化していくことはほぼ確実視されています。

業務利用でなくとも、AIサービスに触れつづけその使い方や最新事情を押さえておくことをおすすめします。

宮田文机

 

参照元

・BlackBerry独自調査、日本の組織の72%が、業務用デバイス上でのChatGPTおよび生成AIアプリケーションの使用を禁止する方針であることが明らかに┃PRTIMES
・柏木 亮二『AIは優しく世界を奪う(中):ハルシネーションと創造性』┃NRI
・野尻抱介『野尻抱介の「ぱられる・シンギュラリティ」第17回 嘘つきは創造の始まり』┃ケムール
・ハルシネーション┃NRI
・久保庭総一郎『正答率アップ!? 生成AIの「呪文」』┃読売新聞オンライン
・サイバーセキュリティお役立ち情報『AIパッケージ幻覚とは【用語集詳細】』SOMPO CYBER SECURITY
・Improving mathematical reasoning with process supervision┃OpenAI
・GPT-4┃OpenAI
・HelpfeelがAIのハルシネーションを回避しながら検索精度を30%向上させる「Contact Sense AI」を公開。問い合わせの自己解決を促進┃PRTIMES
×

メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。


データ活用 Data utilization テクノロジー technology 社会 society ビジネス business ライフ life 特集 Special feature

関連記事Related article

書評記事Book-review

データのじかん公式InstagramInstagram

データのじかん公式Instagram

30秒で理解!インフォグラフィックや動画で解説!フォローして『1日1記事』インプットしよう!

おすすめ記事Recommended articles

掲載特集

デジタル・DX・データにまつわる4コマ劇場『タイムくん』 デジタル・DX・データにまつわる4コマ劇場『タイムくん』 データのじかんをもっと詳しくデータのじかんフィーチャーズ データのじかんをもっと詳しく データのじかんフィーチャーズ 「47都道府県47色のDXの在り方」を訪ねる『Local DX Lab』 「47都道府県47色のDXの在り方」を訪ねる『Local DX Lab』 DXの1次情報をを世界から『World DX Journal』 DXの1次情報をを世界から 『World DX Journal』 データで越境するあなたへおすすめの『ブックレビュー』 データで越境するあなたへおすすめの 『ブックレビュー』 BIツールユーザーによる、BIツールユーザーのための、BIツールのトリセツ BIツールユーザーによる、BIツールユーザーのための、BIツールのトリセツ CIOの履歴書 by 一般社団法人CIOシェアリング協議会 CIOの履歴書 by 一般社団法人CIOシェアリング協議会 なぜ、日本企業のIT化が進まないのか――日本のSI構造から考える なぜ、日本企業のIT化が進まないのか――日本のSI構造から考える 日本ビジネスの血流である帳票のトレンドを徹底解説 日本ビジネスの血流である帳票のトレンドを徹底解説 データを武器にした課題解決家「柏木吉基」のあなたの組織がデータを活かせていないワケ データを武器にした課題解決家「柏木吉基」のあなたの組織がデータを活かせていないワケ BI(ビジネスインテリジェンス)のトリセツ BI(ビジネスインテリジェンス)のトリセツ 入社1年目に知っておきたい差が付くKPIマネジメント 入社1年目に知っておきたい 差が付くKPIマネジメント CIOLounge矢島氏が紐解くトップランナーたちのDXの“ホンネ” CIOLounge矢島氏が紐解く トップランナーたちのDXの“ホンネ” データのじかん Resources越境者のためのお役立ち資料集 データのじかん Resources 越境者のためのお役立ち資料集 AI実装の現在地点-トップITベンダーの捉え方 AI実装の現在地点-トップITベンダーの捉え方 データでビジネス、ライフを変える、面白くするDATA LOVERS データでビジネス、ライフを変える、 面白くするDATA LOVERS データマネジメント・ラジオ by データ横丁 データマネジメント・ラジオ by データ横丁 データのじかんNews データのじかんNews データ・情報は生もの!『DX Namamono information』 データ・情報は生もの! 『DX Namamono information』 ちょびっとラビット耳よりラピッドニュース ちょびっとラビット耳よりラピッドニュース AI事務員宮西さん(データ組織立ち上げ編) AI事務員宮西さん(データ組織立ち上げ編) 藤谷先生と一緒に学ぶ、DXリーダーのための危機管理入門 藤谷先生と一緒に学ぶ、DXリーダーのための危機管理入門 生情報取材班AI時代に逆行?ヒトが体感した「生情報」のみをお届け! 生情報取材班AI時代に逆行?ヒトが体感した「生情報」のみをお届け! データはともだち 〜怖くないよ!by UpdataTV Original データはともだち 〜怖くないよ!by UpdataTV Original データ飯店〜データに携わるモノたちの2.5thプレイス by UpdataTV〜 データ飯店〜データに携わるモノたちの2.5thプレイス by UpdataTV〜 インサイトーク〜データで世界を覗いてみたら〜by WingArc1st + IDEATECH インサイトーク〜データで世界を覗いてみたら〜by WingArc1st + IDEATECH
close close