- 明治大学経営学部の学科構成に関して、2023年5月26日にChatGPT無料版（ChatGPT3.5）［以下、ChatGPT無料版と略記］に対して「明治大学経営学部の学科構成を教えてください。」というプロンプトを与えた。
その結果は下記に示すように、事実とまったく異なるものであった。 - 間違った回答に関してその間違いを指摘するとChatGPTは、一般的にその誤りをすぐに認めることが多い。そこで次に、上記の回答に加えて下記のようなプロンプトを与えたところ、ChatGPTは自らの回答の信頼性に関する顧客からのクレームに対して、以下のような対応をする「設計」になっている。なおMicrosoft Bing AIも、以下のようなクレーマー対応をするような「設計」になっている。
- ChatGPTの特徴の一つは、同一スレッド内ではそれ以前のやり取りを「記憶」しているのであるが、スレッドが異なった場合には同一ユーザーとの過去のやり取りを「記憶」していない設計となっていることである。それゆえ明治大学経営学部の学科構成に関する質問に関して改めて質問をしてみると、ここまで紹介してきたやり取りとはまったく異なる回答をするようになっている。
同一ユーザーとのやり取りに関するログが保存されているので、同一ユーザーとの過去のやり取りを「利用」した回答をさせることも技術的には可能である。しかしながらシステムへの負荷増大を避けるためか、2023/5/30現在ではそうした製品設計にはなっていないため、事実的言明に関して間違った回答を続けるようになっている。 - Product design問題としての生成系AIの回答の信頼度問題ー「参考文献に関して実在しない参考文献を挙げたり、事実言明に関して明らかに間違った事実をユーザーに提示する」のは、現在のChatGPT無料版（ChatGPT3.5）などは、参考文献の有無や、事実言明の正当性・正確性のチェックをあえてしないでユーザーに提示するProduct design（製品設計）になっているからである。すなわち、現在の生成系AI技術の根本的欠陥を示すものではなく、OpenAI LP社の技術戦略的決定に由来するものである。
- 生成系AIのhallucination（幻覚）問題－生成系AIがまったく誤った回答を提示することはhallucination（幻覚）問題と呼ばれている。
- ChatGPT4.0（Model:Web Browsing)による2023年6月12日の回答
- 教師あり学習: 生成系AIモデルは通常、大量のテキストデータから学習します。その学習プロセスは、モデルが与えられた入力に対して適切な出力を生成するように、既存のデータのパターンを学習するというものです。しかし、このプロセスでは、モデルは事実を認識する能力を持っていません。それは単に、その訓練データ内で観察したパターンを再現します。したがって、存在しない情報を生成する可能性があります。
- 訓練データのバイアス: AIモデルは訓練データから学習しますので、そのデータに含まれるバイアスを継承する可能性があります。存在しない情報や事実が訓練データに含まれていた場合、モデルはそれを真実として学習する可能性があります。
- 確率的生成: 生成系AIモデルは一般に確率的であり、可能な出力の中からランダムに選択します（ただし、学習したパターンに基づいて一部の出力が他の出力よりも可能性が高くなります）。この性質は、モデルが常に100%確実な出力を生成するわけではなく、時には存在しない情報を生成する可能性があることを意味します。
- 知識の限界: 現在のAIモデルは、訓練データに基づいて学習します。そのため、学習データセットの範囲外の情報については理解することができません。例えば、モデルが訓練された時点以降の出来事や情報については知らないということになります。それは、モデルが時々古いまたは古くなった情報を出力する可能性があることを意味します。
経営学科は、ビジネスの基礎的な知識やスキルを学びながら、経営理論や経営戦略、マーケティング、会計、ファイナンスなどの専門的な知識を身につけることができる学科です。
グローバルビジネス学科では、国際ビジネスや国際経営に特化した知識とスキルを学ぶことができます。異文化コミュニケーションや国際マーケティング、国際金融、国際戦略など、グローバルな視点でのビジネスに必要な要素を学ぶことができます。
イノベーションマネジメント学科は、技術革新やイノベーションの推進に関連する知識とスキルを学ぶことができる学科です。イノベーション戦略、新製品開発、プロジェクトマネジメント、イノベーションのビジネスモデルなどについて学ぶことができます。
以上が明治大学経営学部の学科構成です。それぞれの学科は専攻が設けられており、より専門的な知識を深めることができます。
もし間違いであった最初の回答を私に提示いただく前に、最初の回答が正しいかどうかのチェックをされていないとすれば、なぜそのようにされているのでしょうか？その理由を詳しく教えてください。
このように＜「明らかに間違った情報」を繰り返し回答し続けること、しかも回答の末尾が「大変失礼いたしました。正確な情報をお伝えするように努めます。」という語句で締めくくられている＞ことは、OpenAI LP社の経営戦略的意図を暗に示すものとして、とても興味深い。
というのも、明治大学経営学部の学科構成のような単純な事実的問題に関して間違った回答を繰り返すにも関わらず、「ウェーバーの理念型とはどのようなことなのか？」といったかなり難しい事実的問題なども含む入試問題に関してはそれほど間違った回答をしていないからである。
ChatGPTは、入試問題等に関しては、「回答候補の正当性・正確性をチェックした上で回答する」とか、「入試問題に関わる正確な大量のデータを参照させて回答するようにする」などといったファインチューニング作業をおこなうことで、下記WEBページに示されているように、高い成績を取ることができているものと思われる。
そうした学習プロセスをより実りあるものにするためには、ユーザーからのフィードバックの内容の信頼度というメタデータ付きで、ChatGPTに学習(training)させることである。
そのためにはユーザーの信頼度を測定するために、あえて不適切な回答や誤った回答をユーザーに提示し、当該ユーザーが回答の不適切性・誤りを指摘した正しいフィードバックを返すかどうかというデータを取ることが有益である。そうしたユーザー選別のために、「あえて不適切な「誤った」回答をユーザーに対して提示する」というProduct designを採用しているという一面もあるという推測もできる。
また人間的コミュニケーションにおいては、正確なことを厳密かつ簡潔に述べる「大学教授」的人物よりは、嘘やホラを堂々と流暢に述べる「ほら吹き男爵」的人物の方が魅力的である。そういう意味では、「正確な事実のみを簡潔に述べる」ChatGPT4 with Microsoft Bingよりも、「ちょっと調べればすぐに間違いがわかるようなまったく間違った回答を長々と述べる」ChatGPT無料版の方が、「人間」的魅力に溢れている、と考えられる。
https://www.nytimes.com/2023/05/01/business/ai-chatbots-hallucination.html
“The new AI. systems are “built to be persuasive, not truthful,” an internal Microsoft document said. “This means that outputs can look very realistic but include statements that aren’t true.”
なおそうした戦略を取るOpenAIに対して、Perplexity AIは、信頼度の高い正確な回答によるdifferentiationによって持続的競争優位の確立を追求している。そうしたPerplexity AIの戦略に対して、OpenAIが今後どのような対応をするかも興味深い。この点についてはChatGPT有料版 Browse with Bingとの下記「対話」が参考になる。
下記「対話」の中では、「ChatGPT無料版は信頼度が低い回答を出すことがあるが、OpenAI LP社はそうした問題を認識し、ChatGPT有料版でさまざまな技術革新をおこなっている。」という趣旨の「弁明」を繰り返しおこなっている。
https://chat.openai.com/share/ac857337-46c9-48b1-9dcd-bd763caea56e
このNew York Timesの記事は、ネット接続できない現行のChatGPT無料版の設計では、単なるつまらない「事実」よりも、「嘘でもいいからpersuasiveな答え」を出すようなアルゴリズムが採用されている、という趣旨の記事である。しかしながら、＜ネット接続ありのChatGPT有料版やMicrosoft Bing AIはそれとは違った設計になっている＞ということや、＜Perplexity AIは「回答の高い信頼性を確保することでdifferentiationによる持続的競争優位の獲得を目指す」という経営戦略に基づく製品設計を意図的に採用している＞ということにも注意する必要がある。
さらにまた、生成系AIにおける「幻覚」発生の問題は、アルゴリズム由来の側面だけでなく、Wikipediaで紹介されている下記のような学習データや言語モデルに由来する側面も重要である。すなわち「さまざな研究者が人工知能の幻覚を高次元統計または学習データの不備に由来する現象として位置付けている。」とか、「言語モデルが表層的な相関に偏向してしまい、現実の世界のありように対して頑健（ロバスト）でなくなる敵対的学習をしてしまうことがあり得る。」といった要素も「幻覚」の発生に関係している。
However, these findings have been challenged by other researchers.[10] For example, it was objected that the models can be biased towards superficial statistics, leading adversarial training to not be robust in real-world scenarios.[10]
[出典]Wikimedia Foundation(2023) “Hallucination(artificial_intelligence),” 英語版ウィキペディア
https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
関連参考資料
- Smith, N.(2023) “Why does ChatGPT constantly lie? – Maybe it has to do with the reasons humans use language.,” 2023/01/31
https://www.noahpinion.blog/p/why-does-chatgpt-constantly-lie
NOAH SMITH - 笹原和俊、大岩央(2023)「ChatGPTとディープフェイクの衝撃―AI技術がもたらす破壊と創造」ログミーBiz、2023年4月25日
https://logmi.jp/business/articles/328660