生成系AIの回答は「信頼性」が低いことや、プロンプトに「迎合」的な回答をする傾向があることを踏まえて下記の文章を読んでください。プロンプトの与え方によって生成系AIの回答はかなり異なります。例えば、「生成系AIシステムの総合的性能を規定している要因としてはどのようなものがあるのでしょうか？」というプロンプトを与えた場合には末尾に付けた関連参考資料のように、下記とはかなり異なる表現の回答が得られます。
1．生成系AIに与えるデータ（例えば、「Public domainの著作物データをすべて与えること」や「著作権者の了解を得て著作権保護のある著作物データをすべて与えること」など）
2．生成系AIに対するデータを与えての機械学習的なtraining
3．生成系AIが生成した回答に対する、専門家による人間の手での適切なフィードバックによるtraining
- 与えられるデータ：AIシステムは与えられたデータをもとに学習します。このデータが高品質で多様性があり、バランスが良ければ良いほど、AIは正確かつ多様な情報を理解し、生成することが可能になります。公共の領域の著作物や著作権者の了解を得た著作物などは、AIにとって非常に価値ある学習リソースとなります。
- データに対する機械学習的なトレーニング：AIは大量のデータを処理し、そのパターンを理解することで学習します。この過程は、AIがその後の問いに対する回答を生成するための基礎を築く重要なステップです。
- 専門家によるフィードバック：AIの学習は一方通行ではありません。生成された結果に対する適切なフィードバックは、AIの性能を向上させるための重要な要素です。専門家が生成された回答を評価し、適切な修正を加えることで、AIはそのフィードバックを取り込んで改善を図ります。
これらの要素は、全てが揃って初めてAIシステムの総合的な性能が向上します。ですので、質の高いAIシステムを作るには、これら全ての側面に注意を払うことが必要となります。
- 生成系AIに与えるデータ
生成系AIは、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです¹。したがって、与えるデータの量や質や多様性が、生成されるコンテンツの品質や正確性や創造性に大きく影響します。例えば、Public domainの著作物データをすべて与えることで、著作権の問題を回避できますが、最新の情報や流行りの表現が反映されない可能性があります。逆に、著作権者の了解を得て著作権保護のある著作物データをすべて与えることで、最新かつ多様なコンテンツを生成できますが、著作権侵害のリスクが高まります。また、与えるデータに偏りやバイアスがあると、生成されるコンテンツも偏ったり不適切なものになる可能性があります。
- 生成系AIに対するデータを与えての機械学習的なtraining
生成系AIは、与えられたデータを基に機械学習的なtrainingを行い、確率的にもっともらしい文章や画像を作成していくものです。したがって、trainingの方法やパラメーターの設定が、生成されるコンテンツの品質や正確性や創造性に大きく影響します。例えば、trainingの回数や時間を増やすことで、生成されるコンテンツの精度や自然さが向上する可能性があります。逆に、trainingの回数や時間を減らすことで、生成されるコンテンツの精度や自然さが低下する可能性があります。また、training時に使用する目的関数や評価指標なども重要です。例えば、目的関数として単純な尤度（入力と出力の一致度）だけでなく、多様性（出力の異なり度）や一貫性（出力全体の整合度）なども考慮することで、生成されるコンテンツの品質や正確性や創造性が向上する可能性があります²。
- 生成系AIが生成した回答に対する、専門家による人間の手での適切なフィードバックによるtraining
生成系AIは、生成した回答に対する人間からのフィードバックを受け取り、それを学習することで、生成されるコンテンツの品質や正確性や創造性を向上させることができます。このフィードバックは専門家によるものであればあるほど効果的です。例えば、文書作成や文書アウトラインの生成では文法や論理的整合性などをチェックし、翻訳では言語間のニュアンスや文化的背景などを考慮し、文章要約では重要な情報や主旨などを抽出し、コンピューター・プログラムの作成や修正では動作確認やエラー修正などを行うことで¹³、かきのようなことが可能になります。
生成されるコンテンツがより正確かつ自然かつ多様かつ一貫したものになります。
生成系AIが人間から学ぶことでより高度な知識や技能を身につけます。
人間と生成系AIが協働することでより高品質かつ高効率な仕事ができます。ソース: Bing との会話 2023/5/20(1) 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion …. https://utelecon.adm.u-tokyo.ac.jp/docs/20230403-generative-ai.
(2) ChatGPT 生成系AIで何ができる？危険性は？｜NHK – NHK …. https://www3.nhk.or.jp/news/special/sci_cul/2023/02/special/generative-ai/.
(3) 生成系AIについて開発者が知っておくべきこと | gihyo.jp. https://gihyo.jp/article/2023/04/what-developers-need-to-know-about-generative-ai.
1. モデルの品質とサイズ: 使用されているモデルの品質とサイズは、生成される結果の質に直接的な影響を与えます。より大規模で高品質なモデルは、より自然な文や高度な論理的な推論を生成することができます。
2. 学習データの質と量: モデルをトレーニングするために使用される学習データの質と量も重要です。多様なトピックや文体を含む大規模なデータセットを使用することで、モデルはより幅広い情報を学習し、多様な要求に対応できるようになります。
3. パラメータの調整とチューニング: モデルのパラメータやハイパーパラメータの調整とチューニングは、性能に大きな影響を与えます。適切なパラメータ設定やトレーニングアルゴリズムの最適化により、モデルはより高度な生成能力を発揮することができます。
4. 推論速度と応答時間: 生成系AIシステムの実用性は、推論速度と応答時間にも依存します。リアルタイムのインタラクションや応答が求められる場合、高速な推論処理や低遅延が必要です。
5. バイアスやエラーの制御: 生成系AIシステムは、学習データのバイアスやエラーを反映することがあります。そのため、適切なバイアスやエラーの制御が性能の向上に重要です。例えば、差別的な言語や誤った情報の生成を防ぐためのメカニズムや制約を組み込むことが考慮されます。
6. ユーザーの入力やフィードバックの利用: ユーザーの入力やフィードバックを収集し活用することで、生成系AIシステムはユーザーの要求やニーズに合わせて改善されることがあります。ユーザーのフィードバックに基づいてモデルの再トレーニングや修正が行われることで、性能が向上します。
これらの要因は、生成系AIシステムの総合的な性能を規定する際に考慮される重要な要素です。ただし、実際のシステムや使用目的によって、これらの要因の重要性や優先順位は異なる場合もあります。
1. トレーニングデータ： AIシステムの性能は、訓練データセットの品質と多様性に大きく依存します。データセットは大きく、多様で、バランスが良いほど、AIはより効果的に学習できます。また、訓練データはAIが知識を獲得する主要なソースであるため、その内容や範囲も重要です。
2. アーキテクチャ： AIのアーキテクチャ（デザインや構成）は、その能力と効率を大いに決定します。例えば、Transformerベースのモデルは、自然言語処理タスクにおいて優れた結果を示しています。
3. 計算リソース： AIの訓練には大量の計算リソース（CPUまたはGPU）が必要です。リソースが多ければ多いほど、モデルはより多くのデータを学習し、深い洞察を得ることができます。
4. 最適化と学習アルゴリズム： 機械学習モデルの性能は、使用する最適化アルゴリズムと学習率スケジュールによっても大きく影響を受けます。
5. 正規化と過学習防止の戦略： AIモデルの性能は、過学習を防ぐための様々な戦略（ドロップアウト、早期停止、データ拡張など）にも影響されます。
6. フィードバックと微調整： 訓練後のモデルは、特定のタスクに対するパフォーマンスを改善するために、追加のフィードバックや微調整を通じて改良されることがあります。これにより、モデルは特定の応用においてより優れた結果を達成することができます。
以上のような要素が組み合わさって、AIシステムの総合的性能が規定されます。それぞれの要素は、モデルの最終的な性能、効率性、そして汎用性に影響を与えます。
- 生成系AIシステムの総合的性能を規定している要因としては、以下のようなものが考えられます。
- データの量と質：生成系AIシステムは、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習することで、人間らしい対話やコンテンツを出力できるようになります³。そのため、学習に用いるデータの量や質が性能に大きく影響します。データが少なかったり、偏ったり、不正確だったりすると、生成される内容もそれに応じて低品質や不適切になる可能性があります。
- モデルの構造と学習方法：生成系AIシステムは、様々なモデルの構造や学習方法を採用しています。例えば、ChatGPTはトランスフォーマーというニューラルネットワークの構造を用いて、大規模言語モデルを学習しています¹。トランスフォーマーは自然言語処理において高い精度を示すことが知られていますが、計算コストが高くなるという欠点もあります。また、学習方法としては、教師あり学習や教師なし学習、強化学習などがありますが、それぞれにメリットやデメリットがあります。例えば、教師あり学習は正解ラベルが必要であるため、データの準備に手間がかかりますが、高い精度を得られる可能性があります。一方、教師なし学習は正解ラベルが不要であるため、データの準備に手間がかかりませんが、精度が低くなる可能性があります。強化学習は報酬やペナルティによってAIの行動を調整することで、目的に沿った生成を行わせることができますが、報酬やペナルティの設計が難しいという課題があります。
- 評価指標とフィードバック：生成系AIシステムの性能を評価する指標としては、客観的なものと主観的なものがあります。客観的なものとしては、生成された内容の正確さや一貫性、多様性などを数値化したものがあります。主観的なものとしては、生成された内容の自然さや魅力、満足度などを人間が評価したものがあります。しかし、これらの指標は必ずしも一致しないことも多く、どれを重視するかによって性能の判断が変わる可能性があります。また、生成系AIシステムはフィードバックによって性能を向上させることができます。フィードバックとしては、人間からの評価やコメント、修正や改善案などがあります。しかし、フィードバックを収集すること自体にコストや時間がかかることや、フィードバックの質や量にばらつきがあることなども問題です。
以上のように、生成系AIシステムの総合的性能を規定している要因は多岐にわたります。生成系AIシステムはまだ発展途上であり、これからさらに改良されていくことでしょう。
ソース: Bing との会話 2023/5/20
(1) 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion …. https://utelecon.adm.u-tokyo.ac.jp/docs/20230403-generative-ai.
(2) ChatGPTなどの“生成系AI” 活用企業の最前線では | NHK …. https://www3.nhk.or.jp/news/html/20230417/k10014040781000.html.
(3) ChatGPT 生成系AIで何ができる？危険性は？｜NHK – NHK …. https://www3.nhk.or.jp/news/special/sci_cul/2023/02/special/generative-ai/.