テキスト生成系AI

テキスト生成系AIシステム
 
[Perplexity AI関連参考記事]
 
本サイトにおける生成系AI関連項目
 
テキスト生成系AIシステムの利用法説明サイト、利用例
YouTube動画

レポートの採点

以下のレポートを10点満点で評価して下さい。

###
問題文:

###
評価観点:

###
主力形式:
採点結果:
フィードバックコメント:

###
レポート:

Bloomのタクソノミー

 
テキスト生成系AIシステム(その他)
 
生成系AIシステムの総合的性能の向上に関わる基本的要因
  1. ハードウェアー「より高い計算精度、おり高い計算速度」(両者は技術的に相反的)
    (GPU性能,CPU性能,メモリの量・読込速度性能・書込速度性能など)

  2. ソフトウェア-「より優れたアルゴリズム・学習モデル、より大規模でより優れた言語モデル」
     
  3. データセットの質と量-「より良質なデータ、より大量のデータ」
     
  4. 学習(Training)の質と量-「より適切な学習、より大量の学習」
言語モデルのパラメータ数による性能比較
表:大規模言語モデル(GPT-3.5/4のパラメータ数は推定)
言語モデル リリース日 開発元 最大パラメータ数
GPT-3 2020年6月 OpenAI 1750億
GShard 2020年6月 Google 6000億
Swich Transformer 2021年1月 Google Brain 1.57兆
悟道(WuDao)2.0 2021年6月 北京智源人工知能研究院 1.75兆
HyperCLOVA 2021年11月 LINEとNAVER 390億
Gopher 2022年1月 DeepMind 2800億
日本語GPT 2022年1月 rinna 13億
GPT-3.5 2022年3月 OpenAI (推定)3550億
PaLM 2022年4月 Google Reserch 5400億
GPT-4 2023年3月 OpenAI (推定)5000億~1兆

[表の出典] 梅田弘之(2023)「GPTで始まる大規模言語モデル時代」2023/6/1
https://thinkit.co.jp/article/22084

 

各言語モデルに関して、Wikipedia英語版の”Large Language Model”(https://en.wikipedia.org/wiki/Large_language_model)の中のList of large language modelsにより詳細な紹介がある。

 
 
[参考資料]
  1. Exam results (ordered by GPT-3.5 performance)
    https://openai.com/research/gpt-4

  2. 梅田弘之(2023)「GPTで始まる大規模言語モデル時代」2023/6/1
    https://thinkit.co.jp/article/22084

  3. 櫻井章雄(2022)「世界で開発が進む大規模言語モデルとは(前編)~日本語に特化した汎用的な大規模言語モデルの紹介~」NTTデータ先端技術株式会社ホーム>コラム>人工知能(AI)
    https://www.intellilink.co.jp/column/ai/2022/070800.aspx

  4. 櫻井章雄(2022)「世界で開発が進む大規模言語モデルとは(後編)~日本語に特化した汎用的な大規模言語モデルの紹介~」NTTデータ先端技術株式会社ホーム>コラム>人工知能(AI)
    https://www.intellilink.co.jp/column/ai/2022/072800.aspx

  5. 河原潤(2023)「グーグルの生成系AI「Bard」が日本語に対応、大規模言語モデルをPaLM2に刷新」IT Leadrs, 2023年5月11日
    https://it.impress.co.jp/articles/-/24806

  6. API経由でのOpenAI LP社の各言語モデル別の利用価格一覧
    https://openai.com/pricing#language-models

  7. masa_kazama(2023)「ChatGPTに自社データを組み込んで新しい検索体験を模索してみました」2023年3月3日
    https://note.com/masa_kazama/n/n246df4af19f6

  8. 岡田直樹(2023)「社内文書に特化したChatGPT ファインチューニング実践編」2023/5/22
    https://www.brainpad.co.jp/doors/knowledge/01_chatgpt_fine_tuning_internal_documents/

  9. Gigazine(2023)「対話型AIを教育現場のサポート講師として活用する試み」GIGAZINE、2023/3/22
    https://gigazine.net/news/20230322-ai-tutor/

  10. Shion Honda, Hidehisa Arai(2022)「AI開発の新たなパラダイム「基盤モデル」とは」2022/7/4
    https://blog.recruit.co.jp/data/articles/foundation_models/

  11. Maruyama Fujio(2023「AIは意味をどのように 扱っているのか? — ChatGPT の不思議」2023年1月16日、最終更新日時2023年3月27日
  12. ブレインパッド(2023)「大規模言語モデル(LLM)のエンジン:データセットの解説」Platinum Data Blog, 2023/6/2
    https://blog.brainpad.co.jp/entry/2023/06/02/163008

  13. サイバーエージェント(2023)「サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―」2023年5月17日
    https://www.cyberagent.co.jp/news/detail/id=28817
 
カテゴリー: 生成系AI パーマリンク