テキスト生成系AIシステム
[Perplexity AI関連参考記事]
Quest 編集部(2023)「Perplexity.AI の使い方まとめ。 ChatGPTとの違い・活用法を徹底解説!」Quest,2023/05/23
https://kissanadu.com/perplexity-ai
Schwartz, E. H.(2023)”Perplexity AI’s New Copilot Feature Provides More Interactive, Personalized Answers With GPT-4,” 2023/5/29
https://www.makeuseof.com/chatgpt-plus-vs-perplexity-which-is-best/
https://kissanadu.com/perplexity-ai
Schwartz, E. H.(2023)”Perplexity AI’s New Copilot Feature Provides More Interactive, Personalized Answers With GPT-4,” 2023/5/29
https://www.makeuseof.com/chatgpt-plus-vs-perplexity-which-is-best/
本サイトにおける生成系AI関連項目
テキスト生成系AIシステムの利用法説明サイト、利用例
YouTube動画
レポートの採点
以下のレポートを10点満点で評価して下さい。
###
問題文:
###
評価観点:
###
主力形式:
採点結果:
フィードバックコメント:
###
レポート:
Bloomのタクソノミー
テキスト生成系AIシステム(その他)
生成系AIシステムの総合的性能の向上に関わる基本的要因
- ハードウェアー「より高い計算精度、おり高い計算速度」(両者は技術的に相反的)
(GPU性能,CPU性能,メモリの量・読込速度性能・書込速度性能など) - ソフトウェア-「より優れたアルゴリズム・学習モデル、より大規模でより優れた言語モデル」
- データセットの質と量-「より良質なデータ、より大量のデータ」
- 学習(Training)の質と量-「より適切な学習、より大量の学習」
言語モデルのパラメータ数による性能比較
表:大規模言語モデル(GPT-3.5/4のパラメータ数は推定)
言語モデル | リリース日 | 開発元 | 最大パラメータ数 |
---|---|---|---|
GPT-3 | 2020年6月 | OpenAI | 1750億 |
GShard | 2020年6月 | 6000億 | |
Swich Transformer | 2021年1月 | Google Brain | 1.57兆 |
悟道(WuDao)2.0 | 2021年6月 | 北京智源人工知能研究院 | 1.75兆 |
HyperCLOVA | 2021年11月 | LINEとNAVER | 390億 |
Gopher | 2022年1月 | DeepMind | 2800億 |
日本語GPT | 2022年1月 | rinna | 13億 |
GPT-3.5 | 2022年3月 | OpenAI | (推定)3550億 |
PaLM | 2022年4月 | Google Reserch | 5400億 |
GPT-4 | 2023年3月 | OpenAI | (推定)5000億~1兆 |
[表の出典] 梅田弘之(2023)「GPTで始まる大規模言語モデル時代」2023/6/1
https://thinkit.co.jp/article/22084
各言語モデルに関して、Wikipedia英語版の”Large Language Model”(https://en.wikipedia.org/wiki/Large_language_model)の中のList of large language modelsにより詳細な紹介がある。
[参考資料]
- Exam results (ordered by GPT-3.5 performance)
https://openai.com/research/gpt-4 - 梅田弘之(2023)「GPTで始まる大規模言語モデル時代」2023/6/1
https://thinkit.co.jp/article/22084 - 櫻井章雄(2022)「世界で開発が進む大規模言語モデルとは(前編)~日本語に特化した汎用的な大規模言語モデルの紹介~」NTTデータ先端技術株式会社ホーム>コラム>人工知能(AI)
https://www.intellilink.co.jp/column/ai/2022/070800.aspx - 櫻井章雄(2022)「世界で開発が進む大規模言語モデルとは(後編)~日本語に特化した汎用的な大規模言語モデルの紹介~」NTTデータ先端技術株式会社ホーム>コラム>人工知能(AI)
https://www.intellilink.co.jp/column/ai/2022/072800.aspx - 河原潤(2023)「グーグルの生成系AI「Bard」が日本語に対応、大規模言語モデルをPaLM2に刷新」IT Leadrs, 2023年5月11日
https://it.impress.co.jp/articles/-/24806 - API経由でのOpenAI LP社の各言語モデル別の利用価格一覧
https://openai.com/pricing#language-models - masa_kazama(2023)「ChatGPTに自社データを組み込んで新しい検索体験を模索してみました」2023年3月3日
https://note.com/masa_kazama/n/n246df4af19f6 - 岡田直樹(2023)「社内文書に特化したChatGPT ファインチューニング実践編」2023/5/22
https://www.brainpad.co.jp/doors/knowledge/01_chatgpt_fine_tuning_internal_documents/ - Gigazine(2023)「対話型AIを教育現場のサポート講師として活用する試み」GIGAZINE、2023/3/22
https://gigazine.net/news/20230322-ai-tutor/ - Shion Honda, Hidehisa Arai(2022)「AI開発の新たなパラダイム「基盤モデル」とは」2022/7/4
https://blog.recruit.co.jp/data/articles/foundation_models/ - Maruyama Fujio(2023「AIは意味をどのように扱っているのか? — ChatGPT の不思議」2023年1月16日、最終更新日時2023年3月27日
- ブレインパッド(2023)「大規模言語モデル(LLM)のエンジン:データセットの解説」Platinum Data Blog, 2023/6/2
https://blog.brainpad.co.jp/entry/2023/06/02/163008 - サイバーエージェント(2023)「サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―」2023年5月17日
https://www.cyberagent.co.jp/news/detail/id=28817