404

近年急速に能力を高めている言語モデルですが、事実のでっち上げがあったり最新の出来事に対応できなかったりとまだ課題もあります。これらに対処するため、検索エンジンなどのツールを使えるように言語モデルを拡張する研究が最近注目を集めています。その潜在的な影響力の大きさから、多くの研究者やエンジニアがこの分野に参入し始めています。そのため、ツール拡張された言語モデルは 2023 年の大きな注目技術の一つとなることが予想されます。そこで、本記事ではツール使用に関連する研究のうちいくつかをご紹介します。

先週、OpenAI から最新の大規模言語モデル GPT-4 が発表されました。現時点で性能レベルで最高と考えられる GPT-4 では、知能試験で人間を上回る成績を残し、学術系のベンチマークにおいてもこれまで発表された言語モデルを大きく上回る SOTA を更新しています。一方、発表された論文内には、モデルのスケール、訓練データや計算量についての情報が全く無く、「これはアカデミックの論文ではなく、単なるプロダクト宣伝である」という批判もコミュニティ上で続出しています。本記事では、この GPT-4 について、テクニカル・レポートを読み解き、分かる範囲でその技術を解説したいと思います。