AIとの二人三脚で
LLMの歴史を爆速で駆け抜ける

01

やっていること

AI に言葉を覚えさせる手順は、実はとてもシンプルです。各モデルで、この5つを繰り返しています。

1. 文章を集める青空文庫の小説、Wikipedia、Web の文章など。モデルが進むほど、たくさん読ませます(モデル8では約44億字)。
2. 言葉を小さく分ける文章を「トークン」という小さなかたまりに分けます。AI にとっての「1文字」です。
3. 「次の言葉当て」を繰り返す文章の途中までを見せて、次のトークンを当てさせます。外れたら少し直す。これを何万回も繰り返すのが「学習」です。
4. 賢さを測る学習に使っていない文章をどれだけ当てられるか(損失)と、約190問の常識テストで測ります。
5. 会話を教える「質問と答え」の例で追加の練習をさせて、質問に答えられるチャット版を作ります(モデル6から)。

02

モデルの進化

モデル1から順番に、脳を大きくし、読ませる文章を増やしてきました。 それぞれのページで、実際に文章を書かせたり、常識テストの結果を見たりできます。

03

(参考)公開されている日本語モデルとの比較

rinna 社が2021年に公開した日本語の GPT-2(small・medium)と、同じ物差しで比べました。 rinna small はモデル8と、rinna medium はモデル9と、ほぼ同じ大きさです。

緑の太字が、その行で一番良い値です。

同じ書き出しで書かせた文章

それぞれ、ランダムに書かせた数通りの中から1つを選んで載せています(不適切な内容が混ざった文章は除きました)。

わかったこと

• 次の文字を予測する力では、モデル9は、同じ大きさの rinna medium を、青空文庫で大きく(約0.38)、Web でも約0.11上回りました。Wikipedia は、ほぼ互角(約0.01差)でした。
• 知識(常識テスト)では、モデル9はモデル8より21問増えましたが、まだ rinna の2つに届いていません。rinna は、今の日常の文章(Web)をさらに多く学習していると考えられます。
• 文章のまとまりは、モデル9で大きく良くなりました。「秋の食べ物は、秋刀魚、栗、栗きんとん…」のように、話題に合った言葉が続くようになっています。

比べ方: 学習に使っていない同じ段落(青空文庫 約157万字・Wikipedia 約271万字・Web 約406万字)で測りました。 rinna は Wikipedia を学習しているので、この Wikipedia の段落を学習で見ている可能性があります(そのぶん有利)。 青空文庫は、rinna は学習していないので、モデル7・8が有利です。 rinna のモデル: japanese-gpt2-small・japanese-gpt2-medium(MIT ライセンス)。

訂正(2026年10月10日): 9月に載せた rinna の損失は、rinna の説明どおりに英字を小文字にしてから読ませる処理が、測るプログラムの不具合で効いていない状態で測った値でした。 そのため rinna に不利な値(Wikipedia・Web で0.08〜0.18大きい)になっていました。正しく測り直した値に直し、それに合わせて「わかったこと」も直しました(モデル9の Wikipedia での差は約0.19 → 約0.01)。常識テストの正解数は変わりません。

1B 級のモデルとの比較(モデル10)

約10億パラメータのモデル10は、2022〜2024年に公開された同じくらいの大きさの日本語モデルと比べました。 上と同じ段落に加えて、どのモデルも学習していない文章として、2026年10月に新しく作られた Wikipedia の記事(393記事・約57万字)でも測りました。

• 次の文字を予測する力では、青空文庫・Wikipedia・Web の3つで、モデル10が一番よい値でした(モデル9からも、3つとも0.12〜0.21改善)。 ただし、この3つはモデル10が学習した文章と同じ出どころなので、モデル10に有利です。
• どのモデルも学習していない新しい Wikipedia の記事では、モデル10は rinna 1B と LLM-jp-3 980M を上回りましたが、LLM-jp-3 1.8B には届きませんでした。
• 知識(常識テスト)は、rinna 1B とほぼ同じ(130問と129問、損失 0.957 と 0.958)でした。 LLM-jp-3 は、モデル10の約100倍の文章(約2.1兆トークン)で学習していて、知識では大きく上回ります(07 で詳しく)。

すべて2026年10月に、このプロジェクトで同じやり方で測りました。rinna 1B は、語彙に無い文字が約0.5%あり、その文字は「知らない文字」の印1つで予測すればよいので、少し有利です。 モデル: rinna japanese-gpt-1b(MIT ライセンス)・LLM-jp-3 980M・LLM-jp-3 1.8B(Apache 2.0 ライセンス)。

04

(参考)LLM 発展の歴史

ここ10年ほどで、LLM は急速に大きく、賢くなりました。2024年からは「考えてから答える」モデルや、パラメータを公開したモデルも大きく伸びています。A-GPT のモデル8は、2019年の GPT-2 small と同じくらい、モデル9は GPT-2 medium と同じくらい、モデル10は GPT-2 large と XL の間の大きさです。

パラメータ数は、発表された値のおおよその数です(いくつかの大きさがあるものは、代表的な値か範囲)。「推定値」は、開発元が公表していないため、報道や研究者の推測(論文での推定など)による値で、実際とは大きくちがう可能性があります。最近のトップモデルは、パラメータ数を公表しておらず、信頼できる推定値もほとんどありません。「一度に使うのは」とあるモデルは、たくさんの「専門家」の中から、言葉ごとに一部だけを使う作り(MoE)で、全体は大きくても計算は軽くなります。2024年以降の内容は、2026年9月にインターネットで調べたものです。

05

用語集

モデルの説明に出てくる言葉です。タップすると説明が開きます。

06

(参考)LLM の学習程度をはかる

モデルがどのくらい学習できたかは、主に「損失」という数字で測ります。このプロジェクトで使っている損失の見方を説明します。

損失とは

LLM は、文章の続きとして「次に来るトークン」を、確率で予想します。損失は、本当に来たトークンに、どれだけ低い確率しか付けられなかったか(外れ具合)を表す数字です。 学習に使っていない文章(検証データ)の、すべてのトークンで平均して測ります。小さいほど、上手に予想できています。

損失 = −log(確率)。確率を対数(自然対数)にしてマイナスを付けたものです。

1トークンあたりの損失と、1文字あたりの損失

1トークンあたりの損失は、トークン1つごとの外れ具合の平均です。ところが、トークンの大きさはモデルによってちがいます (モデル4は平均1.4文字、モデル8は平均1.8文字で1トークン)。大きなトークンほど、当てるのが難しいので、1トークンあたりの損失は大きく出ます。 そこで、外れ具合の合計を、文章の文字数で割った「1文字あたりの損失」を使うと、トークンの分け方がちがうモデルどうしでも比べられます。

青空文庫の同じ検証データ(52作品)で測った値。1トークンあたりの損失は、語彙を増やしたモデル5で一度大きく上がっていますが、 1文字あたりの損失で見ると、モデルが進むたびに、きちんと下がっています。

平均候補数(損失と、迷っている候補の数)

損失は、そのままでは実感しにくい数字です。そこで、損失を X、平均候補数を Y として、次の指数関数で計算すると、 「次に来るものを、平均で何個の候補の中から迷っているか」に直せます。

Y = e^X

e は約2.718の数です。Y を平均候補数(専門用語ではパープレキシティ)と呼びます。 たとえば損失 X が2.30なら、Y = e^2.30 ≈ 10 で、10個の候補の中から迷っているのと同じくらいの当たり具合です。

表の目安の欄は、1文字あたりの損失の例です。最先端の AI の値は公表されていないため推定です。 文章には本質的に予測できない部分(次に誰が何を言うかなど)があるので、どんなに賢いモデルでも損失は0にはなりません。

モデルごと・文章の種類ごとの損失(1文字あたり)

小さいほど、次の文字を上手に予想できています。小さな文字は、平均候補数です。

• Web(今の日常の文章)と Wikipedia が、ふだん使う日本語の予想のうまさに一番近い物差しです。
• 青空文庫は明治〜昭和初期の小説なので、もともと予想しにくい文章です。モデル3〜9を同じ条件で並べるための、歴史の記録として残しています。
• 損失が小さくても、知識が多いとは限りません(モデル8は青空文庫と Wikipedia の損失で rinna small を上回りましたが、常識テストでは26問少なかった)。知識は常識テストで測ります。

緑の太字は、一番良い値です。すべて、学習に使っていない同じ段落(知らない文字を含む段落を除いたもの)で測りました。モデル4・5は語彙が小さく、Wikipedia や Web の文章に出てくる文字の多くを知らないので、損失がとても大きくなっています。

語彙の広さと比べると、どこまで絞り込めているか

モデルは、次のトークンを、自分の語彙(知っているトークン)全部の中から選びます。 1トークンあたりの損失から平均候補数を出して、語彙全体と比べると、「何万個の中から、何%まで絞り込めているか」がわかります。

モデル8なら32,000個のトークンから74個(0.23%)まで絞り込めていることがわかります。 選ばれた74個の候補は、辞書からランダムに選ばれたものではなく、高次元ベクトル空間上で「文脈的にあり得る、意味が近い単語」の集合体です。

平均候補数 = e^(1トークンあたりの損失)。モデル8の74個(0.23%)は、Web の文章で測った値です。

文章の質を決める箇所では、候補はもっと多い

平均候補数は、すべての文字の「外れ具合」の平均から計算した値です。 ところが文章には、助詞の「の」「は」や「。」のように、ほぼ確実に当てられる文字がたくさんあります。そうした文字は損失がほぼ0(候補1個)なので、 平均を下げています。そのぶん、文章の質を本当に決める箇所(どの言葉・どの事実を選ぶか)では、モデルは平均よりずっと多くの候補の中で迷っています。

仮に、文章の質を決める箇所が全体の40%で、残りの60%はほぼ確実に当てられるとします。 すると、平均の損失 X は、決め手の箇所の損失の0.4倍になります。決め手の箇所の候補数を Y とすると、

Y = e^{X ÷ 0.4} = e^2.5X

平均候補数(e^X)より、ずっと急な曲線になります。損失が0.1下がるだけで、決め手の箇所の候補数は約22%減ります(e^−0.25 ≈ 0.78倍)。 損失のわずかな改善が、文章の質を決める箇所での、大きな絞り込みにつながります。

「40%」は、考え方を示すための仮の数字です。実際には、文章や言葉によって、当てやすさは連続的にちがいます。

07

(参考)LLM の知識をはかる

損失は「次の文字をどれだけ上手に当てられるか」を測る物差しでした。でも、文章を上手に続けられることと、正しい知識を持っていることは、同じではありません。このプロジェクトで、モデルの知識をどう測っているかを説明します。

常識テストのしくみ

常識テストは、地理・歴史・生活・科学など9分野、全189問の4択問題です。ただし、モデルに「問題文」を読ませて答えさせるのではありません。 「日本の首都は」のような書き出しのあとに、4つの選択肢のどれが続くのが一番自然かを、モデルの確率で比べます。

選択肢ごとに、その言葉が続く確率(1トークンあたり)を計算し、4つの合計が100%になるように割合に直します。一番高い選択肢が、モデルの答えです。 誰も答えを教えていないので、正解できたら、それは文章を読むだけで身につけた知識です。

緑の太字が正解を選んだモデル。太字の黒は、まちがった選択肢を選んだもの。

ほとんどのモデルが「東京」を選ぶ中、rinna 1B だけは「京都」を選びました。rinna 1B に「日本の首都は」の続きを書かせると、 「日本の首都は京都か、大阪か—日本思想史」のような、本の題名らしい文章を書きます。このテストが測っているのは、 「事実だと思っているか」ではなく、「その続きが文章として自然か」です。ほとんどの場合、自然な続きは正しい事実と一致しますが、いつもではありません。

正解数だけでは見えないこと

正解数はわかりやすい物差しですが、弱点が2つあります。

• 当てずっぽうでも約47問(4分の1)は正解します。何も知らないモデルでも、0問にはなりません。
• 「ぎりぎりの正解」と「自信を持った正解」を区別できません。4択で、正解に35%・ほかの3つに30%・20%・15%を付けても、正解に99%を付けても、同じ1問です。 そのため正解数は、境目にある問題が少し動くだけで上下します。学習中のモデル10では、学習を2,000回進めるごとに 117問 → 125問 → 126問 と増えましたが、 下の「常識テストの損失」はほとんど変わっていませんでした(1.035 → 1.047 → 1.037)。

常識テストの損失

そこで、正解・不正解に丸める前の、正解の選択肢に付けた確率 p を使います。文章の損失と同じように、−log をとって、全問で平均します。

損失 = 平均(−log p)

当てずっぽう(どの問題も25%)なら、損失は log 4 ≈ 1.386 です。全問に自信を持って正解すれば、0 に近づきます。 正解数とちがって、「惜しい外れ(正解に40%)」と「大外れ(正解に1%)」をきちんと区別し、とくに自信を持った外れを強く数えます。

文章の損失を「平均候補数」に直したのと同じように、e^損失 を計算すると、4択を平均で何択まで絞れているかがわかります。 たとえば損失 0.556 なら e^0.556 ≈ 1.7 で、4択を約1.7択まで絞れている計算です。 反対に、4より大きくなる(たとえばモデル7の4.4択)のは、当てずっぽうよりも迷っている、つまり、まちがった選択肢に自信を持ってしまっている状態です。

モデルごとの比較

正解数と常識テストの損失は、ほぼ一直線の関係になります(モデル10より前の8つのモデルで、正解数 ≈ 202 − 80 × 損失。モデル10は、この式で125問のところ、実際は130問でした)。 損失が0.1下がると、正解は約8問増える計算です。モデル7・8は、正解数は当てずっぽうより多いのに、損失は当てずっぽう(1.386)より悪いか、ほぼ同じです。 外すときに、まちがった選択肢へ強い自信を持っているためです。

問題ごとの自信の内訳

正解に付けた確率で問題を分けると、「どの問題も半分くらいわかっている」のか、「わかる問題と、まちがって覚えている問題に分かれている」のかが見えます。

確率が一番高い選択肢がモデルの答えになるので、正解に50%以上を付けた問題は必ず正解、25%未満の問題は必ず不正解です。30〜50%の問題は、正解したりしなかったりします。

• モデル9の正解112問のうち、自信を持って(50%以上)答えられたのは93問です。残りの19問は、迷いながらの正解でした。
• 大きいモデル・たくさん学習したモデルほど、上の2行(わかっている)が増え、一番下の「確信して外れ」が減ります。知識が増えるだけでなく、まちがった思い込みも減っていきます。

正解に付けた確率の平均との関係

「正解に付けた確率の平均」と「常識テストの損失」は、どちらも同じ p から計算するので、独立した物差しではありません。ちがうのは、平均のとり方です。 確率の平均では、大外れ(p ≈ 0)も「0に近い1問」にすぎませんが、損失では −log p がいくらでも大きくなります。そのため、いつも次の関係が成り立ちます。

損失 ≥ −log(p の平均)

この差が大きいほど、自信を持って外す問題が多いということです。モデル9と rinna small は、確率の平均ではほぼ同じ(49.6% と 51.1%)ですが、 損失はモデル9の方が少し悪く(1.139 と 1.060)、まちがった思い込みが少し多いことがわかります。

文章の損失と知識は、別のもの

Web の文章の損失では、モデル10が一番よく、モデル9も上から3番目ですが、知識(正解数)では、LLM-jp-3 の2つに大きく届きません。モデル9は、損失では上位なのに、知識は下から2番目です。損失の順番と、知識の順番は一致しません。文章の文字の大部分は、「の」「は」「です。」のような、 言い回しや文法で決まる部分です。損失は主に「その種類の文章の書き方に、どれだけ慣れているか」で決まり、事実を当てる部分(「日本の首都は東京」の「東京」)は、全体のほんの一部です。 モデル9・10は、この検証データと同じ出どころの Web の文章で学習しているので、書き方には慣れています。一方、LLM-jp-3 は約2.1兆トークン(モデル9の約300倍)の、はるかに幅広い文章で学習していて、知識の量で大きく上回ります。

分野ごとに見ると

• 歴史・地理・科学のような、百科事典に書いてある知識で、差が大きく開いています。たくさんの文章を読むほど、同じ事実に何度も出会えるためです。 モデル10がモデル9から一番伸びたのも、歴史・文化(+6問)と地理(+5問)でした。
• 数・時間は、どのモデルも苦手です。たとえば「一週間は」の続きに「七日」を選んだモデルは1つもありませんでした(モデル9は「三日」に88%、モデル10も「三日」に54%)。 「一週間は七日」のような当たり前すぎる事実は、文章にわざわざ書かれることが少なく、文章を読むだけでは身につきにくい知識です。

この測り方の限界

• 問題が189問と少ないので、正解数は数問くらい上下します。損失の方が安定していますが、それでも±0.01ほどぶれます。
• 問題の作り方の影響を受けます。「食事の前に言うあいさつは」では、モデル9は「ごちそうさま」に98%を付けました。一番成績のよい LLM-jp-3 1.8B でも、正解の「いただきます」には5%しか付けていません。 「食事の前に言うあいさつは『いただきます』、食事の後は『ごちそうさま』」のような文で、2つの言葉がいつも一緒に出てくるので、どちらが続くかを書き出しだけで決めにくいためと思われます。
• この形のテストは、文章を続けるモデル(事前学習モデル)の知識を測るためのものです。質問に答えるチャット版は、答え方が変わるので、同じ物差しでは比べていません。

知識を増やすには

研究から、次のようなことがわかっています。

• 文章の「幅」を広げる: 同じ文章を何度も読むより、いろいろな文章を読む方が、知識は身につきます。このプロジェクトでも、モデル8 → 9 で、モデルを約3倍に大きくすると同時に Web の文章を大きく増やしたら、常識テストが21問増えました。
• 同じ事実に、いろいろな言い方で何度も出会わせる: 1つの事実を取り出せるように覚えるには、言い回しを変えて数十回ほど出会う必要があると報告されています。教科書のような説明文や、質問と答えの形に書き直した文章を学習させると、少ない量で知識が伸びます。
• モデルを大きくする: モデルが覚えられる知識の量には上限があり、パラメータ1つあたり約2ビットと見積もられています。

すべての数字は、学習に使っていない同じ189問で、同じやり方(書き出しに続く選択肢の、1トークンあたりの確率を比べる)で測ったものです(2026年10月)。 rinna と LLM-jp-3 は、公開されている学習済みのモデルを、このプロジェクトで測り直しました。 研究の出典: Allen-Zhu・Li「Physics of Language Models」(知識の覚え方と、パラメータあたりの知識の量)、Gunasekar ほか「Textbooks Are All You Need」(教科書のような文章での学習)、Maini ほか「Rephrasing the Web」(文章の書き直し)。