次の語の引き方

箱には語のラベルが貼ってあり、中には単語カードが入っています。ここに入っているのは、次の5つの文を切り分けたカードだけです。

箱の中のカードは、上の5つの文から機械的に作ったものです。「猫が」の箱には、5つの文の中で「猫が」の次に来た語だけが入っています。カードの枚数は、その続き方が何回出てきたかを表します。1枚しかない箱は1回しか出てこなかったということで、そこでは次の語が決まってしまいます。中身は人が選んだのではなく、文章を数えた結果です。

まず「START」の箱から、中を見ないでカードを1枚引きます。読んだら、そのカードを同じ箱に戻します。そして、いま読んだ語と同じラベルの箱へ移ります。これをくり返すだけです。

出典: 尾崎士郎訳『現代語訳 平家物語』（青空文庫）／ 夏目漱石『坊っちゃん』（青空文庫）。どちらも著作権が切れています。

色がついているところが、原文をそのまま写した部分です。読ませた文章に7語以上つながって同じ並びで出てくるところを塗っています。色のついた語が文全体に占める割合がコピー率です。
7語という区切りには理由があります。直前のN語を見て次の語を選んでいる以上、N+1語ぶんが原文と一致するのは当たり前で、Nを5まで上げれば6語までは必ずそろってしまいます。7語以上続いたときだけ「写した」と数えれば、Nをどれにしても同じものさしで比べられます。

箱は数千個あるので、全部を机に並べることはできません。いま使っている1個だけを開いて見せています。

日本語は英語と違って語と語のあいだが空いていないので、どこで区切るかを機械が決めるのは、それだけで一つの研究テーマです。ここではその処理を省いて、区切り方を自分で選んでもらいます。

入力された日本語に空白がなかったので、1文字ずつに切り替えました。空白なしの日本語をそのまま空白で区切ると、文がまるごと1語になって箱がひとつも作れません。語ごとに区切りたいときは、「今日 は 雨 が 降っ た 。」のように空白を入れてみてください。

ここまでのやり方は、直前のN語を全部同じ重みで見ていました。だから「もっと前まで見たい」と思ったら、Nを増やすしかありません。そしてNを増やすと、箱が爆発して丸暗記になりました。

STEP 1 で「犬が猫を追いかけた。それはおいしかった。」が出てしまったのは、「それは」の箱に来た時点で、その前が「追いかけた。」だったことを忘れていたからでした。Attentionは、そこで「追いかけた。」を強く見ることを学習できます。文の長さが変わっても、見るべき語が遠くにあっても、重みのつけ方を変えるだけで対応できます。

ChatGPTのようなAIも、やっていることは次の語を選ぶことのくり返しです。この点はSTEP 1 の箱と同じで、ここに違いはありません。

いちばん下の行だけは、この教材の別のアプリで体験できます。引いたおはじきを戻さずに、勝てば増やし負ければ減らす。それだけで箱の中身が書き換わっていきます。

次に進む「どこまで縮むか」は、ここと同じ「次に来るものを当てる」話を、文を作る側ではなく短く書く側から扱います。よく当たる予測ほど短いビット数で書ける、という関係でつながっています。「合わせすぎる曲線」は学習シリーズのアプリで、ここで見た丸暗記が、点に合わせすぎた曲線というかたちで現れます。