← 概念辨析に戻る

Concept Contrast Fable

先に全部読んでから書く二モジュールアーキテクチャと、上文だけを見て下へ書き続ける単一モジュールアーキテクチャ

先に結論:エンコーダ・デコーダアーキテクチャには二つの部分がある。エンコーダは入力系列を消化して成熟した内部表現にし、デコーダはその内部表現を展開して出力系列にする。純デコーダアーキテクチャには部分が一つしかなく、次のトークンを生成するたびに、以前に生成されたトークンと最初のプロンプトだけを参照する。前者はまず入力についての全体的理解を内部に構築してから生成し、後者は見ながら書き、別個の消化段階がない。両アーキテクチャともテキストを生成するが、「入力の理解の仕方」は全く異なり、これが翻訳や要約にはエンコーダ・デコーダが適し、自由な対話には純デコーダが適することを決める。

エンコーダ・デコーダアーキテクチャには二つの部分がある。エンコーダは入力系列を消化して成熟した内部表現にし、デコーダはその内部表現を展開して出力系列にする。純デコーダアーキテクチャには部分が一つしかなく、次のトークンを生成するたびに、以前に生成されたトークンと最初のプロンプトだけを参照する。前者はまず入力についての全体的理解を内部に構築してから生成し、後者は見ながら書き、別個の消化段階がない。両アーキテクチャともテキストを生成するが、「入力の理解の仕方」は全く異なり、これが翻訳や要約にはエンコーダ・デコーダが適し、自由な対話には純デコーダが適することを決める。

寓話

訳館の二つの翻訳プロセス:全文を腹に飲み込んでから吐き出すか、一句聞いて一句訳すか

京の訳館には二つの班の訳者がいた。甲班の者は仕事を引き受けると、まず全文を最初から最後まで二度黙読し、頭の中に関係図を描く——誰が誰と仇なのか、どの出来事が先に起きたのか、最後の段落の結論が前文のどの証拠と結びつくのか。図を描き終えてから、ようやく筆を執って翻訳する。翻訳時には後段の内容を前倒しして冒頭で語ることがよくある。原文の叙述順と訳文の慣習が異なるためだが、意味はゆがめてはならない。

乙班のスタイルはまったく違った。彼らは最初から始め、最初の文を読んだら最初の文を訳し、訳し終えてから次の文を見る。全体を通して後文を見ない——どうせ後文はまだ訳されていないし、必要もない。「彼はロンドンという名の都市へ向かった」という文は、乙班は「都市」まで読んで訳し終えるとそれで終わりだった。訳し終えたら次の文を読み続け、前の言い回しを振り返って調整することはない。

甲班と乙班は手紙の翻訳ではほぼ同じ出来だった——一通三百字、冒頭に挨拶、中ほどで用件、末尾に署名と、順序が自然に合う。しかし議事録になると差が炸裂した。議事録は逆順で書かれていた:まず三日目の採決結果を述べ、それから一日目に戻って背景を説明する。甲班は三日分を読み終えて訳すとき、時間軸を正した——一日目を最初に置いた。乙班は原文の順に訳し、三日目の採決が先に出てしまい、読者は戸惑った:この人はまだ会議も始まっていないのに投票したのか?

また、簡潔な要約が必要な長い公文が来た。甲班はまず全文を読み、核心をつかんだ——これは経費請求の公文で、核となる理由は「糧倉の漏水」だった。そこで漏水を中心に要約を書いた。乙班は最初から一文ずつ要約に訳し、最初の二段落は役所の組織構成の紹介だったため、乙班はそれを主要な内容とみなし、漏水の段落に訳し着いた時にはもう余白がなかった。要約は機構紹介になり、経費請求の理由にはならなかった。

しかし甲班が損をする時もあった。あるリアルタイム対話の転写——二人が口論し、各句が前の句に反駁している。乙班は一句聞いて一句訳し、反応が速く、詰まらず、対話の流れが自然だった。甲班は相手が一回合話し終え、消化してから訳そうとし、三秒遅れた。口論のリズムが乱れ、発言者は翻訳が躊躇していると思った。

訳館は後に新しい規則を定めた:書簡と対話は乙班に任せる、順序自体が内容の一部であり、再構成する必要がないからだ。公文、議事録、論文は甲班に任せる、入力は全体として理解されてから出力される必要があり、全篇の論理構造が単文の流暢さより重要だからだ。

老提調は規程の扉ページに一言書き添えた。違いは翻訳がうまいかどうかではなく、翻訳の前に全文に対して総合的な判断を下すかどうかにある。甲班は判断を下さずに筆を取るのは賭けだと言い、乙班は判断を下す頃には向こうの客はもう帰ってしまうと言う——それぞれに筋の通った言い分だった。

エンコーダ-デコーダ

エンコーダとデコーダの二つのモジュールからなるアーキテクチャ。エンコーダは入力シーケンス全体を内部表現に処理し、デコーダはそのグローバル表現に基づいて出力シーケンスを段階的に生成する。代表例は T5 と BART で、翻訳や要約などグローバルな理解を要するタスクが得意。

純粋なデコーダー

デコーダモジュールのみを含むアーキテクチャで、自己注意機構により生成済みの token と入力プロンプトに注目する。次 token を予測するたびに前文のみに依存する。代表は GPT シリーズで、自由なテキスト生成と対話を得意とする。

物語の対応

  • 甲班はまず全文を読んでから書き始める:エンコーダ-デコーダ、まず全体を理解してから出力を生成する
  • 乙班は一句読んでは一句訳す:純粋なデコーダ、自己回帰的にトークンを一つずつ生成
  • 議事録を逆順にたどる二つの翻訳:情報を再構成する必要があるタスクが乙班の限界を露呈した
  • 公文摘要乙班は重点を誤って捉える:入力が段落をまたいで依存する場合、全体理解が必須
  • リアルタイム対話甲班は三秒遅れた:低遅延のストリーミング応答が必要な場合、純粋なデコーダの方が適している
  • 訳館の新規分区タスク:2つのアーキテクチャにはそれぞれ長所があり、タスクタイプがアーキテクチャ選定を決める

モデル選定とタスク適合に落とし込む

入力を深く理解して再構成するタスク——翻訳、長文要約、構造化情報抽出——では、エンコーダ・デコーダアーキテクチャの全体的な符号化能力がより一貫した結果をもたらす。流暢な生成と高速応答が求められるタスク——対話、創作、コード補完——では、純粋なデコーダの自己回帰生成がより自然だ。現実の対話シーンはほとんど純粋なデコーダに占められているが、「まず理解してから書く」必要がある業務シーンでは、T5 や BART といったエンコーダ・デコーダモデルが一部の指標で依然として優れていることを忘れてはならない。モデルを選ぶ前に、入力全体を消化する必要があるかを見極めよう。

京ICP备2026014272号