← 概念解説に戻る

Concept Fable

単語埋め込み

先に結論:Word Embedding は単語やトークンをベクトルで表現する技術で、モデルが空間上の位置によって語同士の統計的関係や意味的関係を捉えられるようにする。近い語はベクトル空間で通常より近くに位置し、関係のパターンもモデルが利用できる。これは初期の NLP、意味検索、現代の embedding 思想の基礎だが、単語ベクトルは訓練コーパスに含まれる偏見、曖昧さ、文脈の欠如を継承する。

Word Embedding · Embeddings

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

言葉が地図に住みついた

白紙城の辞書はとても厚く、どの語も一ページの紙に住んでいた。「医者」を調べるには医の部をめくり、「病院」を調べるにもめくり、「看護師」はまた別の場所だった。それらは明らかに一緒に現れるのに、互いを知らないようだった。

学堂の子どもたちは言葉をすぐ暗記するが、「猫」と「虎」はどちらが近いか、「猫」と「帳簿」はどちらが遠いかと問われても、辞書は距離を教えてくれない。先生はまず番号で解決した。一ページ目は一、二ページ目は二。番号は保管には便利だが、隣り合うページの無関係な二語を荒唐にも近く見せてしまう。

ある地図師が、用法に従って語に住まいを割り当て始めた。病人、薬、手術とよく一緒に現れる語は同じ街区に住み、航海、風、船とよく一緒に現れる語は港のそばに住む。語は初めて方向と距離を持った。近い言い方を探し、推薦を作り、クエリを理解するのは、紙のページをめくるよりずっと滑らかになった。

しかし地図は旧市街の問題も受け継いだ。古い新聞が特定の職業をある種の人々と常に並べていると、地図はその偏見を街路に描き込む。一つの語に二つの意味があれば、気まずい位置に押し込まれることもある。

後に、都市は文に応じて変化する地図を発明した。同じ語が異なる文脈で、一時的により適した街区に引っ越せる。先生は後に語を地図に引っ越させた。よく一緒に現れ、同じ類の文で置き換えられる語は近くに住み、関係の少ない語は遠くに住む。

子供たちは初めて図を見て興奮した。「医者」は「看護師」に近く、「虎」は「猫」に近いが、「帳簿」からは遠い。「りんご」は果物と木工所の間にまだ立ち、言葉が多重の身分を持つことを皆に思い出させた。

この小さな事故で人々は立ち止まり振り返った。彼らは急いでより響きの良い言い方に変えるのではなく、誤った入口、誤解されたルール、保持すべき境界を一つずつ書き出した。

この地図は辞書の語義を置き換えられないが、語と語の間に距離を与えた。多くの判断は、ついにページ番号や字面の順序だけに頼らなくなった。老先生は今も最初の語彙地図を保存している。それは、語は単なる記号ではなく、機械が計算できる空間上の位置にもなり得ると皆に理解させたからだ。

明らかにする

この物語が語るのは:単語埋め込み

Word Embedding は単語やトークンをベクトルで表現する技術で、モデルが空間上の位置によって語同士の統計的関係や意味的関係を捉えられるようにする。近い語はベクトル空間で通常より近くに位置し、関係のパターンもモデルが利用できる。これは初期の NLP、意味検索、現代の embedding 思想の基礎だが、単語ベクトルは訓練コーパスに含まれる偏見、曖昧さ、文脈の欠如を継承する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 言葉の地図:ベクトル空間
  • 隣接する棚:意味や用法が近い語
  • 辞書順のみ:離散シンボルは類似関係を表現できない
  • 旧コーパスの街路:訓練データにおける統計的共起
  • 運び間違えた言葉:曖昧さとバイアス
  • その後のコンテキスト地図:静的単語ベクトルから文脈表現へ

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

embeddingword2vecGloVetoken embedding
京ICP备2026014272号