いつもお世話になっております。Qlipper運営・株式会社トドオナダです。
「意味集合は座標である」第2回をお届けいたします。
────────────────────────
トークンのベクトルは、固定回数の処理ステップを通過するたびに書き換わります。
各処理ステップではAttentionが他の位置から情報を移し、MLPがその語に関する知識を加算します。
加算された結果は元のベクトルに足され（残差接続）、前の処理ステップまでの内容は消えずに重なっていきます。
たとえばプロテインメーカーの社名のトークンには、
処理ステップを通過する中で「食品メーカー」「国産」「プロテイン」といった知識が加算されていきます。
最終的なベクトルは、これらの意味の成分の総和です。
意味が足し引きできる成分であることは、次の関係で示せます。
王 − 男 ＋ 女 ≒ 女王
「王」から「男」の成分を引き、「女」の成分を足すと「女王」の位置に来ます。
文脈を持たない単語ベクトルで説明される性質で、LLM内部の文脈ベクトルそのものではありません。
ただ、意味が語ではなく足し引きできる量として扱われていることはよく分かります。
社名の座標も同じで、一緒に書かれた語の成分が加算された結果です。
────────────────────────
それができるのが、ディギディギです。
想起質問スターで、「◯◯といえば？」という質問の語がどんな成分を持つかをラベルで確認できます。
自社名に加算すべき成分が分かります。
▼ 本記事の全文
▼ ただいま1 on 1ミーティングを開催中です
LLMOの疑問やお悩みを、ディギディギを使いながらご相談いただけます。
▼ サービス資料・LLMO事前学習対策チェックシート(無料)
────────────────────────
次回もどうぞお楽しみに。
何かご不明点がございましたら、お気軽にご連絡ください。
どうぞよろしくお願いいたします。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
株式会社トドオナダ
Qlipper運営事務局
〒110-0005
東京都台東区上野7-11-13 弥彦ビル302
03-6453-6886
info@todo-o-nada.com
https://qlipper.jp/
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
