いつもお世話になっております。Qlipper運営・株式会社トドオナダです。
「AI検索のパーソナライズ」第3回をお届けいたします。
────────────────────────
パーソナライズの仕組みを理解するには、AIが文章をどう受け取っているかを先に押さえる必要があります。
AIは文字をそのまま読んでいません。
文章はまず「トークナイザ」という処理を通ります。
トークナイザは文字列を「トークン」という単位に切り分け、各トークンに辞書上の番号を振る仕組みです。
日本語なら1〜数文字、英語なら単語の一部が1トークンになります。
たとえば「プレスリリース」は、1語ではなく複数のトークンに分かれて番号になります。
AIモデルが受け取るのは、文字ではなくこの番号の列です。
トークナイザ自体は辞書とルールでできた独立したプログラムで、学習されたAIモデルの外側にあります。
広報にとって重要な点が一つあります。
表記が変わればトークンの列も変わる、ということです。
「株式会社◯◯」と「◯◯（株）」は、人間には同じ社名でも、AIには別の番号列として届きます。
発信する記事で社名の表記が揺れると、学習の統計が分散します。
次回は、この番号列がその先でどう処理され、パーソナライズがどこに入るかを説明します。
────────────────────────
それができるのが、Qlipperです。
Qlipperのクリッピングで、自社名の表記ごとに記事を収集し、どの表記で言及されているかを確認できます。
ディギディギの計測と合わせて、表記揺れの実態を先に把握できます。
▼ ただいま1 on 1ミーティングを開催中です
LLMOの疑問やお悩みを、ディギディギを使いながらご相談いただけます。
▼ サービス資料・LLMO事前学習対策チェックシート(無料)
────────────────────────
次回もどうぞお楽しみに。
何かご不明点がございましたら、お気軽にご連絡ください。
どうぞよろしくお願いいたします。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
株式会社トドオナダ
Qlipper運営事務局
〒110-0005
東京都台東区上野7-11-13 弥彦ビル302
03-6453-6886
info@todo-o-nada.com
https://qlipper.jp/
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
