いつもお世話になっております。Qlipper運営・株式会社トドオナダです。
「LLMのリアルタイム学習の現在と未来」第8回をお届けいたします。
────────────────────────
当社では、同一のプロンプトをモデル世代間で固定し、更新の前後で想起集合がどう変わるかを観測しています。
結果として、モデル世代の更新によって、特定条件における想起集合が変化するという現象を確認しています。
旧世代で安定して挙がっていた名前が新世代で外れ、逆に新しく入る名前がある。
入れ替わりは実際に起きています。
一つ、当社が守っている規律があります。観測から内部実装を断定しないことです。
想起集合が変わっても、その裏でどの学習手法が働いたかは非公開であり、確認できません。
言えるのは、入口である情報環境と、出口であるモデル出力の対応までです。
裏を返せば、出口の観測だけは誰にでもできます。
そして更新のたびに入れ替わりが起きる以上、一度想起集合に入ったからといって安泰ではなく、
外れたからといって終わりでもありません。
次の更新が、次の機会です。
その機会を捉えるには、更新の日に測れる体制が要ります。
同じ質問を、同じ条件で、世代をまたいで。
────────────────────────
それができるのが、ディギディギです。
同じ質問を繰り返し投げ、自社が想起集合に入った回数の割合を想起シェアとして計測できます。
モデル更新の前後で比較すれば、世代間の変化が数字で残ります。
▼ ただいま1 on 1ミーティングを開催中です
LLMOの疑問やお悩みを、ディギディギを使いながらご相談いただけます。
▼ サービス資料・LLMO事前学習対策チェックシート(無料)
────────────────────────
次回もどうぞお楽しみに。
何かご不明点がございましたら、お気軽にご連絡ください。
どうぞよろしくお願いいたします。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
株式会社トドオナダ
Qlipper運営事務局
〒110-0005
東京都台東区上野7-11-13 弥彦ビル302
03-6453-6886
info@todo-o-nada.com
https://qlipper.jp/
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
