自然言語処理ベンチマークの問題を解くには、条件、手続き、例外などを正しく扱うことが必要となる。従来の考え方では、自然言語の文の意味を形式言語により表現し、証明としてタスクの解を求めることが目指されてきた。しかし、今日のタスクでは、暗黙の前提や外部知識も必要となり、完全な意味表現を大規模に構築することは、実用上困難である。一方で、LLMやCoTなどの解き方では、解を得る推論過程を厳密に検査・分析することができない。 　本研究では、この問いに対して、自然言語のタスクをプログラムに変換して解くことを提案する。自然言語のテキストの中には、プログラムに変換して実行可能な表現が埋まっており、それらを本研究ではcomputablesと呼ぶ。computables はプログラムであるため、タスクの結果に対して、それをどのように解いたのかの明確な根拠を与える。本研究ではプログラム変換に、事前知識をRAGとして組み合わせて computables を生成し、それを反復的に改良する。 　数学的推論、多段階推論、因果推論、ならびに規則や例外を多く含む法律・バイオメディカル分野のベンチマークにおいて、本手法は、テキストのみの推論および単発のコード実行を一貫して上回る性能を示した。さらに、得られたcomputables を吟味することで、自然言語にどのようなプログラム断片が埋まっているのか、その複雑さを検証することができる。本研究はベンチマークを解く上で必要となる条件や例外を実行可能な形式として明示化することで、証明志向の意味論と純粋なテキスト推論との間をつなぐ実用的な橋渡しを実現している。 参考文献 Haoyang Chen and Kumiko Tanaka-Ishii. Understanding Benchmark Language Under Weakened Formal Semantics. Transactions of the Association for…

本研究は、テキスト中の重複部分列に基づき、自然言語とLLMの差を考えるものである。長さm重複の数Dmは、高次 Rényi エントロピーと解析的に関連付けることができる。高次エントロピーを利用した解析結果では、人間の文書では、重複の情報量の、重複長mに対する増大は非常に遅く、事前情報に入念な参照構造を打ち立てて文書が進む性質を持っていることが浮き彫りになる。一方、LLMが生成するテキストでは、情報量の増大は人間のそれよりも速い。LLMの生成メカニズムがこの差を生み出している可能性があることが論じられている。 参考文献 Kumiko Tanaka-Ishii. Repeated Sequences Reveal Gaps between Large Language Models and Natural Language. Accepted to the 64th Annual Meeting of the…

ChatGPT などの大規模言語モデル（LLM）は、メタデータ作成、意味的情報の拡充、作品キャプション生成といった文化遺産分野のタスクにおいて、ますます広く利用されている。これらのタスクは、整理・管理されたメタデータに大きく依存するため、AI が生成した記述を評価するとともに、人手で整備されたメタデータが生成記述の質をどのように高めるのかを理解することが重要である。 本研究では、デジタル・ヒューマニティーズ（DH）の文脈において、陶磁器作品の記述を自動生成する手法を提案する。陶磁器は、絵画のような平面的な作品に比べて三次元的で記述が難しい一方、形状が比較的単純であるため生成品質の基本的な評価に適している。また、歴史的に広く用いられてきた資料でありながら、記録が不完全な場合も多いことから、記述生成の対象として重要である。 本研究では、11,566 件からなるオープンアクセスの Rijksmuseum データセットを用い、LLM（ChatGPT）と、類似作品を検索してそのメタデータを利用する RAG 強化型 LLM である TerraLex を比較する。実験の結果、RAG を用いた手法は、誤りが少なく、より正確で文脈情報を豊富に含む記述を生成し、人間の評価者からも一貫して高く評価された。これらの結果は、記述生成における RAG の有効性と、完全で高品質な人手によるメタデータの重要性を示している。TerraLex は、目録作成、様式比較、解釈に用いられる作品記述の完全性と明瞭性を高めることで、人文学研究を支援する。また、陶磁器資料に関する分かりやすい説明を提供することで、教育や一般向けの理解促進にも貢献する。本研究の新規性は、主として提案するワークフローと、メタデータ生成において実証されたその効果にある。 参考文献 Kaoru Shimabayashi and Kumiko Tanaka-Ishii. Retrieval-Augmented…

モード崩壊は、生成モデリングにおける継続的な課題であり、自己回帰的なテキスト生成においては、明示的なループから、多様性の段階的な喪失、さらには生成軌道の早期収束に至るまで、さまざまな形で現れる。本研究では、力学系の観点からこの現象を捉え直し、モード崩壊を、幾何学的崩壊によって状態空間の到達可能性が低下する現象として再解釈する。すなわち、生成の過程で、モデルの内部軌道が表現空間内の低次元領域に閉じ込められていくという見方である。 この見方は、モード崩壊が単なるトークンレベルの現象ではなく、記号的制約や確率のみに基づくデコーディング・ヒューリスティックだけでは安定的に解決できないことを示唆している。この観点に基づき、本研究では Reinforced Mode Regulation（RMR）を提案する。RMR は、Transformer の value cache における支配的な自己強化方向を制御する、軽量かつオンラインな状態空間介入手法であり、低ランク減衰として実装される。複数の大規模言語モデルを用いた実験において、RMR はモード崩壊を大幅に抑制し、標準的なデコーディングでは通常 2.0 nats/step 付近で崩壊が生じるのに対し、0.8 nats/step という極めて低いエントロピー率でも、安定した高品質な生成を可能にすることを示した。 参考文献 Du, X., and Tanaka-Ishii, K. Escaping Mode Collapse…