最先端の自然言語処理ベンチマークでは、条件、手続き、例外を規定する自然言語記述を解釈する能力が求められる。こうした記述は、しばしば暗黙の前提や外部知識にも依存している。しかし、証明論的保証を備えた完全な意味表現を大規模に構築することは、多くの場合、実用上困難である。また、純粋なテキストベースの推論では、推論過程を十分に検査・分析する手段が限られている。本研究では、形式意味論的な保証を弱めた場合に、ベンチマーク言語の理解をどの程度達成できるのかを検討する。 本研究では、この問いに対して、computables と呼ばれる実行可能表現を抽出することでアプローチする。computables は、実行可能性、実行トレース、実行時エラーなどの実行時挙動を通じて、意味的妥当性に関する操作的証拠を提供する表現である。さらに、外部知識からの検索を利用して、各ベンチマーク事例に対応する computables を生成し、反復的に改良する。数学的推論、多段階推論、因果推論、ならびに規則や例外を多く含む法律・バイオメディカル分野のベンチマークにおいて、本手法は、テキストのみの推論および単発のコード実行を一貫して上回る性能を示した。さらに、本研究の分析は、これらの computables が精度向上にとどまらず、スケーラブルかつ検査可能な意味的証拠を提供することを示している。すなわち、ベンチマーク言語が要求する条件や例外を実行可能な形式として明示化することで、証明志向の意味論と純粋なテキスト推論との間をつなぐ実用的な橋渡しを実現している。 参考文献 Haoyang Chen and Kumiko Tanaka-Ishii. Understanding Benchmark Language Under Weakened Formal Semantics. Transactions of the Association…

大規模言語モデル（LLM）が、局所的な流暢性を超えて自然言語の構造をどの程度捉えているのかを評価することは、依然として未解決の課題である。既存の評価手法は、主としてタスク性能や短い文脈における挙動に基づいており、生成テキストの長距離にわたる統計的構造については限られた知見しか与えない。本研究では、繰り返し部分系列に基づく補完的な評価枠組みを提案する。部分系列の分布を複数のスケールで分析し、それを高次 Rényi エントロピーと関連づけることで、有限長の条件下において、テキストが既に確立された構造をどのように再利用しているのかを調べる。 人間が書いたテキストと、長さを揃えた GPT 生成テキストを用いた実験により、冪乗則モデルは限定されたブロック長の範囲を記述できる一方で、観測されるエントロピー成長は、しばしば対数冪型の形式によって同等またはより適切に特徴づけられることが示された。複数のデータセットにわたり、自然言語は、個々のテキスト間にばらつきがあるにもかかわらず、観測可能な範囲で安定したエントロピー成長パターンと一貫した平均的挙動を示す。これに対して、GPT 生成テキストでは、モデルサイズに応じて推定指数に体系的かつ統計的に有意な変化が見られた。これらの結果は、繰り返し部分系列に基づくエントロピーが、長距離構造における体系的な差異を明らかにする定量的な構造診断指標であり、表面的な流暢性を超えて、自然言語と最先端の LLM 出力を区別できることを示している。 参考文献 Kumiko Tanaka-Ishii. Repeated Sequences Reveal Gaps between Large Language Models and Natural Language. Accepted to…

ChatGPT などの大規模言語モデル（LLM）は、メタデータ作成、意味的情報の拡充、作品キャプション生成といった文化遺産分野のタスクにおいて、ますます広く利用されている。これらのタスクは、整理・管理されたメタデータに大きく依存するため、AI が生成した記述を評価するとともに、人手で整備されたメタデータが生成記述の質をどのように高めるのかを理解することが重要である。 本研究では、デジタル・ヒューマニティーズ（DH）の文脈において、陶磁器作品の記述を自動生成する手法を提案する。陶磁器は、絵画のような平面的な作品に比べて三次元的で記述が難しい一方、形状が比較的単純であるため生成品質の基本的な評価に適している。また、歴史的に広く用いられてきた資料でありながら、記録が不完全な場合も多いことから、記述生成の対象として重要である。 本研究では、11,566 件からなるオープンアクセスの Rijksmuseum データセットを用い、LLM（ChatGPT）と、類似作品を検索してそのメタデータを利用する RAG 強化型 LLM である TerraLex を比較する。実験の結果、RAG を用いた手法は、誤りが少なく、より正確で文脈情報を豊富に含む記述を生成し、人間の評価者からも一貫して高く評価された。これらの結果は、記述生成における RAG の有効性と、完全で高品質な人手によるメタデータの重要性を示している。TerraLex は、目録作成、様式比較、解釈に用いられる作品記述の完全性と明瞭性を高めることで、人文学研究を支援する。また、陶磁器資料に関する分かりやすい説明を提供することで、教育や一般向けの理解促進にも貢献する。本研究の新規性は、主として提案するワークフローと、メタデータ生成において実証されたその効果にある。 参考文献 Kaoru Shimabayashi and Kumiko Tanaka-Ishii. Retrieval-Augmented…

モード崩壊は、生成モデリングにおける継続的な課題であり、自己回帰的なテキスト生成においては、明示的なループから、多様性の段階的な喪失、さらには生成軌道の早期収束に至るまで、さまざまな形で現れる。本研究では、力学系の観点からこの現象を捉え直し、モード崩壊を、幾何学的崩壊によって状態空間の到達可能性が低下する現象として再解釈する。すなわち、生成の過程で、モデルの内部軌道が表現空間内の低次元領域に閉じ込められていくという見方である。 この見方は、モード崩壊が単なるトークンレベルの現象ではなく、記号的制約や確率のみに基づくデコーディング・ヒューリスティックだけでは安定的に解決できないことを示唆している。この観点に基づき、本研究では Reinforced Mode Regulation（RMR）を提案する。RMR は、Transformer の value cache における支配的な自己強化方向を制御する、軽量かつオンラインな状態空間介入手法であり、低ランク減衰として実装される。複数の大規模言語モデルを用いた実験において、RMR はモード崩壊を大幅に抑制し、標準的なデコーディングでは通常 2.0 nats/step 付近で崩壊が生じるのに対し、0.8 nats/step という極めて低いエントロピー率でも、安定した高品質な生成を可能にすることを示した。 参考文献 Du, X., and Tanaka-Ishii, K. Escaping Mode Collapse…