大規模モデルの企業が長文能力の突破を競い合い、40万トークンは始まりに過ぎない

大規模モデルは、驚くべき速度でテキスト処理能力を延長しています。最初の4000トークンから現在の40万トークンまで、長文処理能力は大規模モデルの提供者が実力を示す新しい基準になっているようです。

現在、国内外にはOpenAI、Anthropic、Meta、月の暗面などの多くのトップ大規模モデル技術会社が、コンテキストの長さを拡張することを重点的なアップグレードの方向性としている。これらの会社は例外なく資本市場の寵児である。OpenAIは約120億ドルの投資を受け、Anthropicの評価額は300億ドルに達する可能性があり、月の暗面は設立から半年で複数のラウンドの資金調達を完了した。

大規模モデル企業が長文技術にこれほどまでに重視する理由は何でしょうか？表面的には、これはモデルがより長い入力テキストを処理でき、読解能力が向上していることを意味します。GPT-3.5の2000字からKimi Chatの20万字に至るまで、モデルの読解量は短い文章から長編小説へと拡大しました。

より深いレベルでは、長文技術が金融、司法、研究などの専門分野における大規模モデルの適用を推進しています。これらの分野では、長文書の要約、理解、質問応答が必要であり、知能化のアップグレードが急務のシーンです。

しかし、テキストの長さが長ければ長いほど良いわけではありません。研究によれば、モデルがより長いコンテキスト入力をサポートすることと、効果の向上が直接的な等号を描くことはできません。重要なのは、モデルがコンテキストの内容をどのように効果的に活用するかです。現在、長文技術の探求はまだ限界に達しておらず、40万トークンはおそらく始まりに過ぎません。

長文技術の突破は、仮想キャラクターが重要な情報を忘れたり、専門分野の分析が不足したりするなど、大規模モデルの初期に存在したいくつかの問題を解決するのに役立ちます。また、産業アプリケーションの実現を推進する重要な技術の一つでもあり、大規模モデルがLLMからLong LLMへの新しい段階に入ったことを示しています。

長文技術を通じて、対話型ロボットは専門化、個性化、深度化の方向に進化しています。これは、産業応用とスーパーAPPの実現を促進する重要な手段となる可能性があります。しかし、現在の長文対話シーンにはまだ大きな最適化の余地があり、データの更新、対話の制御、正確性などの面でさらなる改善が必要です。

長文能力を追求する過程で、大規模モデルのメーカーは、テキストの長さ、注意力、計算能力の「不可能な三角形」のジレンマに直面しています。テキストが長くなるほど、重要な情報に焦点を合わせることが難しくなります。注意力には制限があり、短いテキストでは複雑な情報を完全に解釈することが難しいです。長文を処理するには大量の計算能力が必要で、コストが増加します。

このジレンマの根源は、大多数のモデルがTransformer構造に基づいていることです。その中の自己注意メカニズムは、文脈の長さに応じて計算量が二次的に増加します。現在、主に三つの解決策があります：外部ツールを利用して処理を補助すること、自己注意メカニズムの計算を最適化すること、モデル最適化手法を利用することです。

長いテキストの"不可能三角"は一時的に解決されていませんが、これにより大規模モデルのメーカーの探求方向が明確になりました：テキストの長さ、注意力、計算能力の3つの間で最適なバランスを求め、十分な情報を処理しながら注意力計算と計算能力コストの制限を考慮することです。