2. アーキテクチャ：デコーダ型、エンコーダ型、エンコーダ・デコーダ型 LLMは、Transformerアーキテクチャを基盤にしています。 Transformerの中核は**自己注意機構（Self-Attention）**で、入力内のあらゆる位置同士が直接情報をやりとりできます。

LLM(大規模言語モデル)の性能評価の基礎を展開する前にTransformerには多少触れておく必要がある。 Transformerは2017年にGoogle が提案したニューラルネットワークだ。このTransformer を採用した最初のLLMが、2018年にOpenAIが提案したGPT （Generative Pre-trained Transformer）で ...

T5GemmaはGemma 2をエンコーダ・ デコーダモデルに適応させたモデル。 T5Gemma: A new collection of encoder-decoder Gemma models -Google Developers Blog The Gemma family is growing today. First up: T5Gemma , the new generation of ...

1. ベースモデルアーキテクチャの世代交代：BERT から Decoder-Only LLM へ 1.1 2023年以前：エンコーダ専用モデルの時代 2023年末時点の MTEB Top 100 には、Google が開発した BERT-base/large、Meta が改良した XLM-RoBERTa をベースとする 100M〜560M 級のエンコーダ専用モデルが ...

大規模言語モデル(LLM) は、自然言語処理 (NLP) の分野を革命し、人間のようなテキストを生成し、質問に答え、言語関連タスクの幅広い分野で優れた能力を示しています。これらの強力なモデルの核心にあるのは、デコーダーのみのトランスフォーマー ...

エンコーダ専用（BERT 系）モデルからデコーダ専用 LLM ベースモデルへの全面的な移行 合成データ生成・知識蒸留・モデルマージといった訓練パイプラインの高度化が SOTA 達成の鍵に Matryoshka 表現学習（MRL）が業界標準として定着し、運用上の柔軟性が飛躍的に向上 多言語対応が必須条件となり ...