オルツは「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2」をリリースしました。RAGの精度を最適化する軽量型LLMで、日本語RAG精度において、軽量型LLMで世界最高精度を達成しています。
このニュースのポイント
- オルツが、軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2」をリリース
- 日本語RAG精度を評価するため、Wiki RAGデータセットと東大入試試験の国語科目データセットを使用
- LLMが生成した回答を専門家が評価したところ、GPT-4oと同等レベルの精度を達成
株式会社オルツは、自社開発の軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2（ラートム・オプト2）」をリリース。RAGの精度を最適化する軽量型LLMで、日本語RAG精度において、軽量型LLMで世界最高精度を達成したことを発表しました。
「LHTM-OPT」は、小規模GPUマシンで実用的な、パラメータ数が最適化された軽量型大規模言語モデルです。この「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2」の日本語RAG精度を評価するため、オルツが独自に開発したWikipediaデータからのRAG質問・回答（Wiki RAGデータセット）と、東京大学入学試験の国語科目データセットを使用しました。
Wiki RAGデータセットは、日本語Wikipediaから特定の段落を抽出、その段落に基づく質問を生成し、段落、 質問、 正解の3つ組を作成し、専門家が再度確認と修正を行うことで、高品質のRAGベンチマークになります。
東大入試の国語科目データセット評価では、試験問題の前提テキスト（段落）とその設問をRAGの入力とし、LLMが生成した回答を専門家が評価。その結果、Wikipedia RAGデータセットは「LHTM-OPT2」が、GPT-4oと同等レベルの精度を達成しました。また、東大入試の国語科目におけるRAGに関する質問では「LHTM-OPT2」が、GPT-4oの94%の精度を達成しています。
さらに、RAG評価の精度は国内全ての軽量型LLMを上回り「JGLUE（Japanese General Language Understanding Evaluation）」ベンチマークや「Japanese MT-Bench」においても最高スコアを記録しました。推論速度は、日本語推論において平均速度500TPS（トークン／秒）、最大速度796TPSを確認。この速度は日本語LLM推論速度の最高記録です。
オルツは、今後も「LHTM-OPT」シリーズの開発と提供を通じて、より高精度で効率的な言語モデルの開発を進め、世界水準の技術で「アジアにおけるOpenAI」の地位確立を目指します。また、最高品質のソリューションを提供することで、日本企業の労働生産性向上に貢献していくと公表しています。
The post オルツ、日本語RAG（検索拡張生成）で軽量型LLMとして世界最高の精度と推論速度を実現。新たに「LHTM-OPT2」をリリース first appeared on AIポータルメディアAIsmiley.