研究：生成AIエージェントの性能評価

生成AIエージェントの評価

学術研究から実世界のAI評価へ

企業がAIエージェントを製品、サービス、車両、業務システムへ導入するケースが増える中、重要な課題が浮かび上がっています。

AIエージェントが実際に優れた性能を発揮しているかを、どのように測定すればよいのでしょうか？

生成AIの進歩により、高度なAIアシスタントの構築はこれまでになく容易になりました。しかし、その品質、正確性、完全性、信頼性を評価することは、依然として業界で最も難しい課題の一つです。

iNAGOでは、この課題に取り組むため、実環境で稼働するAIエージェントを評価する実践的な手法の開発を目的として、ヨーク大学との複数年にわたる共同研究を進めてきました。

産学連携による共同研究

本研究は、人工知能および機械学習分野の第一人者である**Aijun An教授の指導のもと、York UniversityとiNAGO**との共同研究として実施されました。

このプロジェクトでは、学術研究者と産業界の実務者が協力し、実際の製品、システム、業務ワークフローに導入されたAIエージェントを、企業がどのように評価し、改善できるかを探求しました。

学会参加者が、研究チームのメンバーとAIエージェント評価手法について議論している様子。

研究チーム

York University

• Niloufar Beyranvand

• Hamidreza Dastmalchi

• Aijun An 教授

• Heidar Davoudi

iNAGO

• Winston Chan

• Ron DiCarlantonio

本共同研究では、York Universityの人工知能研究における専門知識と、iNAGOのAI技術を実際の製品や運用環境へ導入してきた経験を組み合わせることで、実用的なAI評価手法の確立を目指しました。

SmartTOによる支援

本研究の初期段階は、SmartTO Innovation Challenge Programの支援を受けて実施されました。

SmartTOは、オンタリオ州の企業と第一線の大学研究者を結び付け、共同イノベーションプロジェクトを通じて実践的な技術課題の解決を支援するプログラムです。

このプログラムにより、iNAGOとYork Universityのパートナーシップが実現し、AI分野における最も重要な新たな課題の一つについて研究する機会が提供されました。

企業はAIエージェントの品質をどのように客観的に評価できるのか？

AI評価の課題

従来のソフトウェアシステムとは異なり、AIエージェントは常に同じ出力を生成するわけではありません。

回答は、次のような要因によって変化する可能性があります。

• ユーザーの質問や表現方法

• 会話や利用状況のコンテキスト

• 利用する知識ソース

• 選択したAIモデル

• AIエージェントの設定

• 外部システムとの連携状況

そのため、企業には、AIエージェントが信頼性と一貫性をもって動作しているかを判断するための、新しい評価手法が求められています。

モビリティ、製造業、カスタマーサポート、企業業務システムといった分野では、ユーザーが安心して利用できるシステムを構築するために、AIの品質を正しく把握することが不可欠です。

EMNLP 2025で発表

本研究の成果は、EMNLP 2025（Conference on Empirical Methods in Natural Language Processing：自然言語処理に関する実証的手法の国際会議）において論文として採択され、発表されました。

EMNLPは、**自然言語処理（NLP）および大規模言語モデル（LLM）**の研究分野において、世界有数の国際会議の一つです。

本論文では、構造化されたテスト手法と客観的な品質指標を用いて、生成AIエージェントを評価する実践的な方法論について説明しています。

この研究は、AIシステムの信頼性、信用性（Trustworthiness）、および実運用への適用性を向上させることを目的とした、拡大を続ける研究分野への重要な貢献となっています。

EMNLP 2025で発表されたAIエージェント評価に関する研究成果

研究から Evaluator へ

この研究を通じて生まれたアイデアや評価手法は、iNAGOのAIエージェント評価プラットフォーム Evaluator の開発に直接活かされています。

Evaluatorは、企業が以下を実現できるよう支援します。

• AIエージェントの品質を測定

• モデルや設定（コンフィギュレーション）の比較

• 課題や改善の機会を特定

• マニュアルや業界固有のドキュメントに基づいてAIシステムを評価

• パフォーマンスの改善状況を継続的に追跡

このプラットフォームは、AIライフサイクル全体をサポートします。

構築（Build）→ 測定（Measure）→ 改善（Improve）→ 展開（Deploy）

学術研究の成果と実運用で培われた経験を組み合わせることで、Evaluatorは企業がより信頼性が高く、制御しやすく、実環境に適したAIシステムを開発できるよう支援します。

今後の展望

AIエージェントが実証実験の段階から本番運用へと移行するにつれ、評価はますます重要な能力となっていきます。

企業に必要なのは、高性能なAIモデルだけではありません。実際の運用環境において、それらのモデルが正確に、一貫性を持って、安全に動作するという確信が不可欠です。

iNAGOは今後も、大学や産業界のパートナーと連携しながら、AI評価に関する研究をさらに発展させ、その成果を企業が日常的に活用できる実用的なツールへと展開していきます。

EMNLP 2025で発表された本研究は、その取り組みにおける重要なマイルストーンであり、次世代のAI品質評価・改善技術を支える基盤の一つとなるものです。

Research Paper

Evaluation of Generative AI Agents

Presented at EMNLP 2025