ニュースリリース

人の実績データに頼らずに自己競争により学習を行うビジネス向けAI技術を開発

サプライチェーンの発注問題において在庫や欠品による損失を人の判断の1/4にできることを確認

  株式会社日立製作所(執行役社長兼CEO:東原 敏昭／以下、日立)は、複数のAI(Artificial Intelligence:人工知能)を相互接続したAI群でビジネスを表現し、AI群同士がコンピューター上で自己競争を行うことで、人が用意した実績データに頼らずに学習を行うビジネス向けのAI技術を開発しました。サプライチェーン上の複数の企業によるビジネスを模擬した「ビールゲーム」に本AI技術を適用したところ、人の経験に基づいた判断と比べて、在庫や欠品による損失を約1/4に低減できることを確認しました。すでに囲碁などの対戦型ゲームでは、自己競争によるAIの学習の有効性が示されていましたが、今回、不確定要素の多いビジネスの問題についても、自己競争を活用した学習が有効であることを示すことができました。

  通常、ディープラーニングなどを用いたAIは、大量の実績データから学習することで予測や判断を行います。そのため、大量のデータが入手できない場合には、正確な予測や判断が難しくなるという課題がありました。囲碁などの対戦型ゲームにおいては、AIが自己競争によって自ら生成した大量のデータを用いて学習することで賢くなることが確認されていますが、不確定要素の多いビジネスの問題に適用できるかは不明でした*1。

  今回、日立は、ビジネスの問題に適用可能な、自己競争を活用して学習するAI技術を開発しました。今回開発したAI技術では、ビジネスに関わる企業を、ディープラーニングを用いたAIエージェントで表し、複数のAIエージェントを相互接続したAI群でビジネスを表現します。各AIエージェントは、置かれた状況を考慮して、お互いにモノや情報のやりとりを繰り返すことで、損失低減などの与えられたアウトカム*2の向上に有効なアクションを学習します。学習を行う際には、AI群をコンピューター上に複数生成し、同時並行で学習を実行します。そして、それぞれのAI群の全体のアウトカムを競わせる「自己競争」を何千回と繰り返すことで、より良いアウトカムを追求します(図1)。

(図1) 複数のAI群による学習と自己競争

  本AI技術は、より良いアウトカムを実現するために次の特長を有します。

1. 学習管理機能によりAIエージェントの学習を制御し、AI群全体のアウトカムを向上

  今回開発したAI技術は、相互接続された複数のAIエージェントのそれぞれの学習を管理し、各AIエージェントの学習が、相互に悪影響を与えることを防止する学習管理機能を備えています。この機能は、各AIエージェントの学習のタイミングの制御を担い、学習の初期段階ではひとつのAIエージェントのみに学習させ、徐々に学習するAIエージェントの数を増やしていきます(図2)。これにより、AIエージェントが同時に学習する時に生じる競合を避け、AIエージェント同士の協調を学習させることができ、その結果、AI群のアウトカムの向上に繋がります。

(図2) AIエージェント同士の協調を学習させる学習管理機能

2. 学習モデルを交叉させることでより優れたモデルを生成し、AIエージェントを進化させる技術

  AI群を構成するAIエージェントが何度も学習を繰り返すと、各AIエージェントの学習結果(モデル)が偏ることでAI群のアウトカムが個別最適の状態に陥り、アウトカムの向上が停滞する現象が発生します。そこで、コンピューター上に複数生成されたAI群の間で、AIエージェント同士のモデルのパラメータを掛け合わせる(交叉)ことで、新たなモデルをもつAIエージェントを生成し、新たなAI群を構築します(図3)。新たに構築したAI群を含め、複数生成されたAI群のアウトカムを比較し、アウトカムの劣るAI群は消滅させ、アウトカムが優れるAI群を残す処理(自己競争)を繰り返します(図4)。これにより、より良いアウトカムを追求することができます。

(図3) AIエージェントを進化させる技術

(図4) AI群による自己競争

  本AI技術の有効性を、サプライチェーン上の複数の企業によるビジネスを模擬した「ビールゲーム」で検証しました。「ビールゲーム」では、小売、卸売、仲卸、工場の独立した4つのエージェントが発注量をそれぞれ決め、サプライチェーン全体で在庫や欠品といった損失を最小にすることを競います。このゲームでは、予測不能な需要変動の影響を常に受けるのに加え、各エージェントは在庫や欠品などの情報を互いに共有せずに発注量を決めざるをえないという制約があるため、ゲーム参加者間で状況が共有される囲碁のようなゲームにはない難しさがあります。このゲームで、熟練者が自らの経験に基づいて発注判断を行った場合には、35週で平均2,028ドルの損失を出すことが報告されていますが*3、本AI技術を用いることで、損失を489ドルまで低減できることを確認しました*4。この結果は、ビジネスにおいても自己競争により学習するAIが有効であることを示しています。

  今後、日立は、今回開発したAI技術のソースコードを日立グループ内でグローバルに公開し、本AI技術をサービスや製品に組み込むことで、電力・エネルギー、産業・流通・水、アーバン、金融・公共・ヘルスケアなど、幅広い分野における社会イノベーション事業に活用することをめざします。なお、本成果の一部は2018年1月3日〜6日に米国のハワイで開催される「Hawaii International Conference on System Sciences」で発表予定です。

*1

過去のデータに加え、新たなアクションを行うことで新たなデータを生成しながら学習する強化学習の研究も行われていますが、ビジネスなどの責任を伴う実問題においては、アクションの探索には制限が大きいことが強化学習の適用の課題となってきました。

*2

アウトカム: ビジネスにおいて、向上させたい(最大化、あるいは最小化したい)数値に相当し、問題に応じて人が設定します。

*3

各エージェントは情報を交換せずに週に一度発注し、損失の計算では在庫と欠品の損失をそれぞれ1個あたり0.5ドルと1ドルとします。J. D. Sterman, "Modeling Managerial Behavior: Misperceptions of Feedback in a Dynamic Decision Making Experiment", Management Science, Vol. 35, No. 3, pp. 321-339, 1989.

*4

AIによる場合も、人と同じく、4エージェントの間で情報の共有は行わないというルールで行いました。

お問い合わせ先

株式会社日立製作所 研究開発グループ 研究管理部 [担当:小平、安井]
〒185-8601 東京都国分寺市東恋ヶ窪一丁目280番地
電話 : 042-323-1111(代表)

以上