survey: Supply Chain Link Prediction on Uncertain Knowledge Graph

選定理由

KDD2022採択、Supply Chain Risk Management(SCRM) + AI/DS = Digital Supply Chain Surveillance(DSCS)はESGと並んで最近のトレンド。University of Cambridge と Versed AI の共同研究。

Paper: https://kdd.org/exploration_files/p124-AI4Manufacturing_paper5.pdf
Code: N/A

DSCSに関するサーベイ論文[Brintrup2023]でも引用されている。

概要

【社会課題】
製造業における多層サプライチェーンネットワークには複数の企業をまたがるリスクが存在している。しかし、構造的・組織的な障壁が原因となり、ネットワークの可視性が妨げられ、これらのリスクを監視し、事前に対策を打つことが難しくなっている。

【提案】
NLPによりウェブからサプライチェーンの関係を自動的に抽出し、リンク予測を使用してその結果を拡張する手法を提案した。本研究はサプライチェーン知識グラフの不確実性をモデル化するための初のGNN(グラフニューラルネットワーク)によるアプローチである。

【効果】
複雑なサプライチェーンネットワークにおいてリスクを把握し、管理するための新たな手法であり、不確実性のあるリンク予測において提案手法はパフォーマンスを60%向上させた。又、生成された信頼スコアは意思決定支援に活用できる。

Graph Neural Net Ensemble

ベンチマーク(ベースライン)として[Aziz2021](Code)および[Kosasih2022]で提案されたGNN(Graph Neural Net)を採用した。GNNは特定ノードの周辺トポロジをエンコードすることもできる点、既存の不確実性知識グラフ埋め込みモデルよりも優れている。

確定性グラフ(=決定論的)においては分類タスクが適しているが、不確定性のある知識グラフ(=確率的)ではリンク予測は回帰タスクとなる。分類から回帰への変更には損失関数の変更が必要であり、今回は平均二乗誤差（MSE）を採用した。MSEは小さな偏差に対して耐性があり、外れ値に敏感に反応するため、実際の意思決定場面においても適している。

[Kosasih2022]で使用されているドット積とシグモイド関数の組み合わせが回帰に悪影響をもつため、その代替としてコサイン類似度を使用した。コサイン類似度はベクトルの大きさを無視し、値が常に[-1,1]の範囲にあり、これを[0,1]に変換するために、各畳み込み層の後にReLU関数を使用した。この方法は、ノードの接続エッジ数に基づくバイアスを回避するのに有効である。

性能改善のため、同じアーキテクチャを持つGNNを２つ用いてアンサンブル手法を適用した。

実験

実験内容

データはVersed AI が提供するSCRM用のデータで、13000件の企業に対して43000件のトリプレットが定義されている。エンティティタイプはCompany,
Country, Industry Group, Business Sector, Economic Sectorの５種類、リレーションタイプはsupplies to, domiciled in, industry group, business sector, economic sector の５種類を定義した。データの統計情報は表１、オントロジーは図２-Bである。

抽出された知識トリプレットの分布は分布は図３である。信頼度1が一番多かった。

ノードの20%とそれに接続されたエッジを除外し、残りのトリプレットを初期グラフ（60%）、トレーニング（30%）、テスト（10%）に分割。初期グラフはモデルがノードの接続を理解し、埋め込みが畳み込まれる方法を決定するのに用いる。モデルは既知のエッジに対しては正確な予測を行い、初期グラフに含まれないノード間の未知のエッジに対しても適切な予測を行うよう学習した。実験はエッジとトリプレットをランダムに分割して10回繰り返され、平均二乗誤差（MSE）および平均絶対誤差（MAE）を用いて評価した。

実験結果

図4は結果である。MSEはBenchmark, CosineSimilarity with ReLU, Standard Ensembling, ABEnsembling　の順に小さくなった。Benchmarkの結果はランダム選択とほぼ同じであり、原因はスコアの正規化にシグモイド関数が使用されている点と考えられる。シグモイド関数は水平漸近線に対するバイアスがあり、ターゲットが0と1だけの分類に有利であるが、これは回帰で必要な0から1の範囲の値を出力するのが難しくなる。このバイアスに対処するため、Cosine Similarityによって埋め込みベクトルの値域をReLU関数で第一象限に制限した。これにより、MSEが30%減少して0.159となった。Cosine Similarityがデコーダとして使用されることも改善に寄与している可能性がある。

アンサンブルは複数のGNNから出力されるエッジの信頼スコアを平均化しただけではほぼ無効果であったが、GNN AのヘッドエンティティをGNN Bのテールエンティティ、さらにその逆を組み合わせて信頼スコアを計算すると、MSEは0.075に低下した。

又、従来技術のように決定的に予測リンクがバイナリ値で出力されていた場合に比べると[0, 1]の実数値で出力されるため、意思決定支援に活用しやすいと言える。