Tutty

Posted on Nov 8

CommunityKG-RAG: Leveraging Community Structures in Knowledge Graph for Advanced RAG in Fact-Checking

#nlp #rag #gpt3

選定理由

グラフベースRAG+事実確認という組み合わせ。llamaindexやlangchain等にもグラフベースRAGは実装されているが、効果がちゃんと記述されていないため把握したい。

複雑なデータパイプラインを持つRAGには情報の構造化しやすくなり有効、グラフ系の技術も組み合わせて使えるのも新しい価値をだせそう。Relation Extractionの日本語モデルはあるのだろうか

【社会課題】
LLMには訓練データのカットオフや「幻覚」の問題があり、正確な事実確認を行うには不十分な点がある。

【技術課題】
テキストを構造化せず処理することに以下の課題が存在する：

文脈の理解不足: テキストが長い場合や中間に重要な情報が埋もれている場合に、その情報を効果的に活用できない。RAGも関連性の低い情報やノイズの多いコンテキストが含まれると正確な回答を返せない。
情報の関係性が不明確: エンティティ間の複雑な関係を認識できない。事実確認では、異なる情報ソース間の関係を理解し情報を正確に紐付けることが必要だが、これが欠如していると誤った結論を導きやすい。特に間接的な関係性を単純な検索ではこれを見逃しがち。

【提案】
RAGに知識グラフ（KG）を統合したCommunityKG-RAGを提案。以下のメリットがある：

【効果】
ベースラインよりも事実検証タスクでの精度が大幅に向上し、特に関連情報の取得と文脈理解において優れていることが示された。また、ゼロショットで動くため追加学習が不要で、他モデルにも容易に適用可能であることが確認された。

グラフの構築と利用の全体像はfig2である。各処理の内容を順に以下に書くと、

共参照解析: 意味的な一貫性を高める前処理として、コーパス内のエンティティや代名詞の参照関係を明らかにする。
グラフ構築: Chunking後にREBELと呼ばれる関係抽出モデルを使用し、文書中のエンティティ間の関係を抽出してグラフ化する。
ノードの特徴表現: 事前学習済みBERTモデルを用いて単語の埋め込みを計算する。
コミュニティ検出: Louvainアルゴリズムで知識グラフ内のコミュニティを検出する。これによりグラフ全体を小さな関連グループに分け、特定コンテキストでの関連性を捉えやすくする。
クエリとの関連性計算とコミュニティ選択: クエリの埋め込みとコミュニティ埋め込みを比較し、関連性の高い上位のコミュニティを選択する。これにより、情報検索が効率的かつ効果的に行われ、関連するコミュニティに焦点を絞った分析ができる。
コミュニティ内の文選択: 選択されたコミュニティ内の文についても関連性を評価し、最も関連性の高い文を抽出する。これにより、対象クエリに対して的確な情報が提供され、事実検証の精度が向上する。

データセット: PolitiFactやSnopesから収集された15,601件の主張を含む事実検証タスク用のデータセットMOCHEGデータセットを使用した。真実性ラベル（Supported、Refuted、Not Enough Information (NEI)）が付与されている。
比較手法: ベースラインはNo Retrievalで文脈なしでLLMが回答を生成。次がSemantic Retrieval(通常のRAG)でクエリとコンテキスト間のコサイン類似度を基に、BERTで最も関連性の高い文を抽出。最後にKAPING: 主張と関連するトリプル（(エンティティ, 関係, エンティティ)形式）間の文類似度に基づいてトリプルを提供し、LLMで回答。
使用モデル: LLaMa2-7Bモデルを使用し、設定の変更に伴う性能評価も実施。
評価指標: 主張の真偽を判断する精度（Accuracy）を主要な評価指標としています。
設定: 主な設定として、トップ25%のコミュニティとその100%の関連文を使用するCommunityKG-RAG25-100を基準として評価。

CommunityKG-RAG25-100が最も高い精度を示し、事実確認において他のベースライン手法を大きく上回った。特に、コミュニティベースの知識を活用することで、情報の関連性と正確性が大幅に向上したことが確認されました。

バックボーンモデルの比較: LLaMa2-7BとLLaMa3-8Bモデルで検証し、LLaMa2-7Bの方が事実確認タスクでの精度が高いことが判明。
コミュニティと文の選択閾値の影響: コミュニティと文の選択割合を25%、50%、75%、100%に設定した場合、全体の精度は100%選択が最も高い精度を達成し、包括的なコンテキストがモデルの正確性向上に寄与していると分かりました。