NeurIPS 2022 에 발표된
"Interaction Modeling with Multiplex Attention" 라는 논문에 대해 Review 를 하고자 한다.
Multi-Agent System 이란?
- 해당 논문은 다양한 agents 와 interactions 들이 있는 multi-agent systems 에서의 interaction modeling 문제를 다룬다.
- multi-agent systems 은 자율 주행 자동차나 SNS 서비스 같은 데이터들을 말하는데, 여기에는 다양한 agents 들 (ex. 자동차, 페이스북 유저) 과 그 agents 들 간의 다양한 상호작용(interaction)이 존재한다.
- 아래 그림의 왼쪽을 보면, 사람들 (agents) 이 있고, 각 agent 들의 관계성이 다양하게 있다. 예로, 한 사람이 다른 누군가를 만나려고 하는 관계, 혹은 한 사람이 다른 한 사람을 피해서 걸어가야 하는 관계 와 같은 것이 있다.
- 이런 multiple agents system 에서는 각 agent 들이 서로 복잡하게 영향을 주기도 하고,
예측하기 어려운 방식으로 움직이기도 하기 때문에 각 interaction 들을 정확히 modeling 하는 것은 어려운 문제이다.
기존 multi-agent systems을 그래프 신경망 (GNNs)을 사용하여 상호 작용을 모델링하는 것이 제안되어 왔지만, 이러한 접근법들은 모든 에이전트가 동일한 방식으로 상호 작용한다고 가정했어서, 실제 사회적 multi-agent systems 에서 존재하는 여러 개의 상호 작용들을 명시적으로 다루지 않았다. 이는 곧 long-term prediction(장기 예측)에서의 성능 감소와 interpretability (해석력) 감소로 이어졌다고 한다.
Proposed Method ?
위의 상황에서 기존 논문의 한계를 극복하기 위해
해당 논문은 Interaction Modeling with Multiplex Attention (IMMA) 라는 방법을 제안한다.
이 방법은 다중 multi-agent systems 에서 interaction 의 dynamic 한 부분들을 잘 모델링하기 위해 세가지를 이용한다.
- Multiplex Latent Graph (다중 잠재 그래프)
- agent 들 간의 여러 유형의 interaction 들을 모델링 - Attention mechanism (어텐션)
- 각 interaction 들의 정도를 모델링 - PLT (Progressive Training Strategy)
- 해당 모델의 interpretability 를 높임
IMMA 의 구조는 다음 그림과 같다. 크게는 Encoder + Decoder 로 이루어진 구조이다.
여기서 Multiplex Attentional Graph 는 공유되는 parameter 가 없도록 각 graph layer 를 나누어서 따로 독립적인 interaction 을 배울 수 있도록 해주었다.
Multiplex latent graph & Attention Mechanism ?
해당 논문은 Multiplex Latent Graph 통해 에이전트 간의 여러 독립적인 관계 유형 혹은 interaction 을 모델링할 수 있게 했다.
앞선 예시에서 나온 거처럼 사람이 다른 누군가를 만나려고 하는 관계, 혹은 한 사람이 다른 한 사람을 피해서 걸어가야 하는 관계와 같은 다양한 관계성이 있는 경우, 이를 따로 독립적으로 학습할 수 있게 했다.
즉, Multiplex Latent Graph 에서는 여러 Graph layer 를 두고, 각 Graph layer 는 다른 관계성을 독립적으로 모델링 하는 것이다.
Multiplex Latent Graph 의 사용은 Multi-agent system 을 모델링하는 데 도움이 된다. 왜냐하면 이는 모델이 interation 들의 복잡하고 다층적인 특성을 포착하게 해주기 때문이다. 이는 모델이 에이전트 간에 존재할 수 있는 다양한 관계를 포착할 수 있게 하여 미래 행동에 대한 더 정확한 예측을 가능하게 한다.
또한, Multiplex Latent Graph 에 Attention 을 결합해서 에이전트 간 관계의 강도도 포착한다. 이를 통해 모델은 서로 다른 강도의 관계를 고려할 수 있게 되며, 이는 어떤 관계가 다른 것보다 강한 경우가 있는 사회적 상호 작용에서 필요한 부분이다.
PLT Strategy (Progressive Training Strategy) ?
해당 논문에서 제시한 PLT 학습 기법은 모델이 한번에 한 종류의 interaction 만 학습할 수 있게 하는 방법이다.
Multiplex Latent Graph 로 독립된 interaction 의 종류를 나누어 학습할 수 있도록 했지만, 이 독립된 interaction 들이 완벽하게 엮이지 않고 학습되는 것이 어렵다고 한다. 따라서, 본 논문에서는 PLT 를 통해 이를 보완했다.
PLT 는 먼저, high-level 이자 가장 중요한 interaction 을 먼저 학습한 뒤에 점진적으로 모델을 확장하면서 lower-level 이고 더 복잡하게 얽힌 interaction 을 학습할 수 있도록 한다.
따라서, PLT 를 적용하면 IMMA 에서 처음엔 sinlge-layered latent graph 로 첫번째 graph 만 학습을 시키고, 그 후에는, 첫번째 layer 는 freeze (학습 못하게) 한뒤, 두번째 graph layer 를 추가해서 추가된 부분을 또 학습시킨다.
PLT 전략을 통해 모델이 한 번에 한 종류의 상호 작용을 학습할 수 있게 함으로써 모델의 interpretability 을 향상시켜 "에이전트가 이렇게 행동하는 이유는 무엇인가?" 와 같은 질문에 답할 수 있도록 하여 모델의 신빙성을 높일 수 있다.
Experiments
Trajectory Prediction Tasks
해당 작업은 이전 모든 agent들의 trajectory 데이터들을 통해서 이후의 trajectory 를 유추하는 일이다.
예로, 농구 NBA 데이터의 모든 선수들(+공)의 약 10s 정도의 과거 위치 데이터를 받아서, 그 이후의 4s 정도의 위치를 유추하는 작업이 있다.
여기서는 ADE 와 FDE 라는 측정 방법을 사용한다.
- ADE는 "Average Displacement Error"의 약어로, 각 시간 단계에서 예측된 궤적과 실제 궤적 간의 평균 유클리드 거리를 측정, 낮은 ADE는 더 높은 정확성을 나타냄
- FDE는 "Final Displacement Error"의 약어로, 예측된 최종 위치와 에이전트의 실제 최종 위치 간의 유클리드 거리를 측정, 낮은 FDE는 더 높은 정확성을 나타냄
해당 실험 결과는 본 논문의 Figure 4 와 Table 1 을 통해 알 수 있다.
Table 1 을 통해, Social Navigation Environment, PHASE, NBA 세 가지 데이터에서 IMMA with PLT 가 ADE 와 FDE 둘 다 에서 가장 낮은 값을 기록하므로, 다른 baseline 들의 비해 향상된 성능을 보임을 알 수 있다.
References
[1] Interaction Modeling with Multiplex Attention
Interaction Modeling with Multiplex Attention
Modeling multi-agent systems requires understanding how agents interact. Such systems are often difficult to model because they can involve a variety of types of interactions that layer together to drive rich social behavioral dynamics. Here we introduce a
arxiv.org
