Self-Attention이란?

Self-Attention은 인공지능 모델이 문장 내의 특정 단어를 처리할 때, 해당 문장 내의 모든 다른 단어들을 동시에 참조하여 각 단어 간의 관계적 중요도를 수치화하는 메커니즘입니다. 이 과정은 문맥 정보를 효과적으로 포착하며, 전통적인 순차 처리 방식에서 발생하는 ‘장기 의존성’ 문제를 해결하는 데 핵심적인 역할을 합니다.

실무 사용 예시

Self-Attention 메커니즘은 구글의 트랜스포머(Transformer) 아키텍처의 핵심 요소로, 챗GPT(ChatGPT) 및 구글 제미나이(Gemini)와 같은 거대 언어 모델(LLM)에 널리 활용됩니다. 이를 통해 기계 번역, 텍스트 요약, 질문 응답 시스템 등 복잡한 자연어 처리(NLP) 태스크에서 높은 수준의 문맥 이해도를 기반으로 뛰어난 성능을 제공합니다.

관련 단어

• 트랜스포머(Transformer)
• 어텐션 메커니즘(Attention Mechanism)
• 장기 의존성(Long-Term Dependency)