기계 번역(machine translation) 등 시퀀스-투-시퀀스(sequence-to-sequence) 과제를 수행하기 위한 모델
시퀀스: 단어(word) 같은 무언가(something)의 나열
시퀀스-투-시퀀스: 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업
어제, 카페, 갔었어, 거기, 사람, 많더라 > I, went, to, the, cafe, There, were, many, people, there
구글(Google)의 2017년 논문[**Attention Is All You Need]**에 처음 등장한 트랜스포머는 지금까지 개발된 모델 중 가장 새롭고 강력합니다.
스탠포드대학교 연구진은 2021년 8월에 발표한 논문[On the Opportunities and Risks of Foundation Models]에서 트랜스포머를 “파운데이션 모델(foundation model)”로 일컬은 바 있습니다.
텍스트와 음성을 거의 실시간으로 옮겨 청각 장애인 등 다양한 청중의 회의와 강의 참여를 지원합니다.
DNA의 유전자 사슬과 단백질의 아미노산에 대한 이해를 도와 신약 디자인을 가속하기도 합니다.
파운데이션 모델이라고도 불리는 트랜스포머는 여러 데이터 소스와 함께 다양한 영역에서 활용되고 있습니다.
트랜스포머는 트렌드와 이상 징후를 감지해 부정 방지, 제조 간소화, 온라인 추천, 헬스케어 개선 등에 기여합니다.
순차적 텍스트나 이미지, 비디오 데이터를 사용하는 애플리케이션은 무엇이든 트랜스포머 모델이 될 수 있습니다.
이는 트랜스포머 AI의 선순환으로 이어집니다. 대규모 데이터세트로 구축된 트랜스포머들은 정확한 예측을 통해 자신들의 보다 효과적인 쓰임새를 찾아내고, 이에 힘입어 더 많이 생성한 데이터로 더 나은 모델을 구축할 수 있게 됩니다.
스탠포드 연구진은 트랜스포머가 AI 발전의 다음 단계, 일명 트랜스포머 AI의 시대를 주도할 것이라고 말합니다.
불과 5년 전까지도 가장 인기 있는 딥 러닝 모델로 손꼽혔던 합성곱과 순환 신경망(CNN과 RNN)을 이제는 트랜스포머가 대체하고 있습니다.
실제로 지난 2년간 아카이브(arXiv)에 게재된 AI 관련 논문의 70%에 트랜스포머가 등장합니다.