임베딩

임베딩이란 무엇인가

임베딩(Embedding)은 단어·문장·문서·이미지처럼 컴퓨터가 직접 다루기 어려운 데이터를, 의미가 보존되는 고차원 실수 벡터로 변환한 표현입니다. OpenAI 임베딩 문서는 임베딩을 간단히 "부동소수점 숫자들의 벡터(리스트)"라고 정의하며, 이 벡터가 텍스트 사이의 의미적 관련성을 측정한다고 설명합니다. 즉 임베딩의 본질은 "의미를 좌표로 바꾸는 것"이라고 이해할 수 있습니다.

왜 이런 변환이 필요할까요. 구글 머신러닝 크래시 코스의 설명을 빌리면, 단어를 단순히 원-핫 인코딩(one-hot encoding)으로 표현하면 항목 수만큼 길이가 늘어나고(예: 메뉴 5,000개면 길이 5,000짜리 벡터), 무엇보다 "핫도그와 샤와르마가 핫도그와 샐러드보다 더 비슷하다"는 의미적 유사성을 전혀 담지 못합니다. 임베딩은 이를 저차원 밀집 벡터로 압축하면서 의미 관계를 담아, 신경망이 학습해야 할 가중치 수와 메모리·연산 부담을 크게 줄여 줍니다.

작동 방식

임베딩 공간의 핵심 규칙은 단순합니다. 의미가 비슷한 대상은 벡터도 서로 가깝게 배치됩니다. OpenAI 문서는 "거리가 작으면 관련성이 높고, 거리가 크면 관련성이 낮다"고 명시하며, 유사도 측정에는 코사인 유사도(cosine similarity)를 권장합니다. OpenAI 임베딩은 길이 1로 정규화되어 있어 코사인 유사도 계산이 효율적이고, 유클리드 거리와 동일한 순위 결과를 냅니다.

이 성질 덕분에 임베딩은 다양한 작업의 토대가 됩니다. OpenAI는 대표 활용처로 검색(질문과의 관련도로 결과 정렬), 클러스터링(유사 텍스트 묶기), 추천, 이상 탐지, 다양성 측정, 분류를 제시합니다. 특히 검색에서는 키워드가 정확히 일치하지 않아도 의미가 가까우면 매칭되는 시맨틱 검색이 가능합니다. Pinecone의 표현을 빌리면 "키워드가 아니라 개념을 매칭"하는 방식입니다.

RAG의 검색 단계와 GEO

생성형 AI 검색에서 임베딩이 특히 중요한 이유는 RAG(검색 증강 생성) 때문입니다. Pinecone의 RAG 설명에 따르면, 지식 베이스를 임베딩으로 저장해 두고 질의 시점에 질문 임베딩과 가까운 청크를 검색해 LLM에 컨텍스트로 제공하면, 모델이 자사 데이터에 근거해 답하게 되어 환각이 줄고 재학습 없이도 최신성을 유지할 수 있습니다. 인덱스는 질의 벡터를 저장된 청크 벡터들과 비교해 의미적 근접도를 점수로 돌려줍니다.

이 구조는 GEO(생성형 엔진 최적화)와 직결됩니다. 콘텐츠가 ChatGPT·Perplexity 같은 도구의 답변에 인용되려면, 사용자 질문의 임베딩과 충분히 가까운 벡터로 표현되어야 검색 단계에서 후보로 선택됩니다. 따라서 의미가 모호한 글보다 주제가 응집되고 핵심 개념이 명확한 콘텐츠가 임베딩 공간에서 질문과 가깝게 위치할 가능성이 높습니다.

근거와 사례

임베딩이 의미를 보존한다는 점을 가장 인상적으로 보여 준 연구는 구글의 word2vec입니다. Mikolov 등이 2013년 발표한 논문 "Efficient Estimation of Word Representations in Vector Space"(arXiv:1301.3781)는 단어를 연속 벡터 공간(대략 20~300차원)에 배치하면 의미·문법의 선형 규칙성이 보존되어, king − man + woman ≈ queen 같은 벡터 산술 유추가 성립함을 보였습니다. 이 모델은 16억 단어 데이터셋에서 하루 안에 고품질 단어 벡터를 학습할 만큼 효율적이었습니다.

현대 임베딩 모델은 더 크고 유연합니다. OpenAI 문서 기준 text-embedding-3-small은 기본 1,536차원, text-embedding-3-large는 기본 3,072차원이며, dimensions 파라미터로 개념 표현력을 크게 잃지 않으면서 차원을 줄일 수 있습니다(예: 3,072 → 1,024). 구글의 Gemini Embedding 역시 3,072차원 벡터를 사용합니다. 아래는 임베딩 API 호출과 유사도 비교의 의사코드 예시입니다.

from openai import OpenAI
import numpy as np

client = OpenAI()

def embed(text):
    # text-embedding-3-small -> 기본 1536차원 벡터 반환
    resp = client.embeddings.create(
        model="text-embedding-3-small",
        input=text,
    )
    return np.array(resp.data[0].embedding)

q = embed("임베딩이란 무엇인가")
d = embed("단어를 의미 벡터로 바꾸는 표현 기법")

# 정규화된 벡터이므로 내적 = 코사인 유사도
similarity = float(np.dot(q, d))
print(similarity)  # 값이 1에 가까울수록 의미가 가까움

참고·출처

• Embeddings — Google Machine Learning Crash Course
• Vector embeddings — OpenAI API Documentation
• Mikolov et al. (2013), Efficient Estimation of Word Representations in Vector Space (arXiv:1301.3781)
• Retrieval-Augmented Generation (RAG) — Pinecone