이커머스에 AI를 도입하는 방법, LLM을 활용한 디지털 점원 만들기

이커머스 산업과 LLM

LLM의 등장은 거의 모든 산업에서 기존과는 전혀 다른 관점과 접근법을 요구합니다. 이커머스 산업도 예외는 아닙니다. 다른 점이 있다면 많은 기업들이 대체로 비용 절감 차원에서 LLM을 활용하려는 데 반해, 이커머스 산업은 매출 증대 관점에서 바라보려 한다는 점입니다. 1)카피라이팅 문구를 자동으로 생성해서 고객의 관심과 행동을 유도하거나, 2)고객 행동 분석을 통해 개인화된 이벤트 정보나 제품을 추천하는 등의 사례가 대표적입니다.

이커머스 산업에서 LLM은 고객 경험을 혁신하고 경쟁 우위를 가져올 핵심 기술로 주목받고 있습니다. 모두가 꿈꾸는 초개인화 서비스를 위한 고객 분석과 맞춤형 제안에 특히 많은 기회가 있을 것으로 바라보고 있습니다.

(TEXTNET이 데이터 설계 파트로 참여한 CJ 카피라이팅 자동 생성 모델)

물론 최종 소비자까지 이런 변화를 체감하기엔 아직 부족한 부분이 많습니다. AI는 아직 불완전해서 이를 고객 접점 단계에 활용하는 것은 큰 부담이고, 레퍼런스가 없어서 ROI 평가도 쉽지 않습니다. 그래서 아직은 기업 내부에서 활용하는 경우가 대부분입니다. 앞서 언급했던 고객 행동 분석이나 카피라이팅 생성 자동화 사례도 최종 소비자 입장에선 변화 포인트를 찾기 어렵습니다. 여전히 플랫폼 내에는 비슷한 제품 정보가 수없이 나열되어 있고, 소비자는 이를 스스로 분석하고 선택해야 합니다. 정보의 흐름이 한 방향으로 흐르는 방식은 여전히 개선점이 보입니다.

기존 고객 경험을 혁신하고 체감할 수 있는 변화는 양방향 커뮤니케이션을 통해 구현할 수 있습니다. 온오프라인 채널의 통합을 목표로 하는 옴니채널이나 OMO(Online Merge with Offline) 전략 등은 양방향 커뮤니케이션 서비스를 통해 구현할 수 있으며, 초개인화라는 궁극의 목표도 양방향 커뮤니케이션으로 실현할 수 있습니다.

지금부터는 양방향 커뮤니케이션을 위한 대화형 AI의 가치와 구현 방법에 관해 이야기 해보겠습니다. 구체적으로는 고객과 직접 대화하면서 제품을 소개하고 구매를 유도하는 AI 점원에 관한 이야기입니다. 단순 CS 대응이나 질의응답 수준이 아닌, 실제 점원처럼 대화하고 응대하는 챗봇이 있다면 어떤 일들이 가능해질까요?

LLM 활용의 확장

이커머스 업계에서 고객의 니즈를 발굴하는 것은 주요 과제 중 하나이며, 이미 많은 자원을 투입하고 있습니다. 하지만 실제 수집한 정보는 대부분 과거 정보이거나 간접 정보들뿐이라는 한계가 있습니다. 소비자가 향수를 구매하는 순간을 예로 들면 매번 구매 이유나 목적이 같지는 않을 것입니다. 이전에 사용했던 향수의 특정 부분이 마음에 들지 않았을 수도 있고, 특별히 나빴던 점은 없었지만 왠지 새로운 향을 시도해 보고 싶은 것일 수도 있습니다. 또는 누군가에게 선물할 목적일 수도 있습니다. 소비자의 이런 구매( 또는 사용) 맥락은 단순히 페이지에 머무는 시간이나 화면 내 커서의 위치만으로는 파악하기 어렵습니다. 회원 가입 정보와 장바구니 정보만으로 현재의 니즈를 확인하는 것 역시 어렵습니다. 장바구니 정보로는 현재 시점의 니즈를 파악할 수도, 제품의 어떤 특징에 이끌렸는지도 알 수 없습니다.

구매 시점의 고객 니즈를 정확히 파악하는 건 구매 전환율을 올리기 위한 핵심 과제이며, 결국 소비자와 직접적인 상호작용을 통해 얻을 수 있는 정보입니다. 대화형 AI 서비스는 이러한 맥락에서 매우 중요한 역할을 담당합니다.

아모레퍼시픽이 글로벌 뷰티 기업으로 성장한 데는 방판 채널의 힘이 컸다고 합니다. 소비자와의 관계를 형성하고, 구매 욕구를 자극하는 쌍방향 커뮤니케이션(대화)이 중요한 이유입니다.

LLM으로 디지털 점원 만들기

대화형 AI는 어떻게 만들 수 있을까요? 우선 모든 과제가 그렇듯 대화 목표, 서비스 목표를 명확히 해야 합니다.

LLM을 활용해 대화형 AI 서비스를 만든다면 대략 아래의 목표를 설정할 수 있습니다.

1. 사용자의 실시간 니즈를 파악하고,
2. 맞춤형 정보를 제공하며,
3. 제품 구매를 유도합니다.

하지만 LLM은 주로 문서 데이터를 기반으로 학습되었기 때문에 멀티턴 대화에는 한계가 있습니다. 천재적인 두뇌를 갖고 있으나 사회성에 관한 역량은 아직 떨어진다고 볼 수 있습니다.

앞으로의 LLM은 단순히 지능만 뛰어나서는 선택받기 어렵습니다. LLM은 인프라에 가까워서 서비스별 차이점은 빠르게 사라지고, 결국 대화 상대와 관계를 맺고 이를 유지하고 발전해 나가는 대화 감각과 스킬이 중요해질 것입니다. 대화형 AI의 UX, CUX(Conversational UX)는 특히 이커머스 영역/세일즈 영역에서 더욱 중요한 부분이며, LLM을 잘 활용하려면 LLM을 기술로써만 바라보지 않는 것이 중요합니다.

똑똑한 LLM과 사용자의 상호작용은 서비스 기획과 대화 설계의 영역입니다. 그런 관점에서 LLM 기반의 디지털 점원을 만들려면 아래의 과정과 고민이 필요합니다.

1. 대화 설계안 마련

• 우선 대화를 구성하는 전략들을 세밀하게 설계해야 합니다. 어떤 정보를 얻어낼 것인지에 관한 질문 설계, 어떤 정보를 줄 것인지에 관한 정보 설계, 어떤 방식으로 전달할지에 관한 답변 설계, 그리고 어떤 흐름으로 대화를 전개해 나갈지에 관한 시나리오 설계 등 대화를 구성하는 요소들을 고려한 대화 전략 수립이 중요합니다.

2. 학습 내용과 방식 설계

• LLM을 활용하기 위해선 활용 목적에 맞게 학습하는 과정이 필요합니다. 목적에 맞는 학습데이터를 구축해서 학습시키거나(파인튜닝), 학습할 내용을 일종의 설계도로 만들어서 프롬프트로 입력할 수 있습니다(프롬프트 튜닝). 여기서는 프롬프트 튜닝 방식으로 생각해 보겠습니다.
• 대화 전략을 기반으로 설계안이 마련되면 프롬프트로 LLM에게 지시해야 합니다. 이커머스 산업에서는 점원의 말 한마디에 구매할 생각이 없던 제품을 사기도 하고 그 반대의 상황이 생기기도 합니다. 소비자의 반응에 따라 세밀하게 대응해야 위해선 복잡하고 긴 프롬프트가 필요합니다. 프롬프트 엔지니어링으로 알려진 프롬프트 작성 요령들을 잘 활용해서 최대한 명확하고 이해하기 쉬운 지시문이 되어야 합니다.
• 프롬프트 엔지니어링 기법이 잘 적용되었다 하더라도 내용이 방대하고 복잡한 프롬프트는 LLM이 이해하기 어렵고, 처리 속도도 느려서 목표하는 대로 수행하지 못할 가능성이 높습니다. 그래서 프롬프트를 task 별로 잘게 쪼개서 마치 순서도처럼 단계별로 관리하는 “프롬프트 체인” 기법을 활용하거나 대화를 제어하는 “에이전트”를 두고 LLM이 대응 전략을 결정하도록 하는 방식을 고려할 수 있습니다.

3. 모델 선정

• 대화 시나리오의 각 단계는 서로 다른 난이도의 task가 포함되어 있습니다. LLM 이용 비용을 적절히 통제하면서도 최적의 결과를 얻기 위해선 각 task에 맞는 최적의 모델을 찾아야 합니다. 모든 단계를 고성능 모델로만 구현한다면 그만큼 비용이 올라간다는 점을 염두에 두어야 합니다.

4. 검색 엔진 구축

• 소비자와 점원과의 대화는 제품 정보와 사용자 니즈라는 두 정보가 서로 교류하고 대응하는 대화입니다. 끊임없이 정보를 제공하고 피드백 받는 과정에서 소비자가 요청하는, 또는 챗봇이 전달하고 싶은 정보를 정확히 수집하고 전달하는 것은 매우 중요합니다. 이를 위해 정통적인 검색 엔진의 활용은 물론 최근 각광받고 있는 RAG 기법을 활용해서 정확한 정보를 수집하고 이를 대화 설계도에 맞게 생성해야 합니다.

5. 테스트와 개선

• LLM은 같은 질문에 대해서도 상황에 따라 다른 답변을 할 수 있기 때문에, 서비스에 필요한 대화 품질을 유지하기 위해 많은 테스트와 수정이 필요합니다. 테스트는 실제 사용 상황을 가정하여 소비자의 실제 발화를 기반으로 진행해야 하며, 다양한 대화 맥락과 질문 등을 통해서 대화 품질과 검색 품질 등 서비스 품질을 다각도로 평가해야 합니다. 더불어 반응 속도와 운영 비용이 적정 수준인지도 중요한 평가 대상입니다.

마치며

LLM을 적용하는 건 아직까지 많은 고민과 시행착오가 필요합니다. LLM이 모두에게 만능일 수는 없으며, 범용 모델로서의 한계를 이해하고 서비스 목표와 도메인 특징에 맞는 기획과 학습이 필요합니다. 기술 완성도가 서비스 완성도와 같을 수는 없으며, 양쪽을 균형 있게 바라보는 관점이 필요합니다.

월마트는 이미 수년 전부터 AI 기반 챗봇을 도입해 입점 기업과 협상하고, 가격을 결정하며, 할인 혜택까지 제공하는 봇시스템을 운영하고 있습니다. 기존의 인간 대응보다 더 높은 만족도를 기록한 사례이기도 합니다. AI를 실제 비즈니스 환경에 어떻게 적용할 수 있는지를 설명하는 좋은 예시라고 생각합니다.

TEXTNET에서는 기술과 인문학의 융합을 중심으로 대화 설계 연구에 지속적인 투자를 진행하고 있습니다. 지금까지 설명해 드린 내용에 기반한 데모를 영상으로 공유해 드리니 참고가 되었으면 합니다.

• TEXTNET의 digital sales bot은 세밀하게 설계된 63가지 대화 전략이 24개 프롬프트 체인으로 나뉘어 단계별로 적용되고 있으며, 각 단계별로 사용 모델을 달리하여 최적의 성능을 내도록 고도화하고 있습니다.

TEXTNET 소개

지금의 딥러닝을 있게 한 AI Guru 제프리 힌튼의 데이터셋 'ImageNet'에 어원을 둔 TEXTNET은 (주)스피링크가 운영하는 AI/챗봇을 위한 텍스트 데이터 설계 및 구축 서비스입니다.

TEXTNET은 언어학, 심리학, 전산언어학 석·박사를 포함한 전문 인력으로 구성된 언어전문가 그룹으로서, 고객사의 니즈에 부합하는 텍스트 데이터를 설계·가공·구축하고 내부 R&D를 통해 설계 방식을 지속적으로 개선하여 최적의 데이터 설계 방법을 제안합니다. 프로젝트 목적에 따라 적합한 숙련 작업자를 선별하여 투입하고, 체계적이고 효율적으로 고품질의 학습데이터를 생산합니다.

TEXTNET은 삼성, LG, KT, SK 등 유수 대기업의 데이터 구축 파트너로 함께하며 금융, 마케팅, 콘텐츠, 메타버스, 서비스 기획, CS 등 다양한 도메인을 다루고 있습니다.