생성형 AI와 UX의 융합

생성형 AI와 UX의 융합

2025 UX 디자인의 도전과 기회 (1)

2024년 12월 부터 2025년 1월 16일 오늘까지도 정치적으로 매우 혼란스럽고 불안한 상태가 지속되고 있습니다.정치적 불안에 그치지 않고 국내 경제적 불안은 훨씬 어려운 위기 상황이고 생각합니다.

주변에서 정말 많은 분들이 지난 한 해 참 어려웠다는 말씀을 많이 하십니다. 올해도 걱정을 많이 하시고요. 개인적으로도 올 해 걱정이 많이 됩니다.

그럼에도 불구하고 어떻게 지혜롭게 2025년을 헤쳐 나갈지 고민이 필요하다고 생각해서, 지속 가능한 기업의 성장 방안에 대해서 평소 제생각과 최근의 디자인 현상을 검토 하면서 문제를 정리해 보고 생각을 나누는 시간을 갖고자 합니다.

다음과 같은 4개의 주제로 다루어 보겠습니다.

• 생성형 AI와 UX의 융합

• UX 디자인의 사회적 책임 강화

• 공간 컴퓨팅과 몰입형 UX 준비

• 기업 혁신 주도형 UX 디자인 역량 강화

첫번째 이슈는 AI디자인 입니다. 첫번째 이기도 하지만 전체 메세지의 근간이 되는 이슈이기도 합니다. 잘 아시는 것처럼 최근 2~3년간 디자인 환경은 생성형 AI를 필두로 완전히 인공지능 천하가 되었다고 느껴집니다. 생성형 AI는 마치 천지창조의 '빅뱅'으로 인식되거나, 모든 것을 빨아들이며 소멸시키는 '블랙홀'처럼도 인식됩니다. 분명한 것은 엄청난 변화의 변곡점, 그 엣지에 서 있다는 것 일텐데요, 그것이 빅뱅일지 블랙홀일지 막연하게 우려만 하고 있기 보다는 인공지능 디자인 시대의 주요 논점들을 분석적으로 따져보아야 하겠습니다.

먼저 주요한 AI 현상을 짚어보면 생성형 AI의 ‘느닷없는’ 출현이라고 할 수 있습니다. 여기서 생성형 AI란 텍스트 기반으로 글, 이미지, 동영상, 음악 등과 같은 다양한 콘텐츠를 생성하는 것을 말합니다. 특히 디자인 분야는 텍스트 기반으로 이미지나 영상물을 생성하는 데 관심이 집중되어 있습니다.

대표적인 이미지 생성형 AI의 하나인 “Dall-E”는 2021년 1월 처음 발표되었고, 이후 2022년 4월에 버전 2, 2023년 9월에 버전 3가 발표되었습니다. 미드저니도 2022년 7월 12일에 오픈 베타 서비스로 출시 되었습니다. 그 외에도 여러 다양한 생성형 AI가 현재 존재하고 있습니다.

그간의 인공지능 기술 발전의 역사에서 암흑기가 두 차례 있었다고 알려진 것처럼 AI 발전은 순탄치 않았습니다. 때로는 기대를 안겨주었지만 이내 실망하는 결과를 반복하면서 “언젠가는 뭐가 돼도 되겠지만 지금 당장은 아직 멀었어”라는 정도로 인공지능 기술은 막연한 기대와 불안을 가지고 있던 기술에 불과 했습니다.

현실적으로도 애플에서 ‘시리(Siri)’나 스마트 스피커류의 AI 에이전트 스피커들이 나왔지만 말 대답을 하는 서비스 정도로 생각할 뿐 큰 감흥은 없었습니다. 그러나 생성형 AI의 출현은 그야말로 큰 충격을 안겨주었는데요, 여러 측면에서 놀라운 일대 사건으로 기록되고 있습니다.

첫번째는 노력 대비 놀라운 품질을 보여 준다는 점에서 감탄을 자아내고 있습니다. 간단한 한 두 문장만으로도 이미지를 생성해 내는 솔루션을 보면서 디자이너의 예술적인 노력 없이도 누구나 이미지를 만들 수 있다는 현실에 직면하게 되었습니다. 실로 예술 민주화가 현실 속에서 달성되는 순간이라고 할 수 있겠습니다.

이는 소위 “그림을 그린다”, “이미지를 생성한다”는 행위를 근본적으로 뒤바꿔버린 일대 사건이 아닐 수 없는 것이죠. 그리는 방식의 대전환이 시작되었다고 생각합니다.

놀라움은 그리지 않고 그려낸다는데 그치지 않습니다. 일선의 디자인 현장에서 더 충격적인 것은 그 생성 속도에 있습니다. 매우 빠른 시간에 일정 수준의 품질을 유지한채로 만들어낸다는 점입니다. 여기서 품질의 문제는 점차 기술의 발전으로 해결될 것으로 보이지만, 현재도 최종 단계가 아니라면 충분하고도 남는 수준의 결과물들이 만들어집니다. 무엇 보다도 당장 속도 문제는 시장에 강력한 충격파를 던져 주고 있을 것입니다.

더 놀라운 상황은 비디오 생성형 AI의 출현이라고 하겠습니다. ‘Open AI’가 2024년 2월 15일에 처음 공개한 ‘소라(sora)’가 처음 소개하면서 발표한 “A stylish woman walks down a Tokyo street”로 시작하는 프로프트로 생성된 1분짜리 FHD 동영상은 당시 많은 사람들에게 회자되면서 큰 주목을 끌었습니다. 이전의 비디오 생성 수준과 비교해서 놀라운 수준으로 발전된 결과를 보여 주었기 때문인데요, 단 6개의 문장으로 당시까지는 어렵다고 한 1분 길이의 FHD 품질의 영상을 단 몇 분만에 뽑아 내는 솔루션이 나타났다는 점이지요.

나아가 구글의 ‘딥마인드(DeepMind)’는 지난 12월 17일 ‘베오(Veo) 2’를 발표했습니다. 베오 2는 그 품질이 더욱 자연스럽고 현실적이라는 평가를 받고 있는데요. 소라의 경우 화질이 아직 한계가 있었다면 베오2는 4K 해상도까지 가능해서 상용화에 훨씬 용이하기 때문에 영상 업계의 재편은 물론 영상 교육의 개편도 불가피할 것으로 보입니다.

이미지 생성은 AI 도움없이도 자료 이미지만으로 디자이너가 직접 만들 수 있다고 한다면, 비디오 생성은 자료 영상만으로는 원하는 영상을 만들어내는 것이 사실상 불가능하다는 점에서 그럴 듯한 작업물을 만들어내는 비디오 생성 AI의 출현은 업계에 큰 충격을 주었다고 생각합니다.

사실 비디오 영상은 연출자가 연출 의도를 가지고 시나리오와 연출안을 만들면, 이어서 캐스팅, 분장, 코스튬, 조명, 음향의 전문가들이 참여하고, 촬영과 편집 등 후반 작업을 거쳐 완성되는 체계적이고 전문적인 작업입니다. 그러나 생성형 AI는 한 명의 영상 크리에이터가 프롬프트만 작성해 주면 스스로 모든 전문적인 작업을 다해내는 것이라서, 중간에 있는 전문가가 없어도 영상물을 만들 수 있다는 것을 의미합니다. 전문가가 없어도 된다는 것은 만흔 영상 창작자들에게 큰 도전이 아닐 수 없습니다.

뿐만아니라 이와 같은 영상 제작과 관련된 전문 지식과 기술을 배우고 익히기 위해 교육 프로그램도 통채로 위협받게 되었습니다. 디자인, 미디어, 영상 등의 이름으로 된 전공의 많은 교육 커리큘럼이 큰 난관에 봉착하게 되었다고 할 수 있습니다. 어쩌면 많은 사람들에게 이 혁신적인 비디오 생성형 AI가 달갑지 않은 사건이 되고 있습니다.

대표적인 이미지나 동영상 생성형 AI 외에도 다양한 목적을 가진 생성형 AI가 등장하고 있습니다. 한 주만 놓쳐도 새로운 물결에 따라가기 어려운 게 현재의 AI 현상인 것 같습니다. 범용의 생성형 AI를 너머 기존의 디자인 도구로 확장되고 있으며, 특정 목적을 위한 디자인 특화 AI까지 다양하게 발전하고 있습니다.

어도비가 2023년 8월 출시한 ‘파이어프라이(FireFly)’는 포토샵에서 프롬프트, 즉 텍스트를 통해 이미지를 자동으로 생성하는 기능을 탑재하고 있고, ‘솔리드웍스(SolidWorks)’나 ‘오토데스크(AotuDesk)’도 AI 기반 제너레이티브 디자인 기능을 추가하고 있습니다.

‘지멘스(Siemens)’, ‘이케아(IKEA)’, ‘아우디(Audi)’ 등의 일반 기업도 자체적으로 필요한 기계 설계, 가구 디자인, 자동차 휠 디자인 등을 전문적으로 생성하는 자체 AI 시스템을 개발하여 운영하고 있습니다. 이렇게 다양한 분야에서 전방위적으로 생성형 AI 활용이 확장되고 있는 것을 알 수 있습니다.

AI는 디자인 실무에 점점 더 깊이 들어오고 있습니다. 가히 AI 디자인 시대가 열렸다고 할 수 있습니다. 디자인 분야에서 AI를 어떻게 활용할지에 대한 많은 관심과 우려가 있는 것으로 알고 있습니다. 이제는 AI 디자인을 작업 환경이라고 인정하면서, 우리는 어떻게 AI와 함께 디자인 직무를 수행해야 할지 고민해 보아야 한다고 생각합니다.

먼저 UX 디자인 직무에 AI를 활용하기 위해서는 디자인 직무를 제대로 이해할 필요가 있는데요, 너무 원론적인 얘기가 될 수도 있겠습니다만, 조금 짚어보도록 하겠습니다.

디자인을 수행하는 개념과 절차를 가장 잘 설명하고 있는 모델은 잘 아시는 바와 같이 더블 다이아몬드일 것입니다. 이는 2005년 영국 디자인 카운슬이 당시 성공적인 성과를 내고 있는 11개 대표 기업의 디자인 방법과 절차를 연구하여 발표한 개념 모델입니다. 개인적으로 이 모델이 매우 효과적이고 상징적으로 잘 정리되었다고 생각합니다. 개념 모델을 시각적으로 보여주는 다이어그램 자체도 매우 잘 디자인되어 있는데요, 더블 다이아몬드 프로세스의 본질을 잘 설명하고 있습니다. 흥미로운 점은 이해하기 쉽고 기억하기 쉽게 하기 위해 더블 다이아몬드에서 디스커버리, 디파인, 디벨롭, 딜리버리와 같이 모두 'd'로 시작하는 단어를 선택했다는 점입니다. 어쩌면 이 점이 이 개념을 함축적으로, 디자인 방법을 잘 묘사하고 있지만, 또 한편으로는 현실의 디자인 현장과는 좀 거리가 생기는 요소로 작용했다고 생각합니다. 이후 2023년 영국의 디자인 카운슬에서 다시 더블 다이아몬드 모델을 디자인 문제 해결을 넘어 사회적 문제 해결로 확장하면서 시스템적 디자인 프레임으로 개념 모델을 확장하여 발표했습니다. 이때는 ‘디자인’이라는 용어를 포기하고 보다 현실적인 개념을 나타내는 용어로 변경하였는데요. 보시는 것처럼 익스플로어, 리프레임, 크레이트, 카탈리스트로 바꿉니다. 그리고 디자인 문제 해결 전후에 각각 방향과 비전을 설정하여 여정 지속하기 등을 배치해서 이 두 개념을 구체적인 문제 해결의 절차로 함을 시켰고요. 또 문제 해결 과정의 상위에는 연결과 관계 맺기를, 하위에는 리더십과 스토리텔링을 배치해서 디자인 과정에서 여러 이해관계자의 연대가 필요하다는 점과 디자인 과정의 근간에 문제 해결에는 설득력을 발휘하는 것이 중요하다는 점을 강조하였다고 생각합니다.

디자인을 수행하는 개념과 절차를 가장 잘 설명하는 개념 모델이 바로 더블 다이어몬드일 것입니다. 잘 알려진 바와 같이 이는 2005년에 영국의 디자인 카운슬(Design Council, https://www.designcouncil.org.uk/)이 당시 성공적인 성과를 내고 있는 11개의 대표 기업의 디자인 방식을 실증적으로 연구하여 발표한 것입니다.

저는 이 모델이 디자인 활동을 개념적으로나 시각적으로 잘 보여 준다고 생각합니다. 더블 다이아몬드라는 이름처럼 두 개의 다이아몬드가 각각 ‘문제 찾기’와 ‘해결 찾기’를 나타내며, 다이아몬드 형태가 확산과 수렴하는 디자인의 사고 특성을 잘 드러내고 있고, 4개의 주요 단계를 모두 D로 시작하는 디스커버(Discover), 디파인(Define), 디벨롭(Develop), 딜리버(Deliver)를 사용해서 이해하기 쉽고 기억하기 쉽게 다이어그램화 했습니다.

이후 디자인 카운슬은 2023년에 다시 이 모델을 "디자인 문제해결을 넘어 사회적 문제해결로 확장"하면서 "시스템적 디자인 프레임"이라는 개념 모델로 확장했습니다. 이때는 D로 시작하는 용어를 버리고 익스플로어(Explore), 리프레임(Reframe), 크리에이트(Create), 카탈리스(Catalyse)로 바꿉니다.

그리고 문제와 해결 다이아몬드 전후방에 각각, '방향과 비전 설정(Orientation and Vision Setting)', '여정 지속하기(Continuing the Journey)'를 배치하여, 이 두 개념을 구체적인 문제해결 절차에 포함시켰습니다. 또 문제해결과정의 상위는 연결과 관계 맺기(Connections and Relationships)를, 하위는 리더십과 스토리텔링(Leadership and Storytelling )을 배치하여, 디자인 과정에서 여러 이해관계자와의 연대와 문제해결을 위한 설득이 중요하다는 점을 강조하였다고 생각합니다.

저는 수년간 더블 다이아몬드 모델을 수업이나 실무에 적용해 보려고 했지만, 너무 개념적이라 현실적으로 적용하는데는 많은 어려움이 있었습니다. 따라서 보다 실무적인 모델을 만들어 적용해 오고 있습니다. 나름 성과는 성공적이었다고 할 수 있는데요. 물론 실제로 적용할 때는 좀 더 상세한 버전이 있어야 합니다.

중요한 점은 디자인 프로세스 모델이 보다 구체적으로 디자이너가 무엇을 위해서 어떤 것을 실행하고, 어떤 산출물을 만들어 내야 하는지를 명확하게 나타내는 개념 모델이 되어야 한다는 것입니다. UX 디자인을 아무리 간단히 이해한다고 하더라도, 클라이언트나 자체적인 의도를 이해하고 기획서를 만들고, 문제적 상황을 이해하기 위해서 배우고, 그것을 재구조화 하여 문제를 정의하며, 또 문제 해결을 위한 아이디어 발상과 시나리오를 통해 요구되는 것을 파악하고, 그것을 디자인 프레임워크로 구성하는 과정을 거쳐, 실질적인 디자인 안으로 만들고, 그 안을 실험하며 계속해서 반복적으로 개선하고, 개선한 결과를 최종안으로 만들고, 마지막으로 필요한 형태와 방식으로 전달하는 과정으로 구분하는 것이 보편적인 디자인 실무 상황에 가깝다고 할 수 있다. 이것은 최소 7단계로 이루어진다.

여기에 각 단계를 구분하는 원칙은 달성해야 할 목표, 방법, 산출물이 각각 있고, 이전의 산출물이 다음의 단계의 근거 또는 출발점이 되너야 한다는 것입니다.

앞에서 살펴본 AI 현상과 실무적인 디자인 직무를 서로 매칭시켜 보면 사실상 모든 단계에서 AI 활용이 지금 수준에서도 가능해 보입니다. 이제는 그 밀도의 문제가 남았을 뿐이며, 우리는 이미 AI 디자인 시대의 한복판에 들어와 있습니다.

물론 각 디자인 현장은 각각 모두 다를 것이므로, 현장에서 어떻게 AI를 활용할 것인지 각각의 상황에 비추어 판단할 일이지만, 이론적으로는 모든 단계에서 활용 가능하므로 어떻게 활용할 것인지 개인적으로 조직적으로 준비가 필요하다는 말씀을 드립니다.

지금까지는 생성형 AI에 관련된 말씀을 주로 드렸으나, 이는 단지 AI가 가져올 큰 변화의 작은 부분일지도 모릅니다. 더 중요하고 의미 있게 우리가 준비해야 할 것은 디자이너의 도구 혁신을 넘어 사용자가 기기와 서비스를 사용하는 순간 발휘하는 AI의 가능성이라고 생각합니다.

여기서 우리는 AI 기반 사용자 맞춤형 인터페이스, 즉 다이내믹 UI 개념에 주목해야 한다고 말씀드리고 싶습니다. AI와 머신 러닝 기술의 발전, 그리고 이를 실행할 수 있는 부품과 기구의 발전 덕분에 기기와 서비스의 역동적인 사용자 경험은 더욱 정교하고 효과적인 방식으로 진화하고 있습니다.

잘 알려져 있는 넷플릭스의 콘텐츠 추천 알고리즘은 콘텐츠 추천에 그치지 않고, 그 콘텐츠의 썸네일 선택에 이르기까지 매우 섬세하게 적용되고 있습니다. 같은 영화라도 최적의 썸네일을 골라서 보여줌으로써 사용자의 선택을 효과적으로 받을 수 있다는 것입니다. 어떤 썸네일 이미지일 때 더 실행률이 높은지에 대한 빅데이터를 학습하고 분석해서 AI는 고객의 특성에 맞춰 썸네일 이미지를 골라줍니다.

음악에서도 사용자의 소비 행태를 분석하여 다이나믹 UI를 적용하고 있습니다. 스포티파이(Spotipy)는 사용자의 청취 성향을 분석하여 취향에 맞는 곡을 추천할 뿐 아니라 마치 DJ처럼 그 곡들을 설명하기도 하고 이야기를 들려주기도 합니다. 나만을 위한 방송국이 내 디바이스 안에 펼쳐진다니 사용자의 경험은 매우 긍정적으로 활성화될 것입니다.

외국어 학습 서비스인 듀오링고에서도 사용자가 질문을 반복적으로 이해하지 못한다면 질문의 수준을 낮추거나 설명을 추가하는 등의 실시간으로 반응하는 콘텐츠와 인터페이스를 제공합니다. 결국 사용자를 서비스와 브랜드에 가두는 락인(Lock-in) 효과를 노리는 사용자 개인화 전략이라고 할 수 있습니다.

AI 기반의 다이나믹 UI를 구현하기 위해서는 사용자의 데이터, 알고리즘, UI 요소 설계를 통해 구축합니다. 먼저 사용자의 행동, 선호도, 과거 기록 등 다양한 사용자 데이터를 수집합니다. 데이터를 머신러닝(ML)을 통해 학습하고, 알고리즘을 사용해 실시간 인터페이스 변경 사항을 결정합니다. 실제 사용 상황에서 트리거가 작동하면 곧바로 사용자에게 기능적인 피드백을 시각적인 UI 요소를 제공합니다. 이러한 일련의 과정이 유기적으로 통합되면 사용자 경험은 극대화됩니다.

AI를 통한 개인화 경험이 비즈니스의 성장에 왜 중요한지는 실질적인 숫자로 증명되고 있습니다. 코드포소트(Code4thought, https://code4thought.eu/)의 발표에 의하면 개인화된 콘텐츠 추천을 통해 아마존은 전체 매출의 35%, 유튜브는 60%, 넷플릭스는 자그마치 80%를 차지한다고 합니다. 결국 높은 개인화 서비스는 궁극적으로 기업 수익 성장으로 이어진다는 것을 잘 알 수 있는 조사 결과입니다.

개인화가 고객 만족으로 이어진다는 사실은 메달리아(Medallia, https://www.medallia.com/)의 시장 조사 결과에서도 확인해 볼 수 있습니다. 소비자 조사에서 개인화된 경험은 자신이 특별 대우를 받는다는 경험으로 이어지고, 이는 서비스에 대한 매우 만족스러운 결과로, 다시 브랜드 충성도로 이어진다는 연구 결과입니다.

국내 홈플러스도 2024년 5월부터 7월까지 3개월간 데이터 분석을 해보니 AI 기반 개인화 추천을 통해 상품 클릭 수가 약 40% 증가했고, 장바구니 닫기도 약 20% 정도 증가했다고 발표했습니다. 사람들이 개인화된 경험을 통해 편리하고 최적의 경험을 하며 대접받고 있다는 감정으로 연결되는 것이 확인되었습니다.

그러나 개인화된 경험 트렌드는 여기서 그치지 않고, 조만간 개인화가 없는 서비스에 대해서 대접받지 못한다거나 홀대 받는다고 느낄 것으로 보입니다. 이제 개인화는 선택이 아니라 필수라는 점을 말씀드리고 싶습니다.

이제 본격적으로 인공지능을 활용하기 위한 UX 디자인 측면의 전략과 가이드가 마련되어야 한다고 생각합니다. AI를 디자인 직무에 활용하는 것에만 국한하지 말고 기업 활동 전체로 관점을 확대해서 볼 필요가 있다고 생각합니다.

공예와 같은 전통적인 디자인은 디자이너가 사람들이 사용하는 도구를 만들어서 직접 제공하는 하드 코딩(Hard-coding) 방식입니다. 도구를 만들고 나면 수정하거나 개선할 수가 없죠. 이와 달리 UX 디자인은 사람들이 원하는 바를 달성하는 기능의 사용 방식과 경로 절차를 디자이너가 만들어 간접 재공하는 소프트 코딩(Soft-coding) 방식입니다.

이 때문에 UX 디자인은 디자이너가 디자인을 만드는 과정에서 종결되는 것이 아니라 사용자가 사용한 과정을 포함해야 비로소 완결되는 일이라는 관점에서 사용자가 디지털 기기나 서비스를 사용하는 과정에서 어떻게 AI를 적용할 것인지 세밀하게 살펴보아야 합니다.

즉, 디자이너가 AI를 활용하는 것도 고려해야 하지만, 사용자가 AI를 이용할 수 있도록 디자인 되어야 합니다. 디자이너가 개인화된 경험을 더 세밀하게 사용자에게 제공할뿐더러, 사용자의 부담을 최소화할 수 있도록 디자이너가 미리 AI의 가능성을 검토하고 UX에 반영해 두어야 한다는 말입니다. 이것이 AI를 UX에 적극 통합하여 디자인한다는 의미입니다.

그러기 위해서는 어떤 역량을 디자이너나 디자인 팀이 갖춰야 할까요? 각 팀의 적합한 AI 도구는 무엇이며, 어떻게 활용하는 것이 최선의 결과를 얻는 것인지 도구를 이해하고 숙련하는 과정이 준비되어야 합니다. AI가 작동하기 위해서는 어떤 기술과 센서를 활용해 어떤 종류의 데이터를 어떤 상태로 수집해야 하는지, 그렇게 하기 위해 개인의 프라이버시나 법적인 조건에 어떤 제재가 없는지 등 다방면의 지식과 고려가 필요해 보입니다.

그러나 AI 도구에 익숙하고 데이터에 접근 가능하며 센싱할 수 있는 환경이 갖추어져 있다 하더라도, 그것으로 무엇을 할지 목표가 없다면 다 소용없는 일일 것입니다. AI가 적용되면 사용자나 고객에게 어떤 혜택을 추가로 더 줄 수 있는지 알아볼 수 있는 비전과 상상력을 가져야 합니다.

결국 어떤 것을 추구할 것인가와 어떻게 달성할 것인가의 문제가 될 것입니다. 그리고 어떻게 달성할 것인가보다는 어떤 것을 추구할 것인가가 더 본질적인 문제라는 점은 자명해 보입니다. 놀랍게도 사람들이 원하는 것은 본질적인 측면에서 크게 달라지지 않습니다. 내면 깊이 잠재된 고객의 욕구와 욕망을 읽어내는 일이 역설적이게도 AI 활용에 가장 핵심적인 역량이라고 생각합니다.