AI 윤리에 대한 AIDD 톡터디

AI 챗봇 서비스 ‘이루다'에 대한 디자이너의 생각

AIDD
9 min readJan 28, 2021

안녕하세요. AIDD(AI for Designer and Developer) 첫 인사드려요.👋

AI 기반 서비스 및 제품에 대해 디자이너와 개발자가 함께 모여 이야기를 나누는 커뮤니티인 AIDD(AI for Designer and Developer)를 운영하고 있는 DS👩‍🚀, MJ 👻, Trey 👨🏾‍🎓, Kimenj 👩🏻‍🌾 라고 해요.

  • DS 👩‍🚀 (Designer): 기술의 장벽을 낮게 만들어 더 많은 사람들이 기술의 혜택을 누릴 수 있는 방법을 찾는 것에 관심이 많아요.
  • MJ 👻 (Designer): 디자인 뿐만 아니라 기획, 사업성, 고로 돈되는 서비스를 만드는 것에 관심이 많아요. 특히 디자인이 수익을 창출하는 것에 미치는 영향에 대해 관심이 많죠.
  • Trey 👨🏾‍🎓 (Designer): 흥미로운 디자인 이야기를 좋아해요. 디자인과 기술의 협업으로 위트 있는 솔루션을 기대해요.
  • Kimenj 👩🏻‍🌾 (Designer): 문제를 개선하기 위한 디자이너로서 바람직한 방향성과 역할에 대해 함께 이야기하는 것을 좋아해요.

AI 기술은 빠르게 성장하고 있고 다양한 분야에 적용되고 있는데, AI에는 관심이 많지만 비전공자인 디자이너인 저희 4명은

“디자이너와 개발자는 AI 기술에 대해 어떻게 생각할까?”

“인공지능 기반 서비스 및 제품을 디자인 및 개발할 때 디자이너와 개발자의 역할은 무엇인지에 대해 함께 이야기 나누면 어떨까?”

라는 질문으로 AIDD에서 톡터디(Talk Tudy)를 시작하게 되었어요.

톡터디는 최근 AI 기술 동향을 살펴보며 가장 화두에 오르고 있는 AI 기술, AI서비스 및 제품을 정한 뒤, 이에 대해 일주일 동안 각자 자료를 조사하면서 디자이너의 관점으로 살펴봐요. 각자의 생각을 글로 정리해서 매주 일요일 저녁에 온라인으로 만나 함께 톡을 나누는 톡터디를 진행하고 있어요. (톡터디에 참여를 원하시는 분들은 글 하단에 적힌 메일로 연락주세요. 😉)

AIDD 톡터디 현장, 강아지를 좋아하는 AIDD 운영진들은 강아지와 함께 AI에 대해서 이야기를 나눠요.

이번 AIDD 톡터디 주제는 뜨거운 감자인 ‘이루다’ 인공지능 챗봇 서비스에서 발생했던 비윤리적인 문제에 대해서와, 이러한 문제를 예방하기 위해 AI 서비스 및 제품을 디자인하는 과정에서 디자이너로서 어떤 부분을 고려해야 하는지에 대해 함께 대화를 나눠봤어요.

1. 이루다 사건 개요

  1. 사용자가 인공지능 챗봇인 이루다에게 성희롱을 했어요.

이루다를 성적 대상으로 취급하는 일들이 발생했어요. 이루다 서비스를 만든 스캐터랩에서 성적 단어를 금지어로 설정해두고 성적 대화를 피하게 설정했음에도 불구하고 일부 사용자들이 성적 대화를 야기하는 대화의 소재를 제공하고 이러한 방법에 대해 커뮤니티에 공유하고 있어요.

2. 사용자는 이루다와 대화를 통해 이루다가 혐오·차별을 학습한 결과를 볼 수 있었어요.

이루다가 소외된 부류, 약자에 대한 혐오를 학습하고, 혐오 발언을 해서 문제가 되었어요. 예를 들어, 지하철 임산부석이 싫다거나, 여성 인권이 중요하지 않다고 발언을 했다고 하는데요. 이러한 발언은 혐오와 차별을 기반한 데이터를 학습한 결과로 보고 있어요.

3. 사용자의 동의를 구하지 않고 100억 건의 카카오톡 대화 데이터를 이루다 개발에 이용했다고 하네요.

스캐터랩에서는 이루다 이전에 연애 조언을 해주는 앱을 운영하고 있는데, 이 앱을 개발할 때 카카오톡 대화 100억 건을 수집해서 만들었다고 해요. 그런데 이때 사용했던 데이터를 이루다 서비스를 개발할 때 사전 동의 없이 이용했다고 해요. 이루다의 답변에서 구체적인 이용자의 이름까지 나왔다는 얘기가 있어요.

2. 이루다 사건에 대한 디자이너의 생각

이루다 서비스에 대한 AIDD 운영진이자 현업 디자이너들의 생각을 자유롭게 나눠봤는데, 여러분들의 생각도 궁금해요.

3. 인공지능 윤리 문제를 예방하기 위해 디자이너가 할 수 있는 역할은 무엇일까요?

  1. 사용자에게 AI 윤리 가이드라인 제공해보는 것은 어떨까요?

인공지능 기술기반 서비스 및 제품을 어떻게 윤리적으로 개발해야 하는지에 대한 윤리 가이드라인 및 체크리스트를 개발하는 연구는 계속 이어지고 있지만, 사용자가 인공지능 기술 기반 서비스 및 제품을 어떻게 윤리적으로 사용해야 하는지에 대한 가이드라인은 아직 없는 것으로 알고 있어요. 인공지능 기술 기반 서비스 및 제품을 사용하면서 발생할 수 있는 윤리적 문제를 미리 예방할 수 있는 사용자를 위한 가이드라인을 제시하는 것이 필요해 보여요.

2. 사용자가 적극적으로 인공지능 윤리 가이드를 재밌게 읽을 수 있는 방법은 무엇일까요?

보통 가이드라인은 텍스트 기반인 경우가 많기 때문에, 쉽게 읽히지도 않을뿐더러 ‘읽고 싶다’라는 생각이 잘 들지 않아요. 그렇다면, 디자이너로서 사용자가 인공지능 윤리 가이드를 재밌고 쉽게 읽는 방법을 고민해보고 이를 디자인을 통해서 해결해볼 수 있지 않을까 싶어요.

예를 들어, 넷플릭스에서 만든 다큐, Social Dilemma, 를 제작한 Tristan Harris (현 Co-founder & president of the Center for Humane Technology, 전 Google Design Ethicist)이 세운 Center for Humane Technology에서 제공하는 가이드라인이 있으나 사용자가 실제로 적용하기에는 어려움이 많아요.

Center for Humane Technology에서 제공하는 가이드라인: 사용자에게 안 좋은 영향을끼칠 수 있는 앱 (Toxic App)에 대해 사용자가 주도권을 가지고 앱 사용에 대해 관리할 수 있는 가이드라인을 제공하고 있어요. 출처: Center for Humane Technology

3. 비윤리적인 발언을 하는 사용자에게 벌점을 매기는 것은 어떨까요?

AI 챗봇과의 대화에서 비윤리적인 발언을 빈번하게 하는 사용자에게 벌점을 주고 서비스 이용에 불이익을 주는 것도 고려해볼 수 있을 것 같아요. 그래서 벌점을 많이 받은 사용자는 서비스를 이용하지 못하게 하는 거죠. 더 나아가 이런 벌점에서 그치는 것이 아니라, 사용자의 행위가 왜 잘못되었는지를 이해하고 이에 대한 경각심도 가질 수 있도록 UIUX디자인으로 기여할 수 있는 방법을 고려해볼 수 있고요.

출처: U.S. National Archives

4. 윤리적 문제가 발생했을 때 사람이 대처하는 방식으로 인공지능을 학습시키면 어떨까요?

결국 인공지능 챗봇은 사람과 사람 간의 대화 데이터를 학습하고 학습된 데이터 기반으로 사용자와 대화를 이어가잖아요. 그러기 때문에, 사람과 사람 간의 대화에서 비윤리적인 대화의 소재가 나왔을 경우에서 사람이 대처하는 현명한 방법을 인공지능에게 학습시켜볼 수 있지 않을까라는 생각이 드네요.

출처: 이미지

5. 사용자가 AI 챗봇 또는 AI기반 서비스를 사용하면서 의견을 낼 수 있도록 디자인하는 것은 어떨까요?

이번 이루다 서비스 사건만 봐도, 서비스를 이용했던 사용자가 문제제기를 한 덕분에 해당 문제에 대해 더 많은 사람들의 관심을 끌 수 있었어요. 그리고 이러한 문제를 온라인 커뮤니티와 소셜 네트워크 서비스(SNS)를 통해서 공유하고 서로의 의견을 주고받는 포스팅이 활발히 이뤄져서, 더 많은 사람들이 짧은 시간 안에 해당 문제에 대해 관심을 갖게 된 것으로 보여요.

서비스 내부에 문제에 대해 신고하는 기능을 추가하는 것은 어떨까요?

이루다 서비스에서는 비윤리적인 문제가 발생했을 경우 이를 신고하는 기능이 없었다고 해요. 이러한 문제를 서비스 내부에서 바로 신고할 수 있는 기능을 UIUX 디자인에 추가하여 사용자가 더욱 쉽게 의견을 낼 수 있도록 돕는 것도 필요할 것 같아요.

출처: 신고 기능

6. 인공지능 윤리 자체를 트렌드 화하면 어떨까요?

‘윤리’하면 거부감을 가지는 분들, 관심이 쉽게 생기지 않는 영역이라고 말하는 분들도 꽤 많은데 다양한 연령대가 인공지능 윤리에 대해 너무 어려워하지 않고 쉽게 접근할 수 있도록 트렌드 및 문화를 형성하는 것도 좋은 아이디어인 것 같아요. 예를 들어, ~챌린지, SNS 해시태그를 통해서 특정 문제에 대해서 알리고 다양한 사람들을 동참하게 하는 문화를 접목해보면 어떨까요?

경찰의 과잉 진압으로 숨진 조지 플로이드를 추모하고 인종차별에 반대하는 의미로 시작된 ‘Black Lives Matter’ 운동이 SNS로 확산되며 많은 사람들의 관심과 참여를 이끌었어요. 출처: 아디다스 인스타그램, 코카콜라 인스타그램

이렇게 인공지능 윤리 문제를 예방하기 위해 디자이너가 할 수 있는 역할에 대해서 AIDD에서 자유롭게 얘기를 나눠봤는데요. 이러한 대화의 시작이 인공지능 기술 기반 서비스 및 제품을 더욱 윤리적으로 만들어나가는 첫걸음인 것 같아요. AIDD에서 나눈 대화를 읽으시고 들었던 생각을 자유롭게 아래 코멘트로 남겨주시면 저희의 대화와 관점을 넓히는데 큰 도움이 될 것 같아요.

AIDD 톡터디는 아직은 디자이너들로 구성되어있어요. 톡터디에 참여해주실 개발자분들을 기다리고 있어요. 👩‍💻👨‍💻 위 글을 읽고 느낌표 또는 물음표가 생기셨으면 아래 메일로 편하게 인사 주세요. 👋

AIDD Facebook

AIDD Email: aidd1008@gmail.com

--

--