인간–로봇 상호작용 개념 학습서

물리적 상호작용과 사회적 상호작용

빈 창고에서 상자를 집어 옮기는 로봇은 자기 몸과 환경의 물리만 다룹니다. 그런데 그 상자를 창고 직원에게 가져다주거나 카페 손님에게 커피를 나르면, 로봇은 물리적인 동작에 더해 사회적인 것을 생각해야 합니다. 사람이 어디에 있는지, 어떻게 다가가야 안전하고 적절한지, 그리고 "고맙습니다"에 "천만에요"라고 답하는 것 같은 사회 규칙을 어떻게 따를지입니다. 사람에게는 당연한 이 규칙들이 로봇에게는 전부 알려지지 않은 것이어서 설계자가 하나하나 챙겨야 합니다. 이것이 HRI의 질문을 로봇공학만의 질문과 다르게 만듭니다.

체현이 만드는 차이

HRI를 다른 컴퓨팅 기술과 다르게 만드는 것은 로봇이 몸을 가진다는 점, 곧 체현(embodiment)입니다. 로봇의 몸은 감지하고 행동하는 방식을 제약하지만, 동시에 사람이 로봇을 사람처럼 대하게 하는 행동 유도성(affordance)이기도 합니다. 로봇에 눈이 있으면 사람은 로봇이 볼 수 있다고 가정하고, 입이 있으면 말할 수 있다고 가정합니다. 사람은 이렇게 사람끼리의 상호작용 경험을 그대로 가져와 로봇을 이해하는데, 로봇이 그 기대에 미치지 못하면 실망이 따라옵니다(2장, 8장).

여러 분야가 모이는 곳

HRI는 공학자, 심리학자, 디자이너, 인류학자, 사회학자, 철학자가 함께 일하는 다학제 분야입니다. 교재(2.2절)는 세 집단 사이의 벽을 셋으로 정리합니다. 지식의 표현(공학자와 과학자는 명시적으로 출판하고, 디자이너는 설계물 자체와 직관에 담음), 현실을 보는 눈(공학자와 디자이너는 세상을 바꾸려 하고, 과학자는 이해하려 함), 주된 관심(공학자는 기술, 디자이너와 과학자는 사람). 이 차이를 미리 알아 두면 협업이 수월해집니다.

짧은 역사

"사회적 로봇"이라는 말은 1978년 잡지 기사에서 처음 로봇의 뜻으로 쓰였습니다. 1990년대의 행동 기반 로봇들은 단순한 반응 규칙만으로도 살아 있는 듯한 인상을 주어, 겉으로 보이는 지능이 어떻게 만들어지는지에 대한 생각을 바꿨습니다. 1997년 MIT의 Kismet은 눈, 눈썹, 입술, 목을 움직이며 사람의 목소리와 움직임에 반응한 초기 사회적 로봇입니다. 적은 수의 사회적 욕구만 넣었는데도 큰 눈과 과장된 얼굴(아기 도식)을 이용해 놀랄 만큼 사회적인 존재감을 냈습니다. 이후 Nao(2006–), Pepper, Keepon, Paro 같은 상용 플랫폼이 나오면서 여러 연구실이 같은 로봇으로 연구를 반복하고 비교할 수 있게 되었습니다.

안에서 밖으로, 밖에서 안으로

로봇은 흔히 공학자가 먼저 만들고 사회과학자가 나중에 시험합니다. TurtleBot 같은 이동 플랫폼에 센서와 팔을 붙이고, 시간이 남으면 겉을 씌우는 식입니다. 교재(4장)는 있는 기술을 모아 붙이는 이 방식을 "프랑켄슈타인 접근"이라고 부르며, 사용자와 맥락을 생각하지 않기 때문에 좋지 않다고 봅니다. 반대 방향은 로봇이 할 상호작용에서 출발해 겉모습과 행동을 정하고, 그 안에 기술을 채워 넣는 밖에서 안으로의 설계입니다. ASIMO는 위협적이지 않도록 작게 만들었고, Pepper는 일본 매장 손님에게 인사하려고 허리를 굽힐 수 있게 만들었습니다. 물개 로봇 Paro는 처음에 고양이 모양이었지만, 사람들이 진짜 고양이를 너무 잘 알아 비교하게 되자 물개로 바꿨습니다. 바퀴도 달았다가, 주 사용자인 노인들이 움직임이 불편해 로봇이 돌아다닐 필요가 없어서 뗐습니다.

형태의 선택지

• 안드로이드와 휴머노이드: 사람을 가장 닮았지만, 그만큼 기대에 부응해야 할 것이 많습니다.
• 동물형: 고양이처럼 익숙한 동물, 또는 공룡이나 물개처럼 알지만 직접 겪어 보지 않은 동물의 모양입니다.
• 미니멀: Keepon이나 Muu처럼 사회적 상호작용을 일으키는 최소 요건을 탐색합니다. 가장 극단적인 예는 상자 위의 움직이는 샌들 한 켤레와 "Naked Invisible Guy" 팻말뿐인 버스커 로봇입니다.
• 로브젝트(robject): 사회적 쓰레기통, 로봇 오토만처럼 생물이 아니라 물건에서 출발한 설계입니다.

행동 유도성과 설계 원칙

Norman이 말한 행동 유도성은 어떤 행동이 가능한지를 알려 주는, 눈에 보이는 관계입니다. 로봇의 겉모습은 중요한 행동 유도성입니다. 사람은 로봇의 능력이 겉모습에 걸맞을 것이라고 가정하기 때문입니다. 교재(4.1.4절)가 정리한 원칙은 다음과 같습니다.

• 형태와 기능을 맞춘다. 휴머노이드면 사람처럼 말하고 생각하고 행동할 것이라고 기대합니다. 청소처럼 그럴 필요가 없는 일이라면 덜 사람 같은 설계가 낫습니다.
• 적게 약속하고 많이 준다(underpromise and overdeliver). 겉모습이나 "지능적인 동반자"라는 소개로 기대를 높여 놓고 기능이 따라가지 못하면 실망이 크고, 때로는 상호작용 자체를 망칩니다. 교재는 "로봇"이라는 말 자체가 대중에게 높은 능력을 떠올리게 하므로 설계물을 로봇이라 부르지 않는 것까지 고려하라고 합니다.
• 상호작용이 기능을 넓힌다. 사람은 설계가 비워 둔 곳을 자기 가치와 믿음으로 채웁니다. Paro는 반려동물을 떠올리게 하지만 아는 동물과 비교되지는 않아서, 능력이 아기 물개에 한참 못 미쳐도 반려동물 같은 존재로 받아들여집니다.
• 은유를 섞지 않는다. 사람 같은 로봇의 피부가 일부만 덮여 있거나, 동물 로봇이 어른처럼 말하며 수학을 가르치면 이상합니다. 속이 드러난 필립 K. 딕 안드로이드는 사람 같으면서 기계 같아서 더 불편합니다(3장의 불쾌한 골짜기와 이어집니다).

의인화

"내 컴퓨터가 나를 미워해." 사람은 사람이 아닌 것에 사람의 특성, 감정, 의도를 붙입니다. 이것이 의인화(anthropomorphization)입니다. 무작위 무늬에서 얼굴을 보는 파레이돌리아도 그 한 예입니다. 1976년 바이킹 1호가 찍은 화성 표면의 "얼굴"은 2001년 더 높은 해상도로 다시 찍자 그저 지형이었습니다. HRI 설계자는 이 성향을 설계 자원으로 씁니다. Keepon은 눈 두 개와 대칭인 몸만으로도 주의와 정서를 표현합니다.

초기 HRI에서 의인화는 겉모습이 얼마나 사람 같은지와 거의 같은 뜻이었습니다. Epley 등(2007)은 이를 심리 과정으로 넓혀 세 요인을 제안했습니다. 낯선 상대의 행동을 설명하고 싶은 효능 동기, 사회적 연결을 원하는 사회성 동기, 그리고 사람에 대한 지식이 쉽게 떠오르는 유발된 행위자 지식입니다. 사람은 자기 자신에 대한 지식 구조로 사람 아닌 것을 이해하려 하고, 그 결과 로봇에 감정과 의도를 붙입니다. 이는 로봇에 대한 인상뿐 아니라 로봇을 대하는 실제 행동도 바꿉니다.

미디어 방정식

Reeves와 Nass(1996)는 여러 HCI 실험으로 사람이 컴퓨터를 사회적 행위자처럼 대한다는 것을 보였습니다. 컴퓨터가 자기 성능을 물으면 다른 컴퓨터로 평가할 때보다 점수를 후하게 주는, 곧 컴퓨터에게 예의를 차리는 식입니다. 이 반응은 거의 자동으로 일어납니다. 이 "컴퓨터는 사회적 행위자(CASA)" 접근은 로봇의 성별 귀인, 로봇에 대한 심적 모형 연구로 이어졌습니다(교재 10.1절).

마음 지각, 따뜻함과 유능함

Gray 등(2007)은 마음 지각을 두 차원으로 나눕니다. 계획하고 생각하고 자제하는 행위성(agency), 그리고 감정을 느끼고 희망을 가지는 경험(experience)입니다. 사람에 대한 사회적 판단의 핵심 차원인 따뜻함과 유능함도 로봇 연구에 그대로 쓰입니다. 의인화를 재는 HRI 전용 설문으로는 Godspeed 설문(Bartneck 외 2009)이 널리 쓰이고, 여러 언어로 번역되어 있습니다.

불쾌한 골짜기

Mori(1970)는 로봇이 사람을 닮아 갈수록 친밀감이 오르다가, 거의 사람 같지만 완전히 사람은 아닌 지점에서 친밀감이 급락하는 골짜기가 있다고 보았습니다. 그가 든 예는 의수입니다. 주름과 핏줄, 지문까지 흉내 낸 의수는 언뜻 진짜 같지만, 악수를 하면 뼈 없는 느낌과 차가움에 섬뜩함을 느낍니다. 움직임은 봉우리와 골짜기를 모두 키웁니다. 꺼진 산업용 로봇은 기름 묻은 기계일 뿐이지만 손처럼 움직이는 순간 친밀감이 생기고, 반대로 의수가 움직이면 섬뜩함이 더 커집니다. Mori는 분라쿠 인형처럼 적당한 인간다움에 머무는 것이 안전한 설계라고 제안했습니다.

최근 연구는 골짜기의 원인으로 특징의 불일치를 지목합니다. 아주 사람 같은 피부에 미세하게 어긋나는 얼굴 근육처럼, 특징마다 사람다움의 정도가 다를 때 섬뜩함이 커진다는 것입니다(Kätsyri 외 2015). 이 효과는 동물형 로봇과 성별 단서가 섞인 로봇에서도 반복되었습니다. 한편 섬뜩함은 짧게든 길게든 상호작용을 거듭하면 줄어드는 신기성 요인도 있습니다(교재 8.4절).

2012년의 조깅 동반 드론 Joggobot은 달리는 사람의 바로 앞에서 날았습니다. 개발자들이 위, 뒤, 앞, 옆 중 어디가 좋은지 실험했더니, 드론이 뒤에서 따라오면 사람들은 쫓기는 느낌을 받아 운동이 덜 즐거웠습니다. 사람들은 자기가 쫓는 쪽을 훨씬 좋아했습니다. 로봇을 사람에 대해 어디에 두느냐는 HRI의 중요한 설계 요소입니다.

근접학

문화인류학자 Hall은 사람이 다른 사람에 대해 공간을 쓰는 방식을 근접학(proxemics)이라 부르고 네 구역을 나눴습니다. 가까운 관계나 사적인 이야기를 위한 친밀 거리(몇 cm에서 약 0.5 m), 개인 거리(약 0.5–1.2 m), 지인이나 동료 사이의 사회 거리(1.2–약 4 m), 연설처럼 비개인적인 자리의 공적 거리(약 4 m 이상)입니다. 친밀 거리와 개인 거리를 합친 것이 사람이 자기 것으로 여기는 개인 공간입니다. 이 거리는 나이와 문화에 따라 다릅니다. 남미처럼 접촉이 많은 문화와 미국처럼 적은 문화의 차이를 Hall은 북미 사람이 책상과 의자로 바리케이드를 치는 모습으로 그렸습니다. 거리뿐 아니라 배치도 규칙을 따릅니다. 나란히 앉은 사람은 더 협력적이고, 마주 앉은 사람은 더 경쟁적으로 행동했으며, 대화할 때 사람들은 보통 서로 비스듬히 섭니다.

집단의 공간: F-형성

Kendon(1990)은 둘 이상의 사람이 서로 마주 보며 공동의 공간에 집중하는 배치를 F-형성(F-formation)이라 불렀습니다. 가운데의 o-공간, 참가자들이 선 p-공간, 그 바깥의 r-공간으로 이루어지고, 두 사람이면 마주 보기, L자, 나란히, 여럿이면 원형이 됩니다. 칵테일파티에서 꽉 닫힌 원은 끼어들기 어렵고, 원이 열리면 초대로 읽힙니다. 로봇은 이것으로 어느 집단에 다가가도 되는지 가늠할 수 있고, 몸의 방향을 바꿔 집단의 F-형성을 바꿀 수도 있습니다(Kuzuoka 외 2010). 대화 중인 두 사람 사이는 공간이 있어도 지나가지 말아야 합니다.

로봇의 사회적 항법

로봇이 위치를 알고(SLAM), 사람을 찾고, 충돌을 피하는 기술(동적 창 접근, 경로 계획)은 로봇공학에서 잘 연구되어 있습니다. 문제는 장애물 사이를 잘 피하는 알고리즘이 사람 곁에서는 사회적으로 부적절하다는 것입니다. 사람을 장애물로 보는 로봇은 복도에서 마주 오는 사람과 부딪히기 몇 인치 전에야 비킵니다. 충돌은 피하지만 사람 눈에는 공격적입니다. 사람은 훨씬 일찍, 어느 쪽으로 갈지 몸으로 알리며 서로 양보하고 개인 공간을 침범하지 않습니다. 교재가 정리한 연구 결과는 다음과 같습니다.

• 대부분의 사람은 로봇과 개인 거리나 사회 거리에서 상호작용하기를 바랍니다(Walters 외 2005). 복도에서 지나칠 때 로봇은 친밀 구역에 들어가지 않을 만큼의 거리를 두어야 합니다(Pacchierotti 외 2006).
• 대화를 시작하려면 앞에서 다가가는 것이 좋지만, 물건을 건네는 일에서는 앞에서의 접근이 덜 선호되고 실패가 많았습니다(Dautenhahn 외 2006; Shi 외 2013).
• 뒤에서 따라갈 때 사람의 궤적을 그대로 따르는 것이 지름길로 가는 것보다 자연스럽게 느껴집니다(Gockley 외 2007).
• 사람이 로봇에 다가올 때도 로봇이 제때 반응해야 합니다. 늦으면 어색하고, 다음에는 다가오지 않을 수 있습니다(Kato 외 2015).

로봇의 궤적은 의도를 알리는 수단이기도 합니다. 방문객 몇 m 옆을 천천히 지나며 상호작용할 수 있음을 알리거나, 물건을 건넬 때 목표가 읽히는 가독성 있는 동작을 쓰는 것입니다(5장).

말의 내용 없이도 사람은 시선, 표정, 몸짓, 자세로 많은 것을 전합니다. 비언어 신호는 대개 자동으로, 때로는 무의식적으로 나오기 때문에 말보다 솔직하다고 여겨집니다. 좋아하지 않는 사람에게 친절하게 인사하면서도 눈을 덜 맞추고 접촉을 피하는 식입니다. HRI에서도 같습니다. 사람이 로봇에 대해 좋은 말을 하면서 몸은 긴장해 있을 수 있고, 로봇의 몸짓이 말의 리듬과 맞지 않으면 어색합니다. 로봇이 정면만 보고 우리의 말에 반응하지 않으면 상호작용은 무너집니다. 교재는 비언어 신호의 구현을 매끄러운 HRI의 전제 조건이라고 적습니다.

시선

시선은 관심, 이해, 주의를 알리고, 대화의 차례를 관리합니다. 한 사람에게서 다른 사람으로 눈을 옮기며 다음에 말할 사람을 정하는 식입니다. 두 사람이 같은 것을 함께 보는 공동 주의는 아이가 말을 배우는 발판이고, 협업에서 조율의 바탕입니다. 로봇의 시선 단서는 사람 사이에서와 비슷한 효과를 냅니다. 여러 사람과의 대화에서 로봇은 시선으로 다음 발언자를 정할 수 있고(Mutlu 외 2009), 수신자, 방관자, 비참여자의 역할을 나눌 수 있으며(Mutlu 외 2012), 이야기를 들려줄 때 눈을 맞춘 사람이 내용을 더 잘 기억했습니다(Mutlu 외 2006). 눈을 맞추다 의도적으로 피하는 행동은 로봇을 더 생각이 있는 존재로 보이게 합니다(Andrist 외 2014).

몸짓

몸짓은 역할로 나뉩니다. 무엇을 가리키는 지시적 몸짓, 큰 공을 든다며 팔을 벌리는 도상적 몸짓, 손을 흔드는 인사처럼 그 자체로 뜻이 있는 상징적 몸짓, 말의 리듬을 따라 지휘하듯 움직이는 박자 몸짓입니다. Salem 등(2013)의 실험에서 말과 함께 몸짓을 한 ASIMO는 더 사람 같고 호감 가는 로봇으로 평가되었고, 참가자들은 다시 상호작용하려는 의향도 높았습니다. 흥미롭게도 말과 맞지 않는 몸짓은 로봇 평가를 더 높였지만 과제 수행은 떨어뜨렸습니다. 지금은 사람이 말하는 영상 수백 시간으로 학습한 모델이 말과 어울리는 몸짓을 만듭니다. 뜻까지 늘 맞지는 않지만 움직임 자체는 사람과 구별하기 어렵습니다(Yoon 외 2022).

모방, 접촉, 그리고 로봇만의 채널

무의식적인 모방(mimicry)은 호감의 신호이고, 상대가 내 자세를 따라 하면 그 사람의 제안을 더 받아들이는 "카멜레온 효과"가 있습니다(Chartrand & Bargh 1999). 다만 너무 티가 나거나 늦으면 조작으로 보여 역효과가 납니다. 사람의 표정을 따라 하고 고개를 맞춰 움직인 로봇은 기부를 더 많이 받았습니다(Wills 외 2016). 로봇은 팔다리, 귀, 꼬리 같은 몸뿐 아니라 소리, 빛, 색처럼 사람에게 없는 채널로도 신호를 보낼 수 있습니다.

동작으로 의도 알리기

물건을 건네줄 때 사람들은 로봇의 목표와 의도가 읽히는 동작을 선호합니다(Koay 외 2007). 가장 에너지 효율이 좋은 경로가 사람에게는 알아볼 수 없는 경로일 수 있어서, Dragan 등(2013)은 로봇 팔이 목표를 향해 가독성 있는(legible) 동작을 만들도록 하는 알고리즘을 제안했습니다. 그들은 두 개념을 구분합니다. 예측 가능한 동작은 목표를 아는 관찰자가 예상하는 가장 효율적인 동작이고, 가독성 있는 동작은 관찰자가 보면서 목표를 빨리 추론할 수 있는 동작입니다. 둘은 때로 충돌합니다. 가독성을 높이려면 다른 후보 목표에서 멀어지도록 경로를 과장해야 하는데, 그러면 효율은 떨어집니다.

전자제품 매장의 로봇이 "안녕하세요, 무엇을 찾으세요?"라고 묻습니다. 당신이 "음, 글쎄요, 딸아이 카메라랑 건전지, 그냥 둘러보기도 하고요"라고 답하자 긴 침묵 뒤에 로봇이 같은 질문을 되풀이하며 더 천천히, 더 가까이서 말해 달라고 합니다. 로봇과의 대화는 왜 이렇게 어려울까요? 말로 하는 상호작용은 여러 단계로 이루어지고, 단계마다 어려움이 있습니다.

음성 인식

자동 음성 인식(ASR)은 녹음된 말을 글로 바꿉니다. 이해가 아니라 받아쓰기입니다. 이 기술은 조용한 환경에서 지향성 마이크로 녹음한다고 가정하는데, HRI에서는 이 가정이 자주 깨집니다. 사람은 로봇에서 떨어져 있고, 주변 소음과 로봇 자신의 기계음이 함께 녹음됩니다. 그래서 핀 마이크나 헤드셋을 쓰는 일이 많습니다. 심층학습 이후 성능은 크게 올라, 교재가 인용한 한 시험에서는 단어 오류율(WER)이 1.4%로 사람의 평균 5.8%보다 낮습니다(Zhang 외 2022). 그래도 사투리, 비원어민, 아이의 말, 고유명사, 시끄럽고 울리는 공간은 여전히 어렵습니다. 인식할 범위를 숫자나 짧은 명령으로 제한하면 성능이 오릅니다. ASR 엔진은 대개 전사문과 함께 신뢰도를 돌려주고, 대안 전사문을 주기도 합니다. 소음이 심한 곳에서는 음성 활동 검출(VAD)만으로도 로봇이 듣고 있다는 인상을 주고 말차례를 넘길 수 있습니다.

뜻 알아내기와 대화 관리

글로 바뀐 말에서 뜻을 뽑는 것은 별개의 문제입니다. 감성 분석은 말이 얼마나 긍정적인지 숫자 하나로 내고, 의도 인식은 "음악 틀어 줘" 같은 요청을 알아챕니다. 여러 차례 주고받아야 하는 일에는 대화 관리자(DM)가 대화의 상태를 추적합니다. 피자 주문이라면 어떤 피자, 크기, 토핑이 정해졌는지가 상태입니다. 교재가 인용한 실제 기록에서, 모든 것을 글자 그대로 받아들이는 웨이터 로봇에게 참가자는 "물 한 잔 주실 수 있나요?"부터 시작해 로봇이 알아듣는 표현을 찾기까지 여러 번 고쳐 말해야 했습니다(Williams 외 2018).

말차례

사람은 듣는 동안 "응", "정말?" 같은 백채널 신호와 고개 끄덕임으로 듣고 있음을 알립니다. 로봇도 짧은 소리, 깜빡이는 빛, 끄덕임으로 이를 흉내 낼 수 있습니다. 사람의 응답은 빠릅니다. 전화 대화 분석에서 "네"라는 답은 평균 100 ms, 원치 않는 제안에 대한 답은 평균 거의 500 ms였습니다(Strömbergsson 외 2013). 사람은 질문이 끝나기 전에 답을 준비합니다. 로봇은 인식, 이해, 생성이 차례로 이어져 몇 초가 걸리기 일쑤입니다. 그 침묵을 추임새나 시각 신호로 메울 수 있지만 빠른 말차례를 대신하지는 못해서, 문장을 끝낼 계획이 서기 전에 말을 시작하는 즉시 합성, 지시가 끝나기 전에 행동을 시작하는 점진적 대화 처리가 연구됩니다.

말 만들기

글을 소리로 바꾸는 음성 합성(TTS)은 지난 10년 사이 크게 발전해 사람 목소리와 구별하기 어려운 수준입니다. 전통적인 매개변수 방식은 유연하지만 덜 자연스럽고, 녹음을 이어 붙이는 연결 방식은 자연스럽지만 녹음한 성우의 목소리에 묶입니다. 생성 모델이 이 한계를 넘었습니다. 남은 문제는 맥락 적응입니다. 조용한 방과 시끄러운 전시장에서 로봇은 같은 목소리로 말합니다.

감정은 내 안의 상태를 밖으로 알리는 보편적 통신 채널입니다. 감정은 기분과 다릅니다. 감정은 원인과 대상이 뚜렷하고 짧게 지나가지만, 기분은 더 퍼져 있고 원인이 분명하지 않습니다.

감정을 어떻게 나타낼 것인가

감정의 목록은 사람마다, 문화마다 달라 하나로 정하기 어렵습니다. Ekman과 Friesen(1975)은 문화를 가로질러 알아보는 여섯 가지 얼굴 표정을 정리했습니다. 이것은 종종 기본 감정의 목록으로 오해되지만, 원래는 얼굴로 표현되고 여러 문화에서 알아보는 표정의 집합이었습니다. Russell(1980)은 감정이 별개의 범주가 아니라 두 독립된 신경생리 체계, 곧 각성(arousal)과 유인가(valence)의 해석이라고 보고, 감정을 2차원 평면 위에 펼친 원형 모델(circumplex)을 제안했습니다. 이 모델은 여러 언어와 문화에서 확인되었지만, 메타분석은 모든 정서 상태가 예상한 자리에 놓이지는 않는다고 지적합니다(Remington 외 2000). 원형 모델은 "화남"과 "두려움"을 나란히 두는 문제가 있어, 지배(dominance) 축을 더한 3차원 PAD 모델이 나왔고 Kismet을 비롯한 여러 로봇이 이를 씁니다. 22개 감정 범주를 상황 평가로 정의하는 OCC 모델도 있지만, 많은 설계자는 Ekman의 여섯 표정만 구현합니다. 믿을 만하게 알아보지만 상호작용의 폭은 좁습니다.

로봇의 표현

Ekman의 얼굴 동작 부호화 체계(FACS)는 얼굴 근육을 동작 단위(AU)로 묶고 표정을 AU의 조합으로 적습니다. 웃는 얼굴은 뺨을 올리는 AU6과 입꼬리를 올리는 AU12입니다. 고무 피부와 공압 액추에이터 19개로 만든 로봇 얼굴이 이 AU로 표정을 짓고(Hashimoto 외 2013), Kismet, iCat, eMuu처럼 단순화한 얼굴 단서를 쓰는 로봇도 많습니다. 사람 모양이 아닌 로봇도 감정을 표현합니다. 청소 로봇과 비행 로봇이 움직임의 패턴만으로 정서를 전했고(Saerbeck & Bartneck 2010; Sharma 외 2013), 속도, 자세, 소리, 색, 사람을 향한 방향도 수단이 됩니다. 표정이 거꾸로 느끼는 감정에 영향을 준다는 안면 피드백 가설도 있습니다. 연필을 이로 물어 억지로 웃는 모양을 만들면 만화가 조금 더 재미있었습니다(Strack 외 1988).

감정 읽기의 어려움

정지된 얼굴 사진만으로 감정을 바로 읽기는 사람에게도 거의 불가능합니다. 테니스 선수가 방금 점수를 땄는지 잃었는지 얼굴만으로는 알기 어렵습니다. 맥락, 움직이는 표정, 몸짓이 더해져야 사람도 알고리즘도 인식률이 오릅니다. 대부분의 감정 인식 소프트웨어는 여섯 기본 표정의 확률이나 2·3차원 공간의 한 점만 내놓아, 자부심, 당혹감, 죄책감, 짜증 같은 일상의 감정을 놓칩니다. 같은 감정도 사람마다 강도와 맥락이 달라, 로봇은 개인과 문화에 민감해야 합니다.

신뢰란

신뢰의 정의는 심리학, 사회학, 경제학, 철학마다 다르지만, 상대가 적절한 행동을 할 것이라는 확신을 담는다는 점은 같습니다. 교재가 인용하는 Sabel(1993)의 정의는 "어느 쪽도 상대의 취약함을 이용하지 않을 것이라는 상호 확신"입니다. 상대의 선의, 성실성, 능력을 믿는다는 뜻이 들어 있습니다(Lee & See 2004). 자동화 연구에서 신뢰는 시스템을 얼마나 의존할지를 정하는 요인이고, 핵심은 신뢰의 양이 아니라 보정(calibration)입니다. 시스템의 실제 능력보다 더 믿으면 과신으로 오류를 놓치고, 덜 믿으면 불신으로 유용한 도움을 버립니다. Hancock 등(2011)의 메타분석은 HRI의 신뢰 요인을 로봇 요인, 사람 요인, 환경 요인으로 나눴고, 그중 로봇의 성능 관련 요인이 가장 컸습니다. 2021년의 후속 메타분석은 사람 요인의 역할을 더 강조합니다. 신뢰를 재는 척도는 여럿 있지만 정의에 대한 합의는 아직 없습니다.

수용

사회적 로봇은 사용자에게 받아들여져야 합니다. 로봇 수용 연구는 대개 고전적인 기술 수용 모델(TAM)에 기댑니다. 쓰려는 의향은 지각된 유용성과 지각된 사용 용이성에 달려 있다는 모델입니다. 로봇을 도구로 보는 관점이라 맥락이 빠진다는 비판이 있어, 성과 기대, 노력 기대에 사회적 영향과 촉진 조건을 더한 UTAUT, 노인의 보조 기술 수용을 위해 신뢰, 즐거움, 태도 같은 정서 요인을 더한 Almere 모델(Heerink 외 2010)이 나왔습니다. de Graaf 등(2019)은 쾌락적 요인, 사회 규범, 통제 신념까지 넣는 사용자 경험(UX) 관점을 제안합니다.

호감과 신기성

정서 단서, 사용자와 동기화된 움직임은 로봇의 호감도를 높였습니다. 다만 첫 만남의 반응은 신기성 효과 때문에 장기 반응과 다릅니다. 사람들은 로봇에 익숙하지 않아 처음에는 더 열광하거나 더 불안해하고, 시간이 지나면 가라앉습니다. 그래서 짧은 연구는 첫 만남에 대해서는 알려 주지만 오래 함께 지내는 상호작용은 알려 주지 못합니다(10장).

창고 로봇과 배송 로봇처럼 닫힌 환경의 로봇은 이미 상업적으로 성공했습니다. 다음 물결은 사람이 있는 열린 환경, 곧 고객 서비스, 동반, 사회적·신체적 보조입니다. 여기서 HRI의 이해가 성패를 가릅니다(교재 11장).

• 고객 응대: 쇼핑몰과 매장의 로봇은 적어도 신기성이 남아 있는 동안 사람을 끌어모읍니다. 박물관 안내 로봇은 초기 HRI 응용의 하나로, 전시물 사이를 자율 주행하며 설명합니다(Burgard 외 1998). 길을 비켜 달라는 좌절 표정처럼 감정 표현이 안내를 돕기도 했습니다. 호텔 접수, 매장 판촉도 있습니다.
• 교육: 교사의 보조 역할이 교사와 학생 모두에게 선호되었습니다(Reich-Stiebert & Eyssel 2016). 로봇은 또래로 등장하기도 합니다. 일대일 지도는 효과가 큰데(Bloom 1984의 2 표준편차 주장은 이후 축소되었지만 이점은 분명합니다), 로봇의 물리적 존재는 화면 속 에이전트보다 학습을 더 돕는 것으로 나타났습니다(Kennedy 외 2015; Leyzberg 외 2012). 이유는 아직 분명하지 않습니다.
• 오락: 반려·장난감 로봇, 전시, 공연 예술.
• 건강과 치료: 물개 로봇 Paro는 요양 시설에서 노인의 심리적, 생리적, 사회적 효과가 장기 연구로 보고되었습니다(Wada & Shibata 2007). 일본에서는 개인이, 유럽과 미국에서는 거의 기관만 삽니다. 자폐 스펙트럼 장애가 있는 아이와 어른은 대체로 로봇에 잘 반응해, 치료 보조 연구가 많습니다. 재활 로봇도 있습니다.
• 서비스: 청소 로봇, 병원·호텔·식당의 배송 로봇. 식당 로봇은 손님을 가로막지 않거나 손님이 짜증 없이 피할 수 있게 설계되어야 합니다.
• 협동 로봇(cobot): 전통적인 산업용 로봇은 뻣뻣하고 강하며 감각이 없어 사람이 곁에 갈 수 없었습니다. 협동 로봇은 사람과 같은 공간에서 일합니다.
• 자율주행차: 보행자와 다른 운전자에게 의도를 알리는 문제가 HRI의 질문입니다.

어느 응용이든 돌봄 로봇의 윤리처럼 각 영역 고유의 질문이 따라옵니다(12장).

실험 접근은 HRI의 표준이 되었습니다(Hoffman & Zhao 2020). 초기 HRI 연구에는 지금 기준으로는 부끄러운 방법이 많았고, 심리학 같은 경험 과학의 기준을 따르자는 흐름이 강합니다(Baxter 외 2016).

연구 질문

좋은 연구 질문은 선행 연구를 반복하거나 확장합니다. 사람 사이의 상호작용 연구는 HRI의 청사진이 됩니다. Reeves와 Nass의 CASA 접근이 심리학의 고전 결과를 HCI에서, 다시 HRI에서 반복한 것이 그 예입니다.

방법의 종류

• 질적 방법은 숫자로 담기 어려운 상호작용의 질을 해석합니다. 상관이나 인과를 세울 수는 없지만, 풍부한 자료로 새 가설을 만듭니다. 종료 기준은 특정 인원이 아니라 새 자료가 기존 주제를 되풀이하는 포화입니다.
• 양적 방법은 설문과 통제 실험으로 숫자를 얻어 상관과 인과를 검정합니다.
• 혼합 방법은 면담과 관찰로 요인을 찾고 실험으로 확인합니다. 면담에서 룸바의 자율성이 사회적으로 보이게 한다는 생각이 들면, 자율 룸바와 게임패드로 조종하는 룸바를 비교하는 식입니다.
• 그 밖에 사용자 연구, 설문, 시스템 연구, 관찰 연구, 민족지, 대화 분석, 크라우드소싱, 사례 연구가 있습니다.

실험 설계

연구자가 조작하는 것이 독립변수이고 그 값이 수준입니다. 남성형과 여성형 로봇 둘이면 수준이 둘이고 조건이 둘입니다. 조작할 수 없는 참가자 성별 같은 요인은 준실험 요인입니다. 측정하는 것이 종속변수입니다. 조작이 통했는지 확인하는 조작 점검도 필요합니다. 참가자가 로봇의 성별을 실제로 그렇게 보았는지 묻는 것입니다. 집단 간 설계는 참가자를 조건에 무작위로 배정하고, 집단 내 설계는 같은 사람이 모든 조건을 겪어 잡음이 줄고 인원이 덜 듭니다. 다만 다리가 부러진 뒤 로봇 보조로 회복하는 연구처럼 집단 내 설계가 불가능한 질문도 있고, 첫 로봇을 늘 더 좋아하는 순서 효과가 있어 조건 순서를 상쇄 균형해야 합니다.

측정

설문에는 진술에 얼마나 동의하는지 묻는 리커트 척도와, 무섭다–친근하다처럼 반대말 사이에서 고르는 의미 분별 척도가 흔합니다. 직접 만들기보다 검증된 척도를 쓰는 것이 좋습니다. 의인화, 활기, 호감, 지각된 지능, 지각된 안전을 재는 Godspeed 설문(Bartneck 외 2009), RoSAS, 수정 Godspeed, HRIES가 있습니다. 설문은 자기 보고라서, 행동 지표, 언어 사용, 생리 신호 같은 암묵적 측정으로 보완합니다.

오즈의 마법사

자율 기능 개발이 연구의 초점이 아닐 때, 연구팀이 뒤에서 로봇을 조종하면서 참가자에게는 자율인 것처럼 보이게 하는 오즈의 마법사(WoZ) 기법을 씁니다. 음성 인식처럼 거의 쓸 만하지만 아직 불안한 기술에 알맞습니다. 참가자에게는 실험 뒤 반드시 알려야 하고(디브리핑), 긴 대화를 완전히 꾸며 내는 것처럼 비현실적인 능력을 가장하는 것은 문제가 됩니다. Riek(2012)은 WoZ 연구의 보고 기준을 제안했습니다.

참가자, 장소, 기간

표본 크기는 설계와 대상 집단에 달려 있고 G*Power 같은 도구로 미리 계산합니다(11장). 실험실 연구는 통제가 쉽고, 현장 연구는 실제 맥락을 봅니다. 첫 만남은 신기성 효과 때문에 장기 상호작용과 다르므로, 며칠에서 몇 달, 드물게 몇 년에 걸친 장기 연구가 필요합니다.

기술 통계부터

자료의 경향(평균), 표본 크기, 변산(표준편차)이 기술 통계입니다. 늘 평균, 표준편차(정규가 아니면 범위), 참가자 수, 인구 통계, 그리고 제외한 자료와 그 이유를 보고해야 합니다.

p값이 말하는 것과 말하지 않는 것

대부분의 고전적 검정은 경향, 표본 크기, 변산을 검정 통계량 하나로 합쳐 p값을 냅니다. p값은 실제 효과가 없을 때 지금 자료가 나올 확률입니다. 두 식당이 똑같이 좋은데 이런 평점 차이가 나올 확률이라고 교재는 비유합니다. 이것이 영가설 유의성 검정(NHST)의 논리입니다. 흔한 오해 두 가지가 있습니다.

• p값은 결과의 견고함이 아닙니다. 유의한 결과를 반복하면 반복 연구의 p값은 80%의 경우 0.00008에서 0.44 사이 어디든 나올 수 있습니다(Cumming 2008). p값은 반복 실험에서 매우 불안정합니다.
• p값은 효과의 크기나 중요성이 아닙니다. 유의성, 크기, 중요성은 서로 다른 것입니다. 효과 크기(t검정의 Cohen의 d, 분산분석의 η², 회귀의 조정 R²)는 두 조건이 얼마나 다른지를 재고, p값은 거기에 표본 크기를 더한 것입니다. 회복률이 4%에서 6%로 오르는 효과는 발 무좀이면 무시해도 되지만 공격적인 암의 생존율이면 중요합니다.

95% 신뢰구간을 보고하면 효과의 크기와 추정의 정밀도가 함께 전해집니다. 반복 연구의 평균이 원래 연구의 신뢰구간 안에 들 확률은 약 83%입니다.

오류, 검정력, p-해킹

효과가 없는데 있다고 하는 것이 1종 오류, 있는데 없다고 하는 것이 2종 오류입니다. 둘 다 충분한 검정력으로 줄입니다. 검정력을 정하는 셋(경향, 변산, 표본 크기) 중 연구자가 손댈 수 있는 것은 표본 크기뿐입니다. p ≤ 0.05를 기준으로 쓰면 효과가 없어도 20번에 1번은 유의하게 나오므로, 검정을 많이 돌리면 결국 무언가는 "발견"됩니다. 이것이 p-해킹입니다. 심리학은 확립된 효과들이 반복되지 않는 재현성 위기를 겪었고, HRI도 같은 질문을 받고 있습니다(Irfan 외 2018). Nao나 Baxter처럼 널리 쓰이는 플랫폼은 반복 연구를 전보다 쉽게 만듭니다. 연구를 미리 등록하는 사전 등록은 p-해킹을 막고 반복을 돕습니다.

미디어 속 로봇

사람들은 로봇을 직접 만나기 전에 이야기로 먼저 만납니다. 서구의 서사는 로봇의 반란(Čapek의 R.U.R., 터미네이터, 매트릭스)이 많고, Asimov는 로봇이 세상을 차지할 것이라는 생각을 "프랑켄슈타인 콤플렉스"라 불렀습니다. 일본의 철완 아톰과 도라에몽은 사람을 돕는 선한 로봇이고, 이 차이가 일본의 가정용 로봇 개발과 수용에 한몫했다고 흔히 이야기됩니다. 어느 쪽이든 이야기 속 로봇은 사람들의 기대와 반응에 색을 입힙니다. 최근 연구는 로봇에 대한 태도가 중립이나 약한 긍정이 아니라 양가적이라고 봅니다(Stapels & Eyssel 2021, 2022). 도움이 되리라는 기대와 일자리나 사생활을 잃을까 하는 두려움이 함께 있습니다.

Asimov의 세 법칙

로봇은 사람을 해치거나 방관으로 해를 입게 해서는 안 되고, 그에 어긋나지 않는 한 사람의 명령에 따라야 하며, 앞의 두 법칙에 어긋나지 않는 한 자신을 지켜야 한다. 뒤에 인류 전체를 보호하는 0법칙이 더해졌습니다. 널리 알려졌지만 철학자들의 비판을 받았고, Asimov의 이야기 자체가 이 법칙이 실용적인 지침이 아님을 보여 줍니다.

연구 윤리

WoZ 기법은 참가자를 속입니다. 로봇의 능력에 대한 기대를 부풀려 기술이 실제보다 앞서 있다고 믿게 할 수 있습니다(Riek 2012). 로봇은 설득 기술로도 쓰여 태도뿐 아니라 행동을 바꿀 수 있는데, 사용자가 어떻게 영향받는지 모른 채 영향을 받는 것이 문제입니다. 사람 대상 연구는 윤리위원회(IRB)의 승인, 사전 동의, 디브리핑이 필요합니다.

돌봄, 기만, 존엄

할머니에게 반려 로봇을 드린다고 합시다. Sparrow와 Sparrow(2006)는 설령 완벽한 정서적·신체적 돌봄을 하는 로봇이 나와도 돌봄을 기계에 맡기는 것은 비윤리적이라고 주장합니다. 관계는 서로 정서와 관심을 주고받을 수 있는 둘 사이에서만 의미가 있고, 아무리 완벽해도 돌봄의 모방이 진짜를 대신해서는 안 된다는 것입니다. Sharkey와 Sharkey(2012)는 돌봄 로봇이 노인의 자율성과 독립을 어떻게 해치거나 도울지 묻습니다. 다른 쪽에는 로봇을 도구로, 사회적 능력이 있는 도구로, 관계의 상대로 보는 관점이 나란히 있습니다.

그 밖의 쟁점

• 사생활: 집 안의 로봇은 카메라와 마이크를 달고 돌아다닙니다.
• 일자리: 로봇은 일부 직업을 대체하고 새 직업을 만듭니다. 문제는 대체된 사람이 새 일을 찾도록 돕는 것입니다.
• 로봇 학대: 사람 같은 로봇을 함부로 대하는 행동이 사람에게 옮겨 갈 수 있다는 우려가 있고, 더 연구가 필요합니다.
• 관계의 기대: 어떤 요구에도 응하는 로봇은 사람 사이의 관계에 대한 기대를 바꿀 수 있습니다.
• 자율 무기: 살상 로봇 반대 운동처럼 분명한 반대 흐름이 있습니다.

교재의 결론은 로봇, 사람, 그 상호작용이 더 큰 사회의 일부라는 것입니다. 문화마다 이야기와 가치가 다르고, 그것이 사람들이 로봇을 어떻게 보고 로봇이 사회를 어떻게 바꿀지를 정합니다.

더 읽을 거리

• 교재의 나머지 장: 로봇이 어떻게 작동하는가(3장), 미래(13장)
• 로봇이 행동을 배우는 방법, 사람의 선호로 배우기: 로봇 학습 개념 학습서
• 뇌 신호로 로봇을 제어하기: BCI 개념 학습서

이 학습서의 장과 Bartneck 외(2024) 2판의 장, 그리고 각 장이 근거로 삼은 논문을 맞춰 적었습니다. 교재는 저자 공식 사이트에서 장별로 무료로 볼 수 있습니다.

교재

• Bartneck, C., Belpaeme, T., Eyssel, F., Kanda, T., Keijsers, M., & Šabanović, S. (2024). Human-Robot Interaction: An Introduction (2nd ed.). Cambridge University Press. 저자 공식 무료판

논문

• Bartneck, C., Kulić, D., Croft, E., & Zoghbi, S. (2009). Measurement instruments for the anthropomorphism, animacy, likeability, perceived intelligence, and perceived safety of robots. International Journal of Social Robotics, 1(1), 71–81.
• Baxter, P., Kennedy, J., Senft, E., Lemaignan, S., & Belpaeme, T. (2016). From characterising three years of HRI to methodology and reporting recommendations. HRI 2016, 391–398.
• Chartrand, T. L., & Bargh, J. A. (1999). The chameleon effect: The perception–behavior link and social interaction. Journal of Personality and Social Psychology, 76(6), 893–910.
• Cumming, G. (2008). Replication and p intervals: p values predict the future only vaguely, but confidence intervals do much better. Perspectives on Psychological Science, 3(4), 286–300.
• Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319–340.
• Dragan, A. D., Lee, K. C. T., & Srinivasa, S. S. (2013). Legibility and predictability of robot motion. HRI 2013, 301–308.
• Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System. Consulting Psychologists Press.
• Epley, N., Waytz, A., & Cacioppo, J. T. (2007). On seeing human: A three-factor theory of anthropomorphism. Psychological Review, 114(4), 864–886.
• Gray, H. M., Gray, K., & Wegner, D. M. (2007). Dimensions of mind perception. Science, 315(5812), 619.
• Hall, E. T. (1966). The Hidden Dimension. Doubleday.
• Hancock, P. A., Billings, D. R., Schaefer, K. E., Chen, J. Y. C., de Visser, E. J., & Parasuraman, R. (2011). A meta-analysis of factors affecting trust in human-robot interaction. Human Factors, 53(5), 517–527.
• Hancock, P. A., Kessler, T. T., Kaplan, A. D., Brill, J. C., & Szalma, J. L. (2021). Evolving trust in robots: Specification through sequential and comparative meta-analyses. Human Factors, 63(7), 1196–1229.
• Heerink, M., Kröse, B., Evers, V., & Wielinga, B. (2010). Assessing acceptance of assistive social agent technology by older adults: The Almere model. International Journal of Social Robotics, 2(4), 361–375.
• Kätsyri, J., Förger, K., Mäkäräinen, M., & Takala, T. (2015). A review of empirical evidence on different uncanny valley hypotheses: Support for perceptual mismatch as one road to the valley of eeriness. Frontiers in Psychology, 6, 390.
• Kendon, A. (1990). Conducting Interaction: Patterns of Behavior in Focused Encounters. Cambridge University Press.
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
• Mori, M. (1970/2012). The uncanny valley (K. F. MacDorman & N. Kageki, Trans.). IEEE Robotics & Automation Magazine, 19(2), 98–100. (원문: Energy, 7(4), 33–35, 1970)
• Mutlu, B., Shiwa, T., Kanda, T., Ishiguro, H., & Hagita, N. (2009). Footing in human-robot conversations: How robots might shape participant roles using gaze cues. HRI 2009, 61–68.
• Reeves, B., & Nass, C. (1996). The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places. Cambridge University Press.
• Riek, L. D. (2012). Wizard of Oz studies in HRI: A systematic review and new reporting guidelines. Journal of Human-Robot Interaction, 1(1), 119–136.
• Russell, J. A. (1980). A circumplex model of affect. Journal of Personality and Social Psychology, 39(6), 1161–1178.
• Salem, M., Eyssel, F., Rohlfing, K., Kopp, S., & Joublin, F. (2013). To err is human(-like): Effects of robot gesture on perceived anthropomorphism and likability. International Journal of Social Robotics, 5(3), 313–323.
• Sharkey, A., & Sharkey, N. (2012). Granny and the robots: Ethical issues in robot care for the elderly. Ethics and Information Technology, 14(1), 27–40.
• Sparrow, R., & Sparrow, L. (2006). In the hands of machines? The future of aged care. Minds and Machines, 16(2), 141–161.