2021/2, стр. 150 - 166

ПРЕДПОЧИТАН НАЧИН НА УПРАВЛЕНИЕ И КОМУНИКАЦИОННИ ХАРАКТЕРИСТИКИ НА РОБОТИТЕ АСИСТЕНТИ В ЗАВИСИМОСТ ОТ ИНДИВИДУАЛНИТЕ НУЖДИ НА ПОТРЕБИТЕЛИТЕ

Резюме:

Ключови думи:

1)Доц. д-р Маргарита Бакрачева, 2)доц. д-р Найден Шиваров
1) Софийски университет „Св. Климент Охридски“
2) Институт по информационни и комуникационни технологии – БАН

Постановка на изследването

Повишаването на качество на живот е приоритетна тема на фона на променения демографския облик на Европа – застаряване на населението и увеличаване дела на лицата с увреждания. Това обуславя все по-нарастващата необходимост от интегриране на усилията на различни научни области в търсенето на решения на социалните предизвикателства и интердисциплинарен подход, обединяващ усилията в сферата на роботика, икономика, психология и педагогика за извеждане на адекватни решения за удовлетворяване на индивидуалните потребности в общия контекст. По отношение на децата и учениците в тази перспектива е индикативна философията на приобщаващото образование.

Персоналните роботи навлизат в домовете от 90-те години на Х век като помощници в почистването и домакинството с цел сигурност и забавление. Постепенно функциите им се разширяват и по отношение на социалната сфера и психично благополучие. Целта на разработване на роботите компаньони е в линията да бъдат в помощ на лица със специфични потребности: възрастни, деца от аутистичния спектър, лица със затруднения в домашна или болнична среда. Историята на роботите компаньони разкрива, че те все повече се доближават и физически, и социално до човешките характеристики. Развитието в роботиката следва плоскостта промишлени роботи – роботи асистенти – социални роботи, което премества и акцента от разделянето на човек – робот към взаимодействието човек – робот. Социалният робот може да изпълнява самостоятелни действия, както и да взаимодейства с хората в социална среда (Kędzierski et al. 2015).

По отношение и на лицата със затруднения, и на самотно живеещите възрастни, основната цел е повишаване качеството на ежедневно функциониране и осигуряване на самостоятелен и независим живот в домашна среда. Една от алтернативите пред ползването на социален асистент или паралелното им използване предоставят телеуправляемите сервизни роботи. През последните две десетилетия все повече нараства броят публикации, които са посветени не само на обслужването на потребителите, но и на непрекъснато отчитане на предпочитанията им към роботите компаньони в зависимост от индивидуалните им характеристики (Dautenhahn et al. 2006; Koay et al. 2007; Walters et al. 2007) и търсене на оптимален вариант за дизайн на роботите (Arent et al. 2008). Планираното конструиране и внедряване на нови сервизни роботи за лична употреба в помощ на възрастните хора и лица със затруднения обуславя нуждата от извеждане на ясни индикатори на предпочитанията, които да доведат до фокусиране на визията и управлението и функциите на роботите, така че те реално да резултират в повишаване качеството на живот (Chivarov et al. 2019a, b).

На базата на проучванията и липсите в нарастващия брой изследвания е очертано очакването за изпълняване на социални функции от страна на роботите компаньони в допълнение на изпълнението на определени задачи. Изследване, което е посветено на архитектурата на робот компаньон, извежда няколко основни характеристики. Тези роботи трябва да могат да се ориентират в средата, да реагират на аудио, визуална и тактилна информация. Те трябва да могат да комуникират с потребителите по социално усъвършенстван начин. Също така, трябва да бъдат адаптирани за изпълнението на конкретни задачи, специфично отговарящи на потребностите на потребителите. Те трябва да могат да разпознават и реагират на сигналите на тялото, както и на изразяваните емоции.

Не на последно място, предвид поддържане на психичното благополучие, те трябва да могат да изразяват и някои базови емоции, което да осигури качество на комуникацията с потребителите (Steunebrink et al. 2008).

Работата в посока подобряване качеството на живот и самостоятелността на лицата в напреднала възраст с помощта на роботи се развива все повече и повече (Matsumoto et al. 2012; Yamazaki et al. 2012). Интересни резултати свидетелстват за значението на роботите компаньони като част от терапията с животни за преодоляване на субективно възприеманата самота в късна зрялост. Авторите се базират на въпроса, свързан със застаряването и все по-нарастващия брой лица, които се нуждаят от дългосрочни грижи, и върху психологическия фактор на предпочитането в много случаи пред домовете за грижа за възрастни на запазването на самостоятелност в собствено жилище. Периодът на късна зрялост се описва със значително по-висока степен на социална изолация и загуба на контакти не само във връзка с мобилността, а и поради смъртността сред връстниците и по-ограничената възможност за поддържане на достатъчно качествени контакти. Описва се прилагането на терапия с животни и нейната алтернатива – роботизирани животни, които осигуряват степен на близост, без да изискват грижи. В проведеното изследване се отчита намаляването на чувството за самота, от една страна, а от друга страна – удовлетвореността, свързана с комуникацията с роботизираните животни на входа и изхода на експеримент, проведен в дом за грижи за възрастни (Robinson et al. 2013).

По отношение на визията на социалните роботи днес тече дебат за степента на желаното външно подобие на човек на роботите и за възприемания като риск прекалено голям интелект, даван на роботите. Не само опасенията или тревожността, но самата специфика на взаимодействие и интеракциите в социален план водят до насочване на вниманието към етичните норми в областта на хуманоидната роботика.

Въпросите, свързани с интелигентните роботи и възприемането им от потребителите, се разглежда в перспективите на техническа, етична и регулаторна подкрепа в процеса на развитие на роботиката. Част от тези въпроси са свързани с двете основни сфери, в които роботите изпълняват функции – експертни, от една страна, и социални аспекти, свързани със степента на близост до хората. Именно в тази перспектива е познатият „фактор Франкенщайн“, свързан с човешкия контрол (Stavrоu 2016). Интеракцията човек – машина е свързан в най-висока степен с двата аспекта, определящи очакванията на потребителите към социалните роботи – от една страна, да имат характеристики, наподобяващи хуманните, което определя посоката на развитие в създаването на хуманоидни роботи, а от друга страна, страхът, че когато бъде овластен в много висока степен, изкуственият интелект може да стане автономен и да застраши човека. Това на ниво възприятия определя двете паралелно съществуващи посоки на очаквания и тревожност, изразяващи се в предпочитанието роботите компаньони да наподобяват, без прекалено много да се доближават до човешките външни белези, което се възприема вече като заплаха. Този въпрос стои и в полето на философския дискурс, разгледан в три категории на апокалиптичен сценарий (при който изкуственият интелект заема доминираща спрямо хората позиция), умерен сценарий (хора и роботи са в индиферентни отношения) и позитивен сценарий (хората съжителстват в сътрудничество с изкуствения интелект) (Georgieva 2016). Възможното изкривяване в интерсубективните взаимоотношения и създаването на илюзорна реалност и халюцинации се акцентира специфично за лицата в напреднала възраст (Lucidi & Nardi 2018).

Специално внимание е отделено и на спецификата на взаимодействието дете – робот. Някои изследвания на аспектите на психологическо въздействие са разгледани и в перспективата на установените стилове на комуникация на родителите (Johal, Pesty & Calvary 2014; Johal 2015), очертавайки в най-висока степен функциите на социалния робот и възможното му участие в психосоциалното развитие на децата.

Въпросът за създаването и усъвършенстването на колаборативни работи се разглежда и в България. Представени са функциите на оказване на помощ в дома за лица с увреждания, като е експериментирана реакцията при взаимодействия на лица със затруднения с роботи, които изпълняват запаметени указания за донасяне на лекарства и предмети от хладилника. По отношение на интерфейса човек-машина е проведено изследване, част от което е изграждането на приемлив за потребителите образ на робота от психологическа гледна точка. Сред класифицирането на персонализираните сервизни роботи по сфера на приложимост и степен на взаимодействие с потребителя се диференцират и различните изпълнявани функции – помощ в домакинството, помощ при движение и комуникативната и социалната функция. Специално внимание се отделя на различните форми и възможности за управление, използването на гласови команди и изражението на лицето, като основната цел е улесняване в максимална степен на контрола и осигуряване на независим живот. Посочва се например, че доколкото физическият и виртуалният джойстик изискват определена запазена функционалност, управлението чрез проследяване на движенията на главата, и особено движението само на очите, позволява използването им при най-тежки форми на увреждания (Chikurtev 2017).

Важен момент, който следва да отбележим, е грижата не само за физическите, но и за психическите нужди на лицата с ограничена мобилност – със затруднения, възрастни и трудноподвижни и в смесена ситуация. Именно в тази линия някои телеуправляеми роботи (напр. РОБКО 19) са предназначени да отговарят и на базисната човешка потребност от комуникация. От роботите се очаква да мотивират лицата с ограничена мобилност да изпълняват самостоятелно повече задачи, което да им осигури по-активен и здравословен начин на живот. Тази функция е допълнителна към важни задачи, свързани с осигуряването на по-безопасна и защитена среда – следене на режима на прием на медикаменти, сигнализиране за помощ при влошаване на състоянието.

Изследване – процедура, цел, задачи

Въпреки че роботите асистенти, социалните роботи или роботите компаньони няма да навлязат масово във всеки дом през следващите няколко години, е важно да се отчетат нуждите и очакванията на потребителите. В тази посока е важно персонализирането и управлението на робота компаньон, което да доведе до по-висока степен на посрещане индивидуалните потребности на различните групи потребители. Общата насоченост на изследванията е проследяване на очакванията и начина на възприемане на сервизните роботи и роботите асистенти, така че да изпълнят функцията повишаване качеството на живот. Това се разглежда в няколко перспективи: асистиране на възрастни, самотно живеещи лица; асистиране на лица с увреждания и като следваща стъпка – проследяване на спецификата на взаимодействие при деца.

Другата посока на общата изследователска рамка са конкретните дейности. От една страна, ни интересува кои функции следва да бъдат развивани, а от психологическа гледна точка – какви са измеренията, свързани с разработване на външно осезаемите характеристики на робота. Тук включваме визия, глас, с който роботът комуникира, и начин на управление.

До момента са изследвани и е получена обратна връзка от възрастни, самотно живеещи лица, при които основната цел е подкрепа и осигуряване на възможност за автономен живот, и лица със затруднения, при които личната ситуация и степента на запазена автономна функционалност са определящи. При децата очакваме и двете групи фактори да имат значение, както и спецификата на доминиращите задачи от етапа на психосоциално развитие. Моделът на цялостния проект е съобразяване на бъдещите насоки за работа с всички долуизброени фактори.

Дизайнът на роботи социални помощници не е изучаван в дълбочина от гледна точка на предпочитанията на потребителите в България. Представеното тук изследване има тясна приложна насоченост. Неговата основна цел е да получи първоначална картина за очакванията на лица със затруднения и самотно живеещи възрастни как асистентите роботи могат да доведат до повишаване на качеството им на живот.

Задачите на изследването включват:

1. проследяване на очакванията на потребителите по отношение на функциите, които роботът асистент трябва да изпълнява;

2. проследяване на предпочитанията на потребителите за вида, цвета на робота асистент и гласа, с който комуникира;

3. проследяване на предпочитанията на потребителите относно начина на управление на робота асистент и оторизираните за управлението му лица.

Моделът на изследване включва търсенето на връзки между индивидуалните характеристики на потребителите и характеристиките на робота асистент (фиг. 1).

Изследването е проведено с 32 лица със затруднения онлайн (20) и офлайн (12). Участниците в реална среда използват многоканалната система за управление на роботите РОБКО. Те управляват робота чрез джойстик, гласови команди и мимически жестове, за да определят предпочитанията си. Участниците във виртуалната част наблюдават само записи на демонстрациите. Демонстрациите са проведени в клуба на инвалидите в гр. Троян и чрез уебсайта: serviceroboticsgroup.com. Тези резултати са съпоставени с резултатите, получени от самотно живеещи стари хора без увреждания по аналогични параметри (Chivarov et al. 2019a). Изследването включва лица със специални потребности и възрастни, които присъстват на реални демонстрации и наблюдават записани демонстрации, и проучва нагласите им по отношение на функциите (дейностите), вида, гласа и управлението на 6 идентични прототипа на роботи (фиг. 2).

Изследването е с количествен метод – въпросник със затворени и отворени отговори.

Резултати

Изследваните лица с увреждания са разпределени, както следва: 80% жени, 20% мъже, възраст – от 25 до 80 г., със средна възраст 49,5 г. Процентът на нетрудоспособност е от 34% до 100%. 50% са с висше образование и 50% – със средно образование. 70% посочват, че се справят самостоятелно, 25% – че ползват помощта на роднина, и 5% ползват личен асистент. 59% не работят в момента, 28% са устроени на работно място и 13% работят дистанционно от дома си. Следва да се отбележи, че от лицата, посочили, че в момента не работят, 70% са в пенсионна възраст, а от тези на възраст 32 – 34 г., са с 90 и 100% нетрудоспособност.

Очаквания по отношение на това какви функции трябва да изпълнява роботът

По отношение на функциите, които изследваните лица очакват от робота асистент, се очерта следната картина. Най-важната избрана функция е подаване на сигнал при влошаване на здравословното състояние (54%), донасяне на тежки или труднодостъпни предмети и лекарства (13%), следвани от носене на вода (11%) и храна (9%) (фиг. 3).

Сравнението със самотно живеещите възрастни потвърждава общата тенденция в предпочитанията, обусловена от възможността за самостоятелен независим живот. При тях водеща е функцията напомняне за прием на лекарства, следвана от сигнализиране на лекари и роднини на случаите на влошаване на здравословното или физическото състояние (падане), както и помощ в задачи, които са затрудняващи (пренасяне на тежки предмети), включване на уреди. 93% от възрастните декларират, че очакват роботът да следи здравословното им състояние и да сигнализира в случай на нужда, 72% очакват да донася тежки предмети, 64% – лекарства и храна, 57% – вода. Това потвърждава идентичен модел на декларирани потребности.

По отношение на очакваните допълнителни функции изследваните лица посочват в най-висока степен възможността за раздвижване на долните крайници, помощ в пазаруването, следене на физиологични параметри, рехабилитация и камера в помощ на незрящи потребители (фиг. 4)

Следва да се отбележи една разлика при групите, оценявали възможността за използване на роботите онлайн и на живо. Тъй като въпросът за допълнителни ползи е отворен, значително по-висока е активността в отговорите на лицата, които са гледали демонстрацията на живо. Техните очаквания за допълнителни ползи са свързани с раздвижването на долните крайници, цялостна рехабилитация и включване в робота на модул, който да следи физиологичните пока

затели като пулс, кръвно и др. Това свидетелства за тенденция, че усещайки реално какво може роботът до момента, това подкрепя очакването следващи разработки да имат разширени функции. В общ план тази индикация е важна за поддържането на комуникация на хората с увреждания и възрастните. Въпреки безспорните предимства и бързина на общуването в мрежата, когато става въпрос за проучване на дизайна, класическата форма е за предпочитане.

Предпочитани функции спрямо вида на робота

По отношение на дизайна (фиг. 5-1) еднакъв брой предпочитания има към РОБКО 18 (фиг. 5-1) и РОБКО 17 (фиг. 5-2) (42,5% и 42,5% респективно от участниците). РОБКО 11 (фиг. 5-3) има 15% от предпочитанията.

Другите два робота, получили предпочитания от общо шестте, са Хуманоидният робот и РОБКО Меканум (фиг. 6). Специфичното е, че те са избор единствено на участници от групата, присъствала на демонстрациите на живо. Този факт е особено интересен предвид единствения хуманоиден робот. Очевидно, това няма влияние във виртуална среда, но оказва въздействие при директна комуникация човек – робот. Това е предмет на допълнително проучване, защото, явно, отразява не общо очакване, колкото как директната комуникация се възприема като по-важна от гледна точка на човешките отношения, и е добре това да се вземе предвид като потребност.

По отношение на дизайна при самотно живеещите възрастни се очертава различен профил. Отчетливо предпочитаният дизайн на робота е човекоподобен (избор фиг. 6-2 – 64%, фиг. 5-2 – 27%, фиг. 6-1, като фиг. 5-3 няма нито един избор). Това разместване в изборите в двете съпоставяни групи показва, че възприеманата социална комуникативност, която създава дизайнът, се определя отново от индивидуалната ситуация, в частност дали потребителите живеят сами (което фокусира към хуманоиден дизайн), или имат потребност основно от помощ и заедно със значението на живата комуникация още веднъж потвърждава нуждата от отчитане на предпочитанията към дизайна, които са в основата на взаимодействието с робота.

Начин на управление на робота

49% от лицата с увреждания заявяват, че искат роботът да бъде управляван само от тях, 31% включват освен себе си и роднини, 10% включват оператори освен себе си, 8% – лекари, и 2% – и социални работници. Възрастните самотно живеещи в най-висока степен желаят само те да имат достъп до управлението на робота (79%), 10% са съгласни това да правят и техни близки, а по 5% – лекари и в зависимост от ситуацията. Това още веднъж показва очертаната по-горе по-ясно изразена специфика в зависимост от жизнената среда – водещ фактор е автономността, но при възрастните без увреждания водещ акцент е независимият живот, докато при лицата със затруднения спецификата на затруднение определя в известна степен и предпочитанията и очакванията към робота асистент.

Интересно е разпределението в отговорите на изследваните лица на въпроса как определят управлението на ръката на робота: 55% смятат, че управлението е лесно, а 45% го определят като трудно. Всички, определили управлението като трудно, са жени. Те са на възраст 69 – 80 г. Изключение правят две жени на 34-годишна възраст, които обаче са с 90% нетрудоспособност.

Относно управлението на робота лицата със затруднения отчетливо предпочитат това да става с гласови команди (фиг. 7). Това е изборът на 75% от изследваните лица. Равен брой избори (по 10%) са дадени за джойстик и движение с глава, а управлението посредством жестове е избрано от 5%. Тук следва да се отбележи, че лицата, избрали категорията за управление с джойстик, са само от мъжки пол, на възраст от 33 до 48 години. Управление с движение на главата се предпочита от жени на възраст 80 години. В групата на самотно живеещите възрастни също най-предпочитан избор са гласовите команди (80%), следвани от физически джойстик (54%), виртуален джойстик и управление с жестове (по 20%) и управление с глава (7%).

Предпочитания към гласа на робота

Предпочитанията към гласа на робота при лицата със затруднения е да бъде основно женски (56% от изборите), следван от мъжки (22%), компютърен (17%) и детски (5%) (фиг. 8). Няма диференциация по пол, единствено изборът на детски глас фигурира само при жените. Водещото предпочитание е аналогично и при възрастните – 53% очакват роботът да комуникира с женски глас, 33% – с мъжки, и 14% – с детски глас.

Различия по пол се установяват по отношение на функциите, очаквани от робота от лицата с увреждания.

Водещите категории предпочитани услуги при мъжете са равномерно разпределени, като сервирането на храна е с по-ниска изразеност (фиг. 9). При жените има по-силно натрупване в предпочитанията – основно за пренасяне на тежки предмети, следвано от сигнализиране на роднини, с еднаква степен донасяне на лекарства, поднасяне на вода и напитки и сервиране на храна на последно място (фиг.10).

Обобщение на резултатите

Съгласно предварителните ни очаквания може да обобщим, че личното състояние на потребителите, както и някои демографски характеристики, като пол и възраст, определят предпочитанията към дизайна, функциите, гласа и управлението на робота асистент. От друга страна, се очертават и общи тенденции в отговорите на изследваните лица, които не се определят от възрастта, пола и процента нетрудоспособност. Тези две категории са не взаимоизключващи се, а напротив, логично обвързани една с друга. И лицата със затруднения, и възрастните, имат потребност да се чувстват автономни, и предпочитанията им са свързани с дейности, които не могат да изпълняват сами. Водеща при лицата с увреждания е функционалността, докато при самотно живеещите стари хора социалното взаимодействие с робота асистент (дизайнът му) също има важно място.

По отношение на управлението на робота отчетливо доминира предпочитаното управление посредством гласови команди. Затруднения, свързани с управлението, са по-характерни за жените и отсъстват при мъжете. Управлението чрез джойстик в потвърждение на това е избрано единствено от изследвани лица от мъжки пол.

Интересен момент е групирането на категориите, към които изследваните лица отнасят предпочитанията си към визията на робота. В групата лица със затруднения има избор, който не е посочен нито веднъж за сметка на една трета от самотно живеещите възрастни (фиг. 6-1). Хуманоидният робот, който е водещо предпочитание при старите самотно живеещи хора, има малко избори от лицата със затруднения, и то само от присъствалите на живата демонстрация. Вероятно фактът, че изследваните лица със затруднения са самостоятелни в много висока степен, не генерира отговори, свързани с търсенето на социални функции, които роботът да изпълнява. От друга страна, независимо от пола предпочитанието за език, използван от робота, е женски, което е свързано със стереотипа за помагащите и грижещите се професии.

Смятаме, че въпреки ограничените данни като брой изследвани лица и брой характеристики насоките, очертани от представените тук резултати, са ориентир за следващи изследвания и работа върху роботите асистенти. Индивидуалните предпочитания във всички случаи остават в общата рамка, описваща всички потребители: предпочитаните функции са свързани с дейности, които потребителите не могат да осъществят сами (пренасяне на тежки предмети) и осигуряване на помощ, когато изгубят контрол (сигнализиране при влошаване на здравословното състояние). Образованието не оказва влияние върху предпочитанията, което е потвърждение на универсалността в потребностите. Очертан е един общ облик, който трябва да бъде следван и допълнително съобразен и индивидуализиран спрямо отделните потребители. Изведените категории за адаптиране на визията, функциите и управлението са пол, възраст, степен на увреждане. Те в съвкупност създават различни нагласи и очаквания. Нещо повече, директните интеракции и опит са водещи, особено предвид факта, че роботите не са част от ежедневието.

ЛИТЕРАТУРА

ГЕОРГИЕВА, Н., 2016. Етически и социални проблеми на изкуствения интелект. София: автореферат

СТАВРУ, С., 2016. Интелигентните роботи и светът на технологичната нормативност, (сс. 21 – 32). В: Сборник доклади от IV национална конференция „Биоетика и биоправо – модерни практики и политики на бъдещето“, 21 – 22 октомври 2016 г. София: НБУ.

Чикуртев, Д., 2017. Изследване и управление на сервизни роботи за подпомагане на човека. Автореферат [http://www.iict.bas.bg/ konkursi/2017/DChikurtev/Avtoreferat.pdf]

REFERENCES

GEORGIEVA, N., 2016. Ethical and social problems of the artificial intellect. Sofia: dissertation synopsis. [in Bulgarian]

STAVROU, S. (2016). Inteligentnite roboti i svetat na tehnologichnata normativnost, (pp. 21 – 32). In: Proceedings IVth National Conference Bioethics and Biolaw – modern practicies and policies of the future, 2016, Sofia: New Bulgarian University

CHIKURTEV, D. (2017). Izsledvane I upravlenie na servizni roboti za podpomagane na choveka. Sofia: dissertation synopsis [in Bulgarian] [http://www.iict.bas.bg/konkursi/2017/DChikurtev/Avtoreferat.pdf]

ARENT, K., M. JANIAK, J. KEDZIERSKI, B. KRECZMER, L. MALTEK, R. MUSZYNSKI, A. OLEKSY, K. TCON, & M. WNUK, 2008. Toward a robotic companion design [http://rab.ict.pwr.wroc.pl/~mucha/ WRUT290908_report.pdf]

CHIVAROV, N., CHIKURTEV, D., CHIVAROV, S., PLEVA, M., ONDAS, S., JUHAR, J. & YOVCHEV, K., 2019a. Case Study on Human-Robot Interaction of the Remote-Controlled Service Robot for Elderly and Disabled Care, Journal Computing and Informatics, 38(5), 1210 – 1236.

CHIVAROV, N., CHIKURTEV, D., RANGELOV, I., MARKOV, E., GIGOV, A., CHIVAROV, N., YOVCHEV, K. & MITEVA, L., 2019b. Usability Study of Tele-controlled Service Robot for Increasing the Quality of Life of Elderly and Disabled – “ROBCO 17”, (pp.121 – 131).

In: Proceedings of the 27th International Conference on Robotics in Alpe-Adria Danube Region (RAAD 2018). In book: Advances in Service and Industrial Robotics DOI: 10.1007/978-3-030-002329_13

DAUTENHAHN, К., M. WALTERS, S. WOODS, K. KOAY, C. NEHANIV, A. SISBOT, R. ALAMI & T. SIM´EON, 2006. “How may I serve you?: A robot companion approaching a seated person in a helping context”. In: Proc. of ACM SIGCHI/SIGART conf. on HRI, 2006.

KĘDZIERSKI, J., KACZMAREK, P., DZIERGWA, M. & TCHOŃ, K., 2015. Design for a Robotic Companion. International Journal of Humanoid Robotics, 12. doi: 1550007-1. 10.1142/S0219843615500073.

JOHAL, W., PESTY, S. & CALVARY, G. 2014. Towards companion robots behaving with style (pp. 1063 – 1068). In: The 23rd IEEE International Symposium on Robot and Human Interactive Communication, Edinburgh, 2014. doi: 10.1109/ROMAN.2014.6926393.

JOHAL, W., 2015. Companion Robots Behaving with Style: Towards Plasticity in Social Human- Robot Interaction. Unpublished thesis [http://iihm.imag.fr/publs/2015/JOHAL_BENKAOUAR_These.pdf]

KOAY, К., E. SISBOT, D. SYRDAL, M. WALTERS, K. DAUTENHAHN & R. ALAMI, 2007. Exploratory studies of a robot approaching a person in the context of handing over an object. In: Proc. AAAI-Spring Symp., 2007.

LUCIDI, P. B. & NARDI, D., 2018. Companion Robots: the Hallucinatory Danger of Human-Robot Interactions, AIES '18 (pp. 17 – 22). In: Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, December 2018 [https://doi.org/10.1145/3278721.3278741]

MATSUMOTO, K., ISHIKAWA, M., INABAS,M., SHIMOYAMA, I. (2012). Assistive robotic technologies for an aging society (pp. 2429 – 2441). In: IEEE Special Issue on Quality of Life Technology

ROBINSON, H., B. MACDONALD, N. KERSE, & E. BROADBENT, 2013. The Psychosocial Effects of a Companion Robot: A Randomized Controlled Trial, The Journal of Post-Acute and Long-Term Care Medicine, 14(9), 661 – 667, DOI: https://doi.org/10.1016/j.jamda.2013.02.007

STEUNEBRINK, B.R., VERGUNST, N.L., MOL, C.P., DIGNUM, F., DASTANI, M., & MEYER, J.C., 2008. A Generic Architecture for a Companion Robot. ICINCO-RA. [https://pdfs.semanticscholar. org/5f16/44019bde4e548835b16c2e88f1837b0177a0.pdf?_ ga=2.218148575.714610785.1578646120-1801142300.1578646120]

WALTERS, М., DAUTENHAHN, K., WOODS, S. & KOAY, K., 2007. Robotic etiquette: results from user studies involving a fetch and carry task. In: Proc. of the ACM/IEEE Int. Conf. on HRI, 2007.

YAMAZAKI, K., NOZAWA, S., KOJIMA, M. & UEDA, R., 2012. Homeassistant robot for an aging society. Proc. IEEE 100(8), 2429 – 2441.