简介
嘉佳机器人是一款面向 3 - 8 岁儿童,集智商开发、情商培养和语音娱乐多功能于一体的全脑开发机器人。它应用于娱乐、教育、社交等多个场景里。
来自奥多拉星的嘉佳将陪伴孩子共同进行妙趣横生的星际探索,在丰富的儿童定制 IQ / EQ 教育资源中,认识世界、共同成长。嘉佳是重要的亲子沟通桥梁,孩子可以随时随地和家庭成员进行视频和语音聊天,分享照片,也可以和嘉佳进行智能语音问答;家长还可以使用嘉佳智能 app 进行远程看护,随时了解孩子的使用情况, 让孩子养成良好的学习和生活习惯。
成果
作为 Leader 带领设计团队建立了一套标准化的 Alpha OS,包括多模态输入输出交互规范、跨屏互动交互规范以及 Alpha OS UI Elements 等。其中基于使用场景跨屏联动的「摇一摇」 交互更获得了 专利,为公司在智能硬件领域打下坚实的设计基础。
1. 背景
2017 年是移动互联网时代转变为人工智能时代的元年,在这大环境下,奥飞娱乐作为中国目前最具实力和发展潜力的动漫文化产业的企业之一,秉承「IP + 智能」的战略方向,认为未来的家庭娱乐生态会围绕智能机器人和移动终端,将教育、动漫、母婴电商、社交、游戏等奥飞娱乐的基石性业务的串联起来,把每个家庭都变成「游乐场」,嘉佳全脑开发机器人 由此而生。
2. 构建奥多拉星球及打造嘉佳 IP
为了让嘉佳机器人这款产品能有自己的「灵魂」,摆脱普通机器人给人冷冰冰的感觉,所以需要创造一个关于嘉佳的故事,让嘉佳给孩子们带来正面、积极、有价值的影响,让孩子在享受求知和探索乐趣的同时,培养孩子乐观向上积极的心态,全方位陪伴孩子快乐成长。
在产品经理与设计师一起讨论嘉佳 IP 设定的时候,逐步形成一个名为「奥多拉星球」的体系,同时要把孩子也加进这个故事里面,让他成为故事的主角,更有参与感,犹如进入一个故事一般:
在浩瀚宇宙中,一个人类从未探究过的空间里,有一颗名为「奥多拉」的星球。奥多拉星上生活着各类生物,他们都是依赖着奥多拉星球释放出的能量而繁衍生息,同时,他们会把能量储存在奥多果汁中,以便出使星际任务时作为能量补给。然而有一天,奥多拉星受到宇宙粒子流的影响,出现了能量外泄。为了解决危机,奥多拉星派遣嘉佳寻找一名合适的地球小伙伴,一同探索宇宙,拯救奥多拉星。
为了能让用户一开始就能进入这个故事,我们在绑定机器人的流程里加入了一个 Intro 动画,当用户使用手机扫描嘉佳屏幕二维码后,随即播放一段关于这个故事的引导动画,让孩子在一开始拿到机器人的时候就参与到这个故事里面来:
最终装机的引导视频
我们也设计了许多星际元素的组件:
为嘉佳制定了一套形象规范:
3. Alpha OS 核心交互规范设计
Alpha OS 是一套基于 Android 深度定制的儿童智能机器人系统,当中包含机器人模式 Robot X 以及 星际桌面 两种模式。
系统层级架构
Alpha OS 自下而上由「系统服务层」、「系统应用层」、「基础应用层」及「第三方应用层」四层架构组成,设计团队需要从系统底层重新定义所有的交互和 UI 样式,涉及了大量的系统定制工作。
从显而易见的 Launcher,到系统应用如设置、通知对话框,再到人机语音的交互设计,甚至是不同交互所需要的反馈音效,都需要设计师结合儿童用户的特点进行重新设计或优化,这给我们带来了不少挑战。
多模态交互设计
机器人不同平板、手机,要摆脱机器冷冰冰的感觉,营造一种生动活泼的形象,这需要嘉佳给人一种「人」的感觉。我们利用嘉佳提供的各种硬件和传感器,通过不同场景的设计来营造嘉佳是有智慧的感觉。
多模态语音交互 AI
机器⼈多模态⼈机交互能够根据不同场景下的语义理解,向用户同时输出不同的交互动作、语音及 UI 界⾯等。为了增强⼈与机器人的语音交互体验,不仅需要增加语音交互的效率和准确性,而且需要增强机器⼈的表情、动作等。
以嘉佳机器人为例,拥有包括语音交互、表情交互、动作交互及头灯在内的多重交互。通过文本数据交换协议,机器⼈能够将各种模态的交互根据场景⼀一合并、统一输出,增强用户的真实场景体验。
a. 通过头灯颜色表达机器人的不同状态
当电量低时,嘉佳头灯会亮红色呼吸灯效果
当你赞扬嘉佳聪明时,嘉佳头灯会闪烁绿色
当接受到通知时,嘉佳头灯会闪烁原色
当嘉佳在唱歌跳舞时,头灯会三色混闪
b. 捏手的不同交互场景
和嘉佳聊天时,捏手会让嘉佳哈哈大笑
在听音乐时,捏手会使头灯亮起,增强周围气氛
c. 利用 G-Sensor 制造的交互场景
和嘉佳聊天时,通过摇一摇,嘉佳会唱一首歌
把嘉佳倒转 180 度时,嘉佳会好晕,提示孩子把嘉佳放好
建立全局统一的交互操作放式以作为嘉机器人整体交互体验的基石。头灯、头部舵机、底部舵机、扬声器以及屏幕都是属于输出设备,可以进行组合叠加而使得交互更加丰富;捏手、屏幕交互、麦克风 、物理按键以及摇一摇都是输入方式,在绝大多数情况下,这些操作都是独立的。
Robot X 交互设计
语音交互是一种不可触摸的交互方式,需要通过不同硬件的提示来提示用户的输入已经完成。当在 Robot X 模式下,嘉佳会主动和用户说话,并非传统的一问一答模式。
嘉佳在说完问好语后,会有声音提示用户可以进行语音输入,头灯亦同时亮起;再用户语音输入过程中,屏幕上亦会有声纹显示用户正在输入中;当检测到用户停止说话后,屏幕上的声纹会转变成正在识别的状态,同时会有声音提示用户嘉佳正在识别中,而且头灯亦会灭掉。
除此之外,我们绘制了多达 32 种表情,让嘉佳在不同情绪下能表达不同的情感。
除了普通的聊天,当涉及到某一个领域,嘉佳显示的内容会有不同。例如当孩子问「香蕉是怎样的」,嘉佳除了返回文本信息介绍香蕉外,还会显示对应的图片,加深孩子对香蕉的认识;又例如问「3 + 5 等于多少」,会显示一块算术板,让孩子更容易学习和接受。
星际桌面交互规范
a. 妙趣横生的 Launcher
契合宇宙的主题,我们把 Launcher 设计成一个宇宙,每一个 app 映射成不同的星球,围绕在屏幕中央的「奥多拉星」四周,让孩子在宇宙中探索不同的星球。
项目早期¹的交互构思,采用类似蜂窝结构排列:
当中的每一个星球都有专属动画:
此外,我们与第三方应用 宝宝巴士 合作,对方根据我们的 Launcher 图标设计规范绘制了对应的图标:
奇奇的 IP 也能很好地融入奥多拉宇宙
b. 对儿童友好且易读的弹窗
在 Alpha OS 中,或多或少会有不同的弹窗提示,例如断网、低电量提示、或者是防沉迷的提醒等。为了让还没认字的孩子也能快速读懂弹窗内容,我们重构了原有弹窗的结构,并加入易读的图标,配合语音提示,让孩子也能快速了解发生了什么事情。
重构后的弹窗结构:
4. 基于使用场景的跨屏联动
「嘉佳智能」手机 app 除了让家长能绑定嘉佳机器人外,还可以与孩子互动。我们根据用户的使用场景出发,设计了几个有意思的跨屏交互,其中一个就是「摇一摇」,这个交互设计还获得了 专利。
摇一摇
「摇一摇」的交互在 2015 年春节时火遍全国,我们借鉴了这一方便且直觉的手势,让它成为手机 app 与嘉佳机器人互动重要的交互方式。
我们还原了用户夜间使用嘉佳的场景,一般在晚间睡觉前,孩子都有听故事的习惯。家长这时可以打开嘉佳智能 app,通过摇一摇,随机抽取三篇「睡前故事」出来,点击即可推送给嘉佳机器人。这样,家长就可以非常快速地进行故事点播,接下来,就可以和孩子一起听故事了。
当然,推荐算法也是经过设计的,并非简单粗暴地在数据库中随机抽取,而是通过孩子平时收听内容的行为习惯、还有时间、音频分类进行组合编排的。如果是在早上摇一摇的话,那出来的结果或许就是「英语磨耳朵」了。
除了听故事外,还能摇一摇问问题。摇出问题后,家长可以问小朋友,然后让嘉佳说出答案。这样一来,不但能增进亲子感情,还能让孩子学到知识。
5. 用户调研及访谈
在 2017 年春节前,我们在一个周末组织了两场现场体验活动,共计邀请了 28 个家庭参加。
我们首先对家长用户进行问卷调查及访谈,询问家长对智能产品的看法,并让家长亲身体验嘉佳机器人,在体验后进行简单的评价,分析优缺点,并在访谈中找出家长对儿童智能产品的核心需求 — 早教属性。由此亦符合我们当初「全脑开发机器人」的产品定位。
在与家长访谈的同时,另一组成员会在零引导的前提下让孩子体验嘉佳机器人,并用摄像机记录孩子对嘉佳哪几个功能特别感兴趣,还有是否存在交互不流畅的情况发生。事后通过视频 + 云端数据采集来统计孩子在具体一个功能里面的停留时间、点击次数、语音交互和触屏交互等数据。
统计结果出来后,我们发现了一些比较严重的问题:本地语音识别²反馈平均速度慢,未达预期;闲聊(talk)语音识别平均速度更是接近 2 秒的反应速度;语音交互先天性难以发现,导致用户在很多情况下无法发现有这个功能。语音交互质量低,导致 Robot X 很多的特色功能未能展示出来,活跃率也符合我们的预想。
应对策略
除了通过技术手段优化语音交互速度之外,我们还尝试在语音识别过程中加入拟声词,让机器人发出类似思考的声音,减少静音时间,让用户体验更加连贯。
在语音交互难以发现的层面上,我们在用户与机器人闲聊过程中加入语音引导,通过嘉佳的语音和屏幕展示来引导用户如何提问。
另外,我们还制作了一段「新年祝福」的视频作为主动推送,在大年初一当天 9 点,嘉佳会主动推送这段视频给用户,语音交互的次数亦稳步增长。
通过加入拟声词、增加语音引导以及运营三方面的优化及提升后,语音交互活跃率、用户粘性以及多模态交互频次均有提升,符合我们优化的预期。
嘉佳文化墙
嘉佳登陆 CES 2017
总结
在嘉佳机器人项目从 0 到 1 的过程中,我们剖析用户群体、还原用户使用场景、理解用户的动机行为、拆解有形或无形的交互行为……在这个过程中,从新认识到交互设计不仅仅是屏幕的人机交互设计,还有物理空间下多模态的输入输出交互,打破了我一直以为的人与智能机器人中的交互界限。
:上市版本中,图标和排列位置均有变动
语音识别指的是将语音转换成文本的过程
简介
嘉佳机器人是一款面向 3 - 8 岁儿童,集智商开发、情商培养和语音娱乐多功能于一体的全脑开发机器人。它应用于娱乐、教育、社交等多个场景里。
来自奥多拉星的嘉佳将陪伴孩子共同进行妙趣横生的星际探索,在丰富的儿童定制 IQ / EQ 教育资源中,认识世界、共同成长。嘉佳是重要的亲子沟通桥梁,孩子可以随时随地和家庭成员进行视频和语音聊天,分享照片,也可以和嘉佳进行智能语音问答;家长还可以使用嘉佳智能 app 进行远程看护,随时了解孩子的使用情况, 让孩子养成良好的学习和生活习惯。
成果
作为 Leader 带领设计团队建立了一套标准化的 Alpha OS,包括多模态输入输出交互规范、跨屏互动交互规范以及 Alpha OS UI Elements 等。其中基于使用场景跨屏联动的「摇一摇」 交互更获得了 专利,为公司在智能硬件领域打下坚实的设计基础。
1. 背景
2017 年是移动互联网时代转变为人工智能时代的元年,在这大环境下,奥飞娱乐作为中国目前最具实力和发展潜力的动漫文化产业的企业之一,秉承「IP + 智能」的战略方向,认为未来的家庭娱乐生态会围绕智能机器人和移动终端,将教育、动漫、母婴电商、社交、游戏等奥飞娱乐的基石性业务的串联起来,把每个家庭都变成「游乐场」,嘉佳全脑开发机器人 由此而生。
2. 构建奥多拉星球及打造嘉佳 IP
为了让嘉佳机器人这款产品能有自己的「灵魂」,摆脱普通机器人给人冷冰冰的感觉,所以需要创造一个关于嘉佳的故事,让嘉佳给孩子们带来正面、积极、有价值的影响,让孩子在享受求知和探索乐趣的同时,培养孩子乐观向上积极的心态,全方位陪伴孩子快乐成长。
在产品经理与设计师一起讨论嘉佳 IP 设定的时候,逐步形成一个名为「奥多拉星球」的体系,同时要把孩子也加进这个故事里面,让他成为故事的主角,更有参与感,犹如进入一个故事一般:
在浩瀚宇宙中,一个人类从未探究过的空间里,有一颗名为「奥多拉」的星球。奥多拉星上生活着各类生物,他们都是依赖着奥多拉星球释放出的能量而繁衍生息,同时,他们会把能量储存在奥多果汁中,以便出使星际任务时作为能量补给。然而有一天,奥多拉星受到宇宙粒子流的影响,出现了能量外泄。为了解决危机,奥多拉星派遣嘉佳寻找一名合适的地球小伙伴,一同探索宇宙,拯救奥多拉星。
为了能让用户一开始就能进入这个故事,我们在绑定机器人的流程里加入了一个 Intro 动画,当用户使用手机扫描嘉佳屏幕二维码后,随即播放一段关于这个故事的引导动画,让孩子在一开始拿到机器人的时候就参与到这个故事里面来:
最终装机的引导视频
我们也设计了许多星际元素的组件:
为嘉佳制定了一套形象规范:
3. Alpha OS 核心交互规范设计
Alpha OS 是一套基于 Android 深度定制的儿童智能机器人系统,当中包含机器人模式 Robot X 以及 星际桌面 两种模式。
系统层级架构
Alpha OS 自下而上由「系统服务层」、「系统应用层」、「基础应用层」及「第三方应用层」四层架构组成,设计团队需要从系统底层重新定义所有的交互和 UI 样式,涉及了大量的系统定制工作。
从显而易见的 Launcher,到系统应用如设置、通知对话框,再到人机语音的交互设计,甚至是不同交互所需要的反馈音效,都需要设计师结合儿童用户的特点进行重新设计或优化,这给我们带来了不少挑战。
多模态交互设计
机器人不同平板、手机,要摆脱机器冷冰冰的感觉,营造一种生动活泼的形象,这需要嘉佳给人一种「人」的感觉。我们利用嘉佳提供的各种硬件和传感器,通过不同场景的设计来营造嘉佳是有智慧的感觉。
多模态语音交互 AI
机器⼈多模态⼈机交互能够根据不同场景下的语义理解,向用户同时输出不同的交互动作、语音及 UI 界⾯等。为了增强⼈与机器人的语音交互体验,不仅需要增加语音交互的效率和准确性,而且需要增强机器⼈的表情、动作等。
以嘉佳机器人为例,拥有包括语音交互、表情交互、动作交互及头灯在内的多重交互。通过文本数据交换协议,机器⼈能够将各种模态的交互根据场景⼀一合并、统一输出,增强用户的真实场景体验。
a. 通过头灯颜色表达机器人的不同状态
当电量低时,嘉佳头灯会亮红色呼吸灯效果
当你赞扬嘉佳聪明时,嘉佳头灯会闪烁绿色
当接受到通知时,嘉佳头灯会闪烁原色
当嘉佳在唱歌跳舞时,头灯会三色混闪
b. 捏手的不同交互场景
和嘉佳聊天时,捏手会让嘉佳哈哈大笑
在听音乐时,捏手会使头灯亮起,增强周围气氛
c. 利用 G-Sensor 制造的交互场景
和嘉佳聊天时,通过摇一摇,嘉佳会唱一首歌
把嘉佳倒转 180 度时,嘉佳会好晕,提示孩子把嘉佳放好
建立全局统一的交互操作放式以作为嘉机器人整体交互体验的基石。头灯、头部舵机、底部舵机、扬声器以及屏幕都是属于输出设备,可以进行组合叠加而使得交互更加丰富;捏手、屏幕交互、麦克风 、物理按键以及摇一摇都是输入方式,在绝大多数情况下,这些操作都是独立的。
Robot X 交互设计
语音交互是一种不可触摸的交互方式,需要通过不同硬件的提示来提示用户的输入已经完成。当在 Robot X 模式下,嘉佳会主动和用户说话,并非传统的一问一答模式。
嘉佳在说完问好语后,会有声音提示用户可以进行语音输入,头灯亦同时亮起;再用户语音输入过程中,屏幕上亦会有声纹显示用户正在输入中;当检测到用户停止说话后,屏幕上的声纹会转变成正在识别的状态,同时会有声音提示用户嘉佳正在识别中,而且头灯亦会灭掉。
除此之外,我们绘制了多达 32 种表情,让嘉佳在不同情绪下能表达不同的情感。
除了普通的聊天,当涉及到某一个领域,嘉佳显示的内容会有不同。例如当孩子问「香蕉是怎样的」,嘉佳除了返回文本信息介绍香蕉外,还会显示对应的图片,加深孩子对香蕉的认识;又例如问「3 + 5 等于多少」,会显示一块算术板,让孩子更容易学习和接受。
星际桌面交互规范
a. 妙趣横生的 Launcher
契合宇宙的主题,我们把 Launcher 设计成一个宇宙,每一个 app 映射成不同的星球,围绕在屏幕中央的「奥多拉星」四周,让孩子在宇宙中探索不同的星球。
项目早期¹的交互构思,采用类似蜂窝结构排列:
当中的每一个星球都有专属动画:
此外,我们与第三方应用 宝宝巴士 合作,对方根据我们的 Launcher 图标设计规范绘制了对应的图标:
奇奇的 IP 也能很好地融入奥多拉宇宙
b. 对儿童友好且易读的弹窗
在 Alpha OS 中,或多或少会有不同的弹窗提示,例如断网、低电量提示、或者是防沉迷的提醒等。为了让还没认字的孩子也能快速读懂弹窗内容,我们重构了原有弹窗的结构,并加入易读的图标,配合语音提示,让孩子也能快速了解发生了什么事情。
重构后的弹窗结构:
4. 基于使用场景的跨屏联动
「嘉佳智能」手机 app 除了让家长能绑定嘉佳机器人外,还可以与孩子互动。我们根据用户的使用场景出发,设计了几个有意思的跨屏交互,其中一个就是「摇一摇」,这个交互设计还获得了 专利。
摇一摇
「摇一摇」的交互在 2015 年春节时火遍全国,我们借鉴了这一方便且直觉的手势,让它成为手机 app 与嘉佳机器人互动重要的交互方式。
我们还原了用户夜间使用嘉佳的场景,一般在晚间睡觉前,孩子都有听故事的习惯。家长这时可以打开嘉佳智能 app,通过摇一摇,随机抽取三篇「睡前故事」出来,点击即可推送给嘉佳机器人。这样,家长就可以非常快速地进行故事点播,接下来,就可以和孩子一起听故事了。
当然,推荐算法也是经过设计的,并非简单粗暴地在数据库中随机抽取,而是通过孩子平时收听内容的行为习惯、还有时间、音频分类进行组合编排的。如果是在早上摇一摇的话,那出来的结果或许就是「英语磨耳朵」了。
除了听故事外,还能摇一摇问问题。摇出问题后,家长可以问小朋友,然后让嘉佳说出答案。这样一来,不但能增进亲子感情,还能让孩子学到知识。
5. 用户调研及访谈
在 2017 年春节前,我们在一个周末组织了两场现场体验活动,共计邀请了 28 个家庭参加。
我们首先对家长用户进行问卷调查及访谈,询问家长对智能产品的看法,并让家长亲身体验嘉佳机器人,在体验后进行简单的评价,分析优缺点,并在访谈中找出家长对儿童智能产品的核心需求 — 早教属性。由此亦符合我们当初「全脑开发机器人」的产品定位。
在与家长访谈的同时,另一组成员会在零引导的前提下让孩子体验嘉佳机器人,并用摄像机记录孩子对嘉佳哪几个功能特别感兴趣,还有是否存在交互不流畅的情况发生。事后通过视频 + 云端数据采集来统计孩子在具体一个功能里面的停留时间、点击次数、语音交互和触屏交互等数据。
统计结果出来后,我们发现了一些比较严重的问题:本地语音识别²反馈平均速度慢,未达预期;闲聊(talk)语音识别平均速度更是接近 2 秒的反应速度;语音交互先天性难以发现,导致用户在很多情况下无法发现有这个功能。语音交互质量低,导致 Robot X 很多的特色功能未能展示出来,活跃率也符合我们的预想。
应对策略
除了通过技术手段优化语音交互速度之外,我们还尝试在语音识别过程中加入拟声词,让机器人发出类似思考的声音,减少静音时间,让用户体验更加连贯。
在语音交互难以发现的层面上,我们在用户与机器人闲聊过程中加入语音引导,通过嘉佳的语音和屏幕展示来引导用户如何提问。
另外,我们还制作了一段「新年祝福」的视频作为主动推送,在大年初一当天 9 点,嘉佳会主动推送这段视频给用户,语音交互的次数亦稳步增长。
通过加入拟声词、增加语音引导以及运营三方面的优化及提升后,语音交互活跃率、用户粘性以及多模态交互频次均有提升,符合我们优化的预期。
嘉佳文化墙
嘉佳登陆 CES 2017
总结
在嘉佳机器人项目从 0 到 1 的过程中,我们剖析用户群体、还原用户使用场景、理解用户的动机行为、拆解有形或无形的交互行为……在这个过程中,从新认识到交互设计不仅仅是屏幕的人机交互设计,还有物理空间下多模态的输入输出交互,打破了我一直以为的人与智能机器人中的交互界限。
:上市版本中,图标和排列位置均有变动
语音识别指的是将语音转换成文本的过程
简介
嘉佳机器人是一款面向 3 - 8 岁儿童,集智商开发、情商培养和语音娱乐多功能于一体的全脑开发机器人。它应用于娱乐、教育、社交等多个场景里。
来自奥多拉星的嘉佳将陪伴孩子共同进行妙趣横生的星际探索,在丰富的儿童定制 IQ / EQ 教育资源中,认识世界、共同成长。嘉佳是重要的亲子沟通桥梁,孩子可以随时随地和家庭成员进行视频和语音聊天,分享照片,也可以和嘉佳进行智能语音问答;家长还可以使用嘉佳智能 app 进行远程看护,随时了解孩子的使用情况, 让孩子养成良好的学习和生活习惯。
成果
作为 Leader 带领设计团队建立了一套标准化的 Alpha OS,包括多模态输入输出交互规范、跨屏互动交互规范以及 Alpha OS UI Elements 等。其中基于使用场景跨屏联动的「摇一摇」 交互更获得了 专利,为公司在智能硬件领域打下坚实的设计基础。
1. 背景
2017 年是移动互联网时代转变为人工智能时代的元年,在这大环境下,奥飞娱乐作为中国目前最具实力和发展潜力的动漫文化产业的企业之一,秉承「IP + 智能」的战略方向,认为未来的家庭娱乐生态会围绕智能机器人和移动终端,将教育、动漫、母婴电商、社交、游戏等奥飞娱乐的基石性业务的串联起来,把每个家庭都变成「游乐场」,嘉佳全脑开发机器人 由此而生。
2. 构建奥多拉星球及打造嘉佳 IP
为了让嘉佳机器人这款产品能有自己的「灵魂」,摆脱普通机器人给人冷冰冰的感觉,所以需要创造一个关于嘉佳的故事,让嘉佳给孩子们带来正面、积极、有价值的影响,让孩子在享受求知和探索乐趣的同时,培养孩子乐观向上积极的心态,全方位陪伴孩子快乐成长。
在产品经理与设计师一起讨论嘉佳 IP 设定的时候,逐步形成一个名为「奥多拉星球」的体系,同时要把孩子也加进这个故事里面,让他成为故事的主角,更有参与感,犹如进入一个故事一般:
在浩瀚宇宙中,一个人类从未探究过的空间里,有一颗名为「奥多拉」的星球。奥多拉星上生活着各类生物,他们都是依赖着奥多拉星球释放出的能量而繁衍生息,同时,他们会把能量储存在奥多果汁中,以便出使星际任务时作为能量补给。然而有一天,奥多拉星受到宇宙粒子流的影响,出现了能量外泄。为了解决危机,奥多拉星派遣嘉佳寻找一名合适的地球小伙伴,一同探索宇宙,拯救奥多拉星。
为了能让用户一开始就能进入这个故事,我们在绑定机器人的流程里加入了一个 Intro 动画,当用户使用手机扫描嘉佳屏幕二维码后,随即播放一段关于这个故事的引导动画,让孩子在一开始拿到机器人的时候就参与到这个故事里面来:
最终装机的引导视频
我们也设计了许多星际元素的组件:
为嘉佳制定了一套形象规范:
3. Alpha OS 核心交互规范设计
Alpha OS 是一套基于 Android 深度定制的儿童智能机器人系统,当中包含机器人模式 Robot X 以及 星际桌面 两种模式。
系统层级架构
Alpha OS 自下而上由「系统服务层」、「系统应用层」、「基础应用层」及「第三方应用层」四层架构组成,设计团队需要从系统底层重新定义所有的交互和 UI 样式,涉及了大量的系统定制工作。
从显而易见的 Launcher,到系统应用如设置、通知对话框,再到人机语音的交互设计,甚至是不同交互所需要的反馈音效,都需要设计师结合儿童用户的特点进行重新设计或优化,这给我们带来了不少挑战。
多模态交互设计
机器人不同平板、手机,要摆脱机器冷冰冰的感觉,营造一种生动活泼的形象,这需要嘉佳给人一种「人」的感觉。我们利用嘉佳提供的各种硬件和传感器,通过不同场景的设计来营造嘉佳是有智慧的感觉。
多模态语音交互 AI
机器⼈多模态⼈机交互能够根据不同场景下的语义理解,向用户同时输出不同的交互动作、语音及 UI 界⾯等。为了增强⼈与机器人的语音交互体验,不仅需要增加语音交互的效率和准确性,而且需要增强机器⼈的表情、动作等。
以嘉佳机器人为例,拥有包括语音交互、表情交互、动作交互及头灯在内的多重交互。通过文本数据交换协议,机器⼈能够将各种模态的交互根据场景⼀一合并、统一输出,增强用户的真实场景体验。
a. 通过头灯颜色表达机器人的不同状态
当电量低时,嘉佳头灯会亮红色呼吸灯效果
当你赞扬嘉佳聪明时,嘉佳头灯会闪烁绿色
当接受到通知时,嘉佳头灯会闪烁原色
当嘉佳在唱歌跳舞时,头灯会三色混闪
b. 捏手的不同交互场景
和嘉佳聊天时,捏手会让嘉佳哈哈大笑
在听音乐时,捏手会使头灯亮起,增强周围气氛
c. 利用 G-Sensor 制造的交互场景
和嘉佳聊天时,通过摇一摇,嘉佳会唱一首歌
把嘉佳倒转 180 度时,嘉佳会好晕,提示孩子把嘉佳放好
建立全局统一的交互操作放式以作为嘉机器人整体交互体验的基石。头灯、头部舵机、底部舵机、扬声器以及屏幕都是属于输出设备,可以进行组合叠加而使得交互更加丰富;捏手、屏幕交互、麦克风 、物理按键以及摇一摇都是输入方式,在绝大多数情况下,这些操作都是独立的。
Robot X 交互设计
语音交互是一种不可触摸的交互方式,需要通过不同硬件的提示来提示用户的输入已经完成。当在 Robot X 模式下,嘉佳会主动和用户说话,并非传统的一问一答模式。
嘉佳在说完问好语后,会有声音提示用户可以进行语音输入,头灯亦同时亮起;再用户语音输入过程中,屏幕上亦会有声纹显示用户正在输入中;当检测到用户停止说话后,屏幕上的声纹会转变成正在识别的状态,同时会有声音提示用户嘉佳正在识别中,而且头灯亦会灭掉。
除此之外,我们绘制了多达 32 种表情,让嘉佳在不同情绪下能表达不同的情感。
除了普通的聊天,当涉及到某一个领域,嘉佳显示的内容会有不同。例如当孩子问「香蕉是怎样的」,嘉佳除了返回文本信息介绍香蕉外,还会显示对应的图片,加深孩子对香蕉的认识;又例如问「3 + 5 等于多少」,会显示一块算术板,让孩子更容易学习和接受。
星际桌面交互规范
a. 妙趣横生的 Launcher
契合宇宙的主题,我们把 Launcher 设计成一个宇宙,每一个 app 映射成不同的星球,围绕在屏幕中央的「奥多拉星」四周,让孩子在宇宙中探索不同的星球。
项目早期¹的交互构思,采用类似蜂窝结构排列:
当中的每一个星球都有专属动画:
此外,我们与第三方应用 宝宝巴士 合作,对方根据我们的 Launcher 图标设计规范绘制了对应的图标:
奇奇的 IP 也能很好地融入奥多拉宇宙
b. 对儿童友好且易读的弹窗
在 Alpha OS 中,或多或少会有不同的弹窗提示,例如断网、低电量提示、或者是防沉迷的提醒等。为了让还没认字的孩子也能快速读懂弹窗内容,我们重构了原有弹窗的结构,并加入易读的图标,配合语音提示,让孩子也能快速了解发生了什么事情。
重构后的弹窗结构:
4. 基于使用场景的跨屏联动
「嘉佳智能」手机 app 除了让家长能绑定嘉佳机器人外,还可以与孩子互动。我们根据用户的使用场景出发,设计了几个有意思的跨屏交互,其中一个就是「摇一摇」,这个交互设计还获得了 专利。
摇一摇
「摇一摇」的交互在 2015 年春节时火遍全国,我们借鉴了这一方便且直觉的手势,让它成为手机 app 与嘉佳机器人互动重要的交互方式。
我们还原了用户夜间使用嘉佳的场景,一般在晚间睡觉前,孩子都有听故事的习惯。家长这时可以打开嘉佳智能 app,通过摇一摇,随机抽取三篇「睡前故事」出来,点击即可推送给嘉佳机器人。这样,家长就可以非常快速地进行故事点播,接下来,就可以和孩子一起听故事了。
当然,推荐算法也是经过设计的,并非简单粗暴地在数据库中随机抽取,而是通过孩子平时收听内容的行为习惯、还有时间、音频分类进行组合编排的。如果是在早上摇一摇的话,那出来的结果或许就是「英语磨耳朵」了。
除了听故事外,还能摇一摇问问题。摇出问题后,家长可以问小朋友,然后让嘉佳说出答案。这样一来,不但能增进亲子感情,还能让孩子学到知识。
5. 用户调研及访谈
在 2017 年春节前,我们在一个周末组织了两场现场体验活动,共计邀请了 28 个家庭参加。
我们首先对家长用户进行问卷调查及访谈,询问家长对智能产品的看法,并让家长亲身体验嘉佳机器人,在体验后进行简单的评价,分析优缺点,并在访谈中找出家长对儿童智能产品的核心需求 — 早教属性。由此亦符合我们当初「全脑开发机器人」的产品定位。
在与家长访谈的同时,另一组成员会在零引导的前提下让孩子体验嘉佳机器人,并用摄像机记录孩子对嘉佳哪几个功能特别感兴趣,还有是否存在交互不流畅的情况发生。事后通过视频 + 云端数据采集来统计孩子在具体一个功能里面的停留时间、点击次数、语音交互和触屏交互等数据。
统计结果出来后,我们发现了一些比较严重的问题:本地语音识别²反馈平均速度慢,未达预期;闲聊(talk)语音识别平均速度更是接近 2 秒的反应速度;语音交互先天性难以发现,导致用户在很多情况下无法发现有这个功能。语音交互质量低,导致 Robot X 很多的特色功能未能展示出来,活跃率也符合我们的预想。
应对策略
除了通过技术手段优化语音交互速度之外,我们还尝试在语音识别过程中加入拟声词,让机器人发出类似思考的声音,减少静音时间,让用户体验更加连贯。
在语音交互难以发现的层面上,我们在用户与机器人闲聊过程中加入语音引导,通过嘉佳的语音和屏幕展示来引导用户如何提问。
另外,我们还制作了一段「新年祝福」的视频作为主动推送,在大年初一当天 9 点,嘉佳会主动推送这段视频给用户,语音交互的次数亦稳步增长。
通过加入拟声词、增加语音引导以及运营三方面的优化及提升后,语音交互活跃率、用户粘性以及多模态交互频次均有提升,符合我们优化的预期。
嘉佳文化墙
嘉佳登陆 CES 2017
总结
在嘉佳机器人项目从 0 到 1 的过程中,我们剖析用户群体、还原用户使用场景、理解用户的动机行为、拆解有形或无形的交互行为……在这个过程中,从新认识到交互设计不仅仅是屏幕的人机交互设计,还有物理空间下多模态的输入输出交互,打破了我一直以为的人与智能机器人中的交互界限。
:上市版本中,图标和排列位置均有变动
语音识别指的是将语音转换成文本的过程