凭借这种个性化的“深度学习”网络，科学家们在6月27日的“科学机器人”杂志上报告说，机器人对儿童反应的看法与人类专家的评估一致，相关分数为60％。
人类观察者对儿童的参与和行为达成高度一致意见可能具有挑战性。他们的相关分数通常在50％到55％之间。Rudovic和他的同事们提出，在本研究中，接受人类观察训练的机器人有朝一日可能会对这些行为提供更一致的估计。
“在自闭症中创建机器学习和AI [人工智能]的挑战尤其令人烦恼，因为通常的AI方法需要大量的数据，这些数据对于每个学习的类别都是相似的。在异质性占主导地位的自闭症中，正常的AI方法失败了，“皮卡德说。Rudovic，Picard和他们的队友也在其他领域使用个性化深度学习，发现它可以改善疼痛监测结果和预测阿尔茨海默病的进展。
NAO
研究人员在这项研究中使用了SoftBank RoboticsNAO人形机器人。NAO身高约2英尺，类似于装甲超级英雄或机器人，通过改变眼睛的颜色，四肢的运动和声音的语调来传达不同的情感。
参与本研究的35名自闭症儿童，17名来自日本，18名来自塞尔维亚，年龄从3岁到13岁不等。他们在35分钟的会议期间以各种方式对机器人作出反应，在某些情况下看起来很无聊和困倦兴奋地跳着房间，拍手，笑着或触摸机器人。
个性化机器学习
尽管自20世纪80年代以来深度学习的概念已经出现，但Rudovic说，直到最近才有足够的计算能力来实现这种人工智能。深度学习已被用于自动语音和对象识别程序，使其非常适合于解决诸如面部，身体和声音的多重特征的问题，这些特征可用于理解更抽象的概念，例如儿童的订婚。
“例如，在面部表情的情况下，面部的哪些部分对于估计参与度最重要？”Rudovic说。“深度学习允许机器人直接从该数据中提取最重要的信息，而无需人工手动制作这些功能。”
机器人的个性化深度学习网络是根据这些视频，音频和生理数据的层次，有关儿童孤独症诊断和能力，他们的文化和性别的信息构建的。研究人员随后将他们对儿童行为的估计与五名人类专家的估计进行了比较，他们对儿童的视频和录音进行了连续编码，以确定儿童在会议期间的兴趣和不满，感兴趣程度以及参与程度。
根据人类编码的这些个性化数据进行训练，并对未用于训练或调整模型的数据进行测试，网络显着改善了机器人对研究中大多数儿童的行为的自动估计，超出了估计的范围。研究人员发现，该网络以“一刀切”的方式将所有儿童的数据结合起来。
Rudovic及其同事还能够探讨深度学习网络如何做出估计，从而揭示了孩子们之间一些有趣的文化差异。“例如，来自日本的儿童在高度接触期间表现出更多的身体动作，而在塞尔维亚人中，大量的身体动作与脱离事件有关，”Rudovic说。