PRINTEPSの有用性を評価するために、本プロジェクトでは、ロボット喫茶店を実践しています。以下では、慶應義塾大学矢上祭におけるロボット喫茶店の実践について紹介します。ロボット喫茶店の実践の詳細については、関連文献[1,2]を参照してください。

ロボット喫茶店の構成

2017年10月7日（土）と8日（日）に、慶應義塾大学第18回矢上祭において、ロボット喫茶店の実践を行いました。図１に、ロボット喫茶店の構成を示します。入口、カウンター、四人掛けのテーブル2セット、二人掛けのテーブル2セット、ペットボトルディスペンサ、カップディスペンサ、ペットボトル棚、カート、アーム型ロボットJaco2、接客用ロボットPepper、配膳用ロボットHSRを図1のように配置しました。

図１：ロボット喫茶店の構成

入口前方には1台、Kinect v2を配置し、主にお客の入店人数の把握や入店検知に用いました。カウンターにはマイクを設置し、注文時の音声認識に用いました。カウンターには、3台のペットボトルディスペンサとカップディスペンサも配置し、オレンジジュース、アップルジュース、アイスティー、ミックスジュースを用意できるようにしました。図２は、カウンター周辺の様子を撮影した写真です。ペットボトル棚には、ドクターペッパー、カルピス、お茶のペットボトルをSサイズとMサイズに分けて図１に示すように配置しました。図３は、ペットボトル棚周辺の様子を撮影した写真です。各テーブルには、全方位カメラを設置し、座席に座っている人を検知することにより、空席状況を把握できるようにしています。また、各テーブルには押しボタンを用意し、ボタンが押された際に、HSRがテーブルまで移動し、顧客が手渡しで空のペットボトルまたは紙コップをHSRに渡すことにより、ペットボトルまたは紙コップを片づけられるようにしました。図３の写真には、HSRがペットボトル棚の横に設置したゴミ箱に、紙コップを捨てている様子が写っています。また、図４は、テーブル周辺の様子を撮影した写真です。

• 
  図２：カウンター周辺の様子
• 
  図３：ペットボトル棚周辺の様子
• 
  図４：テーブル周辺の様子

Pepperは、注文時の対話や座席案内に用いています。Pepperには、測域センサを搭載し、走行時に自己位置を推定できるようにしました。HSRは、注文内容に応じて、ペットボトル棚からペットボトルを掴み、複数の注文があった場合には、カートを利用し、そうでない場合には、直接、テーブルにペットボトルを運搬しました。Jaco2は、注文内容に応じて、カップディスペンサから紙コップを取り出し、対応するペットボトルディスペンサに紙コップをセットし、注文されたサイズに応じた時間レバーを引いて、顧客に飲み物を提供しました。ミックスジュースが注文された場合には、オレンジジュースとアップルジュースを半分ずつ注ぎます。

Kinect v2、全方位カメラ、各種ロボットには、制御用のノートPCが有線（図１の実線）または無線（図１の点線）で接続されています。各テーブルに設置した押しボタンはラズベリーパイに接続されています。さらに、PRINTEPSワークフローエディタで作成したワークフローの実行と知識推論のために知識処理用ノートPCを1台、音声対話システム用にノートPCを1台、利用しました。

ロボット喫茶店のサービス概要と各要素知能の役割

ロボット喫茶店は、入店時挨拶、座席案内、注文、飲み物の用意と運搬のサービス群から構成されています。以下では、各要素知能がどのようにサービスを実現するために用いられているかについて説明します。

知識ベース推論

要素知能「知識ベース推論」では、ワークフロー、ビジネスルール、オントロジーを用いて、ロボット喫茶店における状態の管理やロボットの振舞いを制御します。入店時挨拶と座席案内においては、画像センシングにより得られた客の人数や各客の属性情報からグループ推定を実行し、Kinectのセンシング結果とストリーム推論を用いて入店・退店・退席・空席を検知しています。さらに、ビジネスルールを用いて、喫茶店オーナーの要望を反映したグループごとの接客を行うことを可能としています。注文時においては、ロボット喫茶店におけるメニュー情報（材料、カロリー、金額など）をオントロジーとそのインスタンスとして定義し、音声対話モジュールにその情報を提供し、注文されたメニューから必要な食器や調理手順を生成し、動作計画モジュールを呼び出すなどの処理を行っています。ロボット喫茶店における知識ベース推論の詳細については、関連文献[2]を参照してください。

音声対話

要素知能「音声対話」では、主にPepperとマイクを用いて注文対応を行います。メニューとして，SとMサイズのオレンジジュース、アップルジュース、アイスティー、ミックスジュースを用意しており、客が様々な表現方法により、これらのメニューを注文した際に、適切に、メニュー名、サイズ、個数を取得し、ROSのメッセージ型に変換し、多粒度ブラックボードに保存することを実現しています。また、知識ベース推論モジュールと連携し、客のグループや属性に応じたメニューの推薦なども可能としています。音声対話の詳細については、関連文献[3]を参照してください。

画像センシング

要素知能「画像センシング」では、主に入口とテーブルのセンシングをKinect v2と全方位カメラを用いて行っています。OKAO Vision を用いて人の年齢、性別、表情を推定し、入店客とKinect v2までの距離データを取得し、知識ベース推論モジュールと連携して入店検知を実行し、テーブル上の物品や飲食行動を認識しています。入口のセンシングについては関連文献[4]を、テーブルのセンシングについて関連文献[5]を、飲食行動の認識については関連文献[6]を参照してください。

動作計画

要素知能「動作計画」では、環境地図を用いたPepperやHSRのロボット喫茶店環境内での移動、Jaco2を用いた飲料準備、HSRを用いた飲料の配膳と片付けなどを実行しています。入口、２人掛けテーブル、４人掛けテーブル、カウンター、待機場所など、環境地図上の場所概念をオントロジーとそのインスタンスとして定義し、PRINTEPSワークフローエディタ上で、指定の場所に移動できます。また、Jaco2は、カップディスペンサーからカップを取得し、注文されたメニューに応じて、ペットボトルディスペンサーの前にカップを置き、ディスペンサーのレバーをサイズに応じた時間分引いて、お客に飲み物を提供することができます。ロボットの移動には関連文献[7]の研究成果を、ロボットの走行時における自己位置推定には amcl を、環境地図の作成には gmapping を、それぞれ用いています。

以上の各要素知能について、ROSのサービス、パブリッシャ、サブスクライバ、メッセージのモジュールがそれぞれ実装され、PRINTEPSワークフローエディタ上でワークフローを構築し、ワークフローから自動生成されたプログラムをROS環境上で実行することができるようになっています。

ロボット喫茶店のワークフロー

上記で説明したロボット喫茶店のアプリケーションを、PRINTEPSワークフローエディタを用いて実装しました。図５は、ロボット喫茶店のサービス層を示しています。サービス層には，主に，「入店時対応」、「座席案内」、「カウンター飲物用意」、「テーブル飲物用意」サービスが作成されています。「常駐」サービスは、センシングの結果により実行されるプロセス群をまとめており、「注文対応」プロセスなどは、「常駐」サービス内で定義されています。図６は、「入店時対応」サービスの展開図を示しています。図７は、「入店時対応」サービス内で実行される「お客様に挨拶」プロセスを展開した図です。

• 
  図５：ロボット喫茶店のサービス層
• 
  図６：「入店時対応」サービスの展開図

図７：「お客様に挨拶」プロセスの展開図

関連文献

1. Takeshi Morita, Naho Kashiwagi, Ayanori Yorozu, Hideo Suzuki, Takahira Yamaguchi, “Evaluation of a Multi-Robot Cafe based on Service Quality Dimensions”, The Review of Socionetwork Strategies, Springer, pp.1-22, 2019.
2. Takeshi Morita, Kodai Nakamura, Hiroki Komatsushiro, Takahira Yamaguchi, “PRINTEPS: An Integrated Intelligent Application Development Platform based on Stream Reasoning and ROS”, The Review of Socionetwork Strategies, Springer, Vol. 12, Issue 1, pp 71–96, 2018.
3. 西村良太, 眞鍋麟太郎, 中野有紀子，"ROSアーキテクチャに基づき情報統合・共有を行う音声対話システムの開発", 第79回人工知能学会言語・音声理解と対話処理研究会 (SIG-SLUD), Vol. B506, No. 15, pp. 79–84, 2017.
4. 田中康浩, 中山祐介, 齋藤俊太, 斎藤英雄, "実践知能アプリケーション開発プラットフォームPRINTEPSのためのRGB-Dカメラによる来場者検出と属性判定", 情報処理学会第78回全国大会講演論文集, pp. 233–234, 2016.
5. 番原常公, 中山祐介, 齋藤俊太, 斎藤英雄, "実践知能アプリケーション開発プラットフォームPRINTEPSのためのRGB-Dカメラによるテーブルトップ作業空間の状況認識", 情報処理学会第78回全国大会講演論文集, pp. 231–232, 2016.
6. 番原常公, 八馬遼, 家永直人, 小篠裕子, 斎藤英雄, "画像による物体検出を用いた飲食行動認識の検討", 信学 技報, Vol. 116, No. 461, pp. 95–98, 2017.
7. Yorozu, A. and Takahashi, M., "Obstacle avoidance with translational and efficient rotational motion control considering movable gaps and footprint for autonomous mobile robot", International Journal of Control, Automation and Systems, Vol. 14, No. 5, pp. 1352–1364, 2016.

PRINTEPSの有用性を評価するために、本プロジェクトでは、小学校の教諭と連携して、PRINTEPSを用いた教諭ロボット連携授業の開発と実証実験を行っています。ここでは、慶應義塾幼稚舎と東京都杉並区立浜田山小学校での実証実験を紹介します。

シナリオエディタによる教諭と複数ロボット連携授業の開発

PRINTEPSワークフローエディタを用いて、教諭が授業の流れを日本語ワークフローにより記述し、ワークフローをプログラムコードに自動変換することが可能です。しかしながら、授業の流れは、教諭・生徒・ロボット・表示装置等の情報機器、人と人、人と機械（ロボット・情報機器）、機械と機械（以下、人と機械をまとめてアクターと呼びます）間の情報インタラクションであり、処理の流れではなくインタラクションを記述して、授業全体を俯瞰したいという要望が教諭から出されました。そこで、アクター間で交換される知識情報を記述するシナリオエディタを開発しました。

慶應義塾幼稚舎６年生４クラス（１クラス３６名）を対象にして、理科「人の体の仕組み」を学習単元とし、人型ロボットPepper（ペッパー）と 表情が変化するSociBot（ソシボット）を利用した授業において、シナリオエディタを利用しました。 本授業では、数名の児童から構成される各班で、二択か三択の中から解答の札を選んで、札を立てると、机上の画像センサーがその札を認識し、パソコンが各グループの成績を自動的に付けていくアプリケーションをシナリオエディタを用いて開発しました。

図１は、シナリオエディタで開発した授業開始に関するシナリオです。このシナリオでは、教諭とPepperがインタラクションを取りながら、「カエルの解剖」の振り返りクイズに関する導入説明を行っています。Pepperレーンで、「頭が触れられるまで待機」ノードが複数回現れていますが、教諭が児童に話しかける間（この話しかけは教諭のアドリブとし、シナリオには明記されていません）、Pepperに待機させ、教諭がPepperの頭に触れるとその動作が「頭が触れられるまで待機」ノードの出力となり、次のノードに移動して、Pepperが記述されているテキストを読み上げます。また、ディスプレイレーンでは、教室のディスプレイにクイズや画像などを提示することができます。

SociBotは、英国製のロボットで、顔の中にLED電球が埋め込まれ、顔色や表情を変えられる人型ロボットです。SociBotは、据え置き型で移動できない上半身だけのロボットだったため、移動可能型に拡張し、図２の写真のように、表情を変化させながら、教室を周回できるようにしました。

シナリオエディタと慶應義塾幼稚舎における教諭ロボット連携授業の詳細については、関連文献[2,4,5,6,7]を参照してください。

• 
  図１：シナリオエディタで開発した授業開始に関するシナリオ
• 
  図２：表情を変えて教室を周回するSociBot

授業シナリオ検索エンジンの開発

PRINTEPSシナリオエディタを用いれば、教諭一人でも授業支援ロボットのアプリケーションを開発できる状況に近づいてきましたが、開発に時間がかかることが課題でした。特に、教諭ロボット連携授業を初めて経験する教諭にとっては、PRINTEPSシナリオエディタ利用のハードルは高いです。そこで今までに、社会（地球温暖化、自然の未来）、理科（てこの規則性、人の体の仕組み、振り子の運動）、探求（総合科目）（エネルギーの仕組み）に関する教諭ロボット連携授業を開発してきたので、これらの授業シナリオ群を構造化し、いくつかの観点から授業シナリオを検索できるエンジンを開発することにしました。

本検索エンジンでは、学習単元・授業進行・ロボット操作という３種類の索引群から検索できるようにし（図３、図４、図５）、３種類の索引群を使って検索条件と照合した過去の授業シナリオに、説明文と動画を付けて提示し、ユーザはそれを元に自分の授業シナリオを開発できます（図６）。

振り子の実験を対象にし、東京都杉並区立浜田山小学校の教諭ロボット連携授業未経験の教諭２名に本検索エンジンを利用し評価してもらいました。本実験では、音楽に合わせて、振り子の長さ・おもりの重さ・振れ幅といった条件を変えながら振り子を振らせて周期を測定する実験を繰りことにより「ふりこの一往復にかかる時間は何によって決まるのだろうか」を考えていきます。本実験では、人型ロボットＮＡＯ（ナオ）、ロボットアーム、センサーが連携して、振り子を振らせ、周期を自動測定し、その測定精度の高さを示しました。

実験実施後、２名の教諭にインタビューしたところ「ロボットを初めて触る人が陥りがちな典型的な失敗事例を事前に知ることができ、授業設計に役立てることができた」「カテゴリの絞り込み・組み合わせによって探したい授業場面を見つけられるのは便利であると思った」という評価が得られる一方、「本システムに頼りすぎると創造性が阻害されたり、硬直化した授業づくりになったりしないか？」というコメントも提示されました。

授業シナリオ検索エンジンと浜田山小学校における教諭ロボット連携授業の詳細については、関連文献[1,3]を参照してください。

• 
  図３：学習単元に関する索引群
• 
  図４：授業進行に関する索引群
• 
  図５：ロボット操作法に関する索引群

図６：授業シナリオ検索エンジンのスクリーンショット

関連文献

1. 森田武史，高橋尚也、小須田瑞季、山口高平, "知識チャンク再利用支援ツールを利用した教師ロボット連携授業システムの開発と評価"，情報システム学会論文誌, Vol. 15, No. 1, pp.18-37, 2019.
2. Takeshi Morita, Shunsuke Akashiba, Chihiro Nishimoto, Naoya Takahashi, Reiji Kukihara, Misae Kuwayama, Takahira Yamaguchi, “A Practical Teacher-Robot Collaboration Lesson Application Based on PRINTEPS”, The Review of Socionetwork Strategies, Springer, Vol. 12, Issue 1, pp 97–126, 2018.
3. "校長先生とロボット助手 理科の実験授業"，読売教育ネットワーク 会報38号，pp. 2-3，2018.（PDF）
4. 西本智浩，赤柴駿介，高橋尚也，森田武史，柊原礼二，桑山美冴，山口高平，”PRINTEPS による教師ロボット連携授業アプリの開発”，信学技報, Vol. 116, No. 462, CNR2016-30, pp. 63-68, 2017.
5. 石川礼，小篠裕子，斎藤英雄，"PRINTEPSにおける教師ロボット連携授業のためのクイズモジュール"，信学技報，Vol. 116，No. 462，pp.69-74，2017.
6. 田中康浩，小篠裕子，斎藤英雄，"PRINTEPSにおける教師ロボット連携授業のためのARモジュール "，信学技報"，Vol. 116，No. 462，pp.75-80，2017.
7. "慶應義塾幼稚舎でロボットが理科の授業"，読売教育ネットワーク 会報24号，p. 6，2016.（PDF）