ソフィックス名古屋支店

新入社員研修

〜外部仕様書〜

 

担当 : K.S, S.F, M.M, A.Y, K.Y

 

 

2018年5月31日(木)

 

改訂履歴

 

 

目次

1概要... 1

2開発環境... 1

3用語定義... 1

4システム概要... 2

4.1 実際の動作イメージ... 2

4.2システムの流れ... 3

5アプリ... 4

5.1 画面構成... 4

5.2 メイン画面の機能... 5

5.3 機能... 6

5.3.1アプリの処理の流れ... 6

5.3.2 動画の取り込み... 7

5.3.3人物検出... 7

5.3.4停止検知... 8

5.3.5座標検出... 10

5.3.6 画像の座標から現実の距離を計算... 11

6 Peper 13

7エラー... 14

 

 

1概要

本仕様書は、カメラで人物を検知したソフトバンクロボティクス社のPepperをその人物の前に移動させ、挨拶をし、元の位置に戻る操作を行うアプリケーションの外部仕様に関して規定する。

 

 

2開発環境

開発環境は表2.1に示す通りである。

 

表2.1　開発環境

 

 

3用語定義

表3.1　用語定義

4システム概要

4.1 実際の動作イメージ

図4.1.1 実際の動作イメージ図1

 

図4.1.2 実際の動作イメージ図2

 

�@     カメラで人物を認識する。

�A     人物が立ち止まったことを検知する。

�B     立ち止まった場所にPepperを誘導する。

�C     Pepperがその人に挨拶をする。

�D     Pepperが元の位置に戻る。

 

4.2システムの流れ

 

カメラ    　　 　アプリ(Visual Studio)     Pepper(Choregraphe)

図4.2.1 システム処理図

 

アプリでの開発ソフトにはVisual Studio 2015を使用し、Pepperの開発ソフトにはChoregrapheを使用する。

 

5アプリ

5.1 画面構成

　　本アプリケーションを起動すると図5.1.1のようにメイン画面を表示する。メイン画面における各概要は表5.1に示す。

図5.1.1　画面構成図

 

表5.1.1　メイン画面の概要一覧

 

 

5.2 メイン画面の機能

　5.1節で示したメイン画面(図5.1.1 参照)の機能について述べる。

�@ アプリケーションの終了

　アプリケーションを終了する。

�A アプリケーションの進行している段階の表示

メイン画面(図5.1.1の�A 参照)で表示するアプリケーションの進行段階のテキストを

表5.2にまとめる。

 

表5.2.1　メイン画面に表示するテキスト

 

�B      アプリケーションの一連の処理の実行

　ボタンを押すことで映像の取り込み・人物検知・停止検知の処理が始まる。処理の内容は5.3節に示す。

 

�C      カメラ映像を描画する領域

　設置されているカメラの映像を表示する。�Bの開始ボタンを押すことでカメラからの映像の取り込みを開始する。また、人物の停止を確認したのち、カメラの映像からの取り込みを停止する。

 

 

5.3 機能

 

5.3.1アプリの処理の流れ

　アプリでの処理の流れを図5.3.1.1に示す。下図の処理をアプリでの一連の処理とし、本節では各処理の詳細について述べる。

 

図5.3.1.1　アプリの処理

 

5.3.2 動画の取り込み

撮影したカメラの映像を取得する。カメラの映像の取得に失敗した場合、画面にエラーメッセージとして表示する。(図5.3.2.1)カメラの映像の取得に成功した場合、取得した映像をメイン画面に表示する。(図5.1.1の�C)

図5.3.2.1 カメラの映像が取り込めなかった時

 

 

5.3.3人物検出

撮影している映像内の人物をOpenCVのカスケード分類器でHOG特徴を用いて検出する。検出した人物は黄色い四角で囲って表示する(図5.3.3.1)。ただし人物の全身が識別範囲内にないと認識されない。複数人の検出が可能である。

 

図5.3.3.1　検出イメージ

 

5.3.4停止検知

5.3.3節で検出した人物が停止した場合、比較差分を用いて停止したと認識する。停止判定を出した人物は赤い四角で囲って表示する(図5.3.4.1)。

図5.3.4.1　停止イメージ

 

取り込まれる映像をフレーム間隔で画像に切り取り、直前の画像(図5.3.4.2)と現在の画像(図5.3.4.3)との差分を比較する。直前の動作と差がある場合、その差を白く変換する(図5.3.4.4)。一人の人物に対する白が一定値より下回って且、人物がまだ画面内にいる時を停止状態とする。停止状態が一定時間(20フレーム)続いた時完全に停止したと判定する。

 

図5.3.4.2　直前の画像

 

図5.3.4.3　現在の画像

 

図5.3.4.4　比較差分

 

5.3.5座標検出

5.3.4節で停止した人物が部屋のどの位置で停止したかを検出する。カメラの情報から画像左上を原点とした軸 軸を取り、停止した人物の足場をピクセル座標として認識する。足場の座標は5.3.4節で表示した赤い四角の横幅の中央値がx、背景差分より四角内の人物の差が最後に出た座標をyとすることにより求められる(図5.3.5.1)。

 

図5.3.5.1　座標イメージ

 

画面内に複数の停止判定を出している人物がいた場合、判定した四角の大きい人物の座標を取る(図5.3.5.2)。画面内の物体が動いていた場合停止判定が出されない。

図5.3.5.2　優先イメージ

 

 

5.3.6 画像の座標から現実の距離を計算

距離計算は次の5段階に分かれる。以下に詳細を記述する。

 

・5.3.5節で取得した座標を受け取る。

 

・取り込んだ画像にOpenCVの関数を用いて台形補正を行うためのパラメータを求める。その後、受け取った座標に求めたパラメータを掛けることで台形補正を行い補正後の座標を求める。台形補正とは、カメラ撮影で投影角度によって発生する歪みを修正し、歪みのない実際の形状に変形させることである。これを行うことでその後の処理の精度が上昇する。

 

 

・Pepperの現在位置の座標と補正後の座標の2点間の図5.3.6.1・図5.3.6.2のXとYの距離を求める。

図5.3.6.1 求める距離と角度のイメージ図（人物が右にいる場合）

図5.3.6.2 求める距離と角度のイメージ図（人物が左にいる場合）

・求まったXとYを使い、図5.3.6.1と図5.3.6.2のようにPepperの現在位置の座標と補正後の座標との直線距離Dとラジアンθを求める。角度はPepperを基準に、Pepperよりも人物が右ならば図5.3.6.1のように-θ、左ならば図5.3.6.2のようにθとする。

 

・計算したDとθを距離データ(D,θ)として次の段階へ渡す。

 

6 Peper

 

条件

移動を開始する際Pepperがしっかりとホワイトボードと向き合っていることを前提条件とする。

 

章5.3.6で計算した距離データをアプリから受け取り,Choregrapheにより「移動する(人物の元へ)」「話しかける」「移動する(元の位置へ)」の順でPepperが動くように制御していく。

 

Choregrapheによる実際のPepperの動作イメージ図6.1を以下に示す。

図6.1 実際のPepper動作イメージ図

 

図6.1の動作を以下に示す。

�@    章5.3.6で計算した距離データをアプリから受け取り、Pepperに動作指示を送る。

�A     Pepperが停止した人物のところまで移動する。

�B     Pepperが挨拶をする。

�C     Pepperが元の位置に戻る。

 

7エラー

本アプリケーションで表示するエラーメッセージを表7.1に示す。

 

表7.1　エラーメッセージ一覧