android で画像処理 : 工学院大学 金丸研究室
ナビゲーション
工学院大学 金丸研究室

情報システム 画像処理システム
強化学習によるロボット制御
ウェブカメラを2つ搭載した三輪ロボットをNexus 5とタオバイザーで操作

二つのウェブカメラを搭載した三輪オムニホイールロボットをNexus 5で操作します。
2つのカメラからの映像はmjpg-streamerで非同期に配信されており、それをNexus 5で表示しています。
タオバイザーのようなGoogle cardboard互換のビューアーを用いると、3D表示出来ます。
三輪オムニホイールロボットは、Odroid U3とArduino pro miniで制御されています。

android で操作可能な三輪オムニホイールロボットで対象物追跡する

3輪のオムニホイールロボットをbluetooth経由でandroidスマートフォンから操作します。
オムニホイールは土佐電子のウレタンオムニを使用しました。ロボットにはPIC24Fとbluetoothドングルの載った
RT-ADKminiボードを搭載しており、スマートフォンからの命令に応じてモーターを回転させます。
また、Wifiカメラ(android にインストールされたIP Webcam)からの映像がスマートフォンに送られており、
コントローラーで見ることができます。

対象物追跡モードでは、画像から得られた色に基づき、追跡を行います。

こちらに関連する修士論文はこちら
スマートフォンで操作でき障害物を画像認識するプラレール

プラレールをBluetooth経由でandroidスマートフォンから操作します。
プラレールにはPIC24FとBluetoothドングルの載ったRT-ADKminiボードを搭載しており、
スマートフォンからの命令に応じてモーターを回転させます。
また、Wifiカメラ(Ai-Ball)からの映像がスマートフォンに送られており、
スマートフォン上で画像処理した結果、レールの上に障害物がある場合はモーターを止めます。

認識した図形をつかむロボットアーム

2012年5月から3ヵ月間滞在してくれたフランス人留学生が作成したデモです。

カメラの映像から図形を認識し、認識したオブジェクトをロボットアームでつかみます。
画像はLinux上で動作するmjpeg-streamerからワイヤレスでandroid端末に送られ、対象物のエッジをOpenCVにより取得します。
さらに彼らの実装した図形認識アルゴリズムによりターゲットを認識し、ロボットアームに指令を送ります。
指令はhrdakinoriさんのBT_DROIDによりBluetooth経由でPICマイコン(RT-ADKmini)に送られ、ロボットアームが動作します。
限られた時間と状況の中、素晴らしい成果を上げてくれました

USBカメラとandroidで対象物追跡 (PandaBoard ES + シリアル変換 + Zeemote)

Pandaboard と呼ばれる組み込みボードにスマートフォン用の OS である Android をインストールし、顔認識などの画像認識を行ったデモです。

こちらに関連する発表としては下記があります。 なお、PandaBoard ESへのandroidのポーティングについてはsola さんのブログを参考にさせて頂いております。
solaさんに感謝します。

USBカメラとandroidで対象物追跡 (Iconia Tab A500 + RT-ADKmini + Zeemote)

こちらは、上で Pandaboard と呼ばれる組み込みボードで行った内容を、市販の Android タブレットに置き換えたデモです。技術的には同じ内容です。