CV・ARに関する普通じゃない勉強会2.0に参加してきました

CV・ARに関する普通じゃない勉強会2.0に参加してきました

公式サイトはこちら

開催概要 - コンピュータビジョン・拡張現実感に関する普通じゃない勉強会 2.0

コンピュータビジョンや拡張現実感という技術は，かつてはとても高価なカメラやコンピュータを必要とし，一部の研究者の手によって研究が進められてきたわけですが，いまや安価で高性能なWebカメラやPC，そしてさまざまなライブラリの存在によって，DIY感覚で誰でも参戦できる時代がやってきました．そのような背景から，アマチュアから本職の方までごちゃまぜでユニークな作品発表や技術談義をやるべくこの勉強会が生まれました．昨年8月に第1回を開催し，電脳コイルやARToolKitを中心とする話題で盛り上がりました（前回の勉強会サイト）．

　第2回となる今回は「VR→AR→?R」をメインテーマに，次世代のARや，ARの次に来るかも知れないモノのエキセントリックなアイデアを募集します．「マーカの上にただCGを出すのにはもう飽きた！！」という方の挑戦をお待ちしています

以下はセッション中にメモしていた内容です
僕が聞いてメモしたものなので、聞き間違えている、勘違いしている可能性が多分にあります
前回のときも修正内容をメール等でいただきました

今回はTsudaさんの様に、Twitterで実況しようとしたんですが、
電源がなかったため、途中でバッテリー切れで断念しました

ちなみに、僕のTwitterアカウントはこちらです
http://twitter.com/toshikaz55

セッションによって内容に疎密があるのは、途中で紙ベースでのメモに切り替えたとか
内容を聞いていてメモできなかったとかです
※は僕の感想です

• 6/22 21:15
  • chakkiさんの「ＳＲ : 二次元に入ってみた（chakki）」に発表用の動画を追加しました

• 6/24 20:00
  • Robot Watchの記事へのリンクを追加

Robot-ニュース--「コンピュータビジョン・拡張現実感に関する普通じゃない勉強会2.0」レポート

VR(Virtual Reality)やAR(Augmented Reality:拡張現実感。強化現実感や複合現実感といった言い方もある)を題材に、創意工夫と冗談技術と「作ってみた」精神の発表会「コンピュータビジョン・拡張現実感に関する普通じゃない勉強会2.0」が、20日(土)に明治大学生田校舎にて開催された。

• 8/6 17:00
  • 佐藤さん、福地さんの「πＲ : 盛り上がるディスプレイ「PhotoelasticTouch」（佐藤俊樹, 福地健太郎）」に動画を追加しました

---

オープニング＆スペシャルトークセッション 10:00〜11:00
Ｒ 2 : Real × Reality

• スペシャルゲストをお招きしてのパネルセッション
  • 稲見昌彦
  • 八谷和彦
  • 福地健太郎
  • 橋本直

橋本さんの挨拶

• 前回は40数人だったが、今回は200名程以上登録があった。
• 基本的なスタンスはCV/AR系の「作ってみた」発表会

稲見先生の特別講義

• NHK：爆問学問の映像：光学迷彩の映像

爆笑問題が、問う、学問の本質…。爆問学問。

爆笑問題のニッポンの教養 | 過去放送記録 | FILE052:「超能力お見せします」 | 稲見昌彦（いなみまさひこ） | ２００８年１０月２８日放送分

• 元祖VRシステムはARだった
  • 1968年ユタ大のHMDは光学シースル方式だった
  • 1998年に稲見先生の作ったHMDはプロジェクターを２個取り付けていて重さ5kgあった

• 拡張現実と拡張現実感の違い
  • 現実感が大切
  • 「感」：我々が感じる世界
  • 五感の窓で世界を感知し、脳で知覚している
  • 現実感は脳の内側にある

• • ゲーム業界の人と話をすると、普通の物理モデルよりもアリストテレスの運動方程式の方がリアリティがあった
    • F=ma ではなく F ＝ mv？
      • ※アリストテレスの運動方程式がどんなモノかはわかりませんでした

MC：リアルとリアリティとの違いはどこにあるのか
MC：押井アニメと宮崎アニメの違いとは

八谷さん

• うんちくが多いか少ないか？
• なぜ、リアル感ぎちぎちの押井アニメに比べると、リアルではない宮崎アニメで、空を飛ぶシーンにリアリティを感じるのか

• 八谷さんの作品紹介
  • OpenSky2.0

ICC Online | OpenSky 2.0

• • • ナウシカのメーベを作って飛んでみるプロジェクト
      • PostPetは開発に1億円かかってしまった。OpenSky2.0はほとんど人件費だけど、数千万円程度で出来ている
  • フェアリーファインダー

FairyFinder

フェアリーファインダー は 2005年から制作開始された 小品の新シリーズ。
「不可視なものを考える」 ことを テーマにしているが、 もともとは OpenSky が5年 にわたるプロジェクトになってしまったため 「もっと気軽に そのときの考えを スケッチするように作ろう」 との考えで 作られたもの。

• • 視聴覚交換マシン

IDCM

お互いの見ているものを交換する装置。
他人の視点でしかものが見えなくなってしまい、 相手の立場に強制的に立たされてしまう。 アイデンティティの境界を 曖昧にすることを目的として 制作された作品。

• • • • カメラ、HMDとマイクで視覚と聴覚を交換する
        • キスすると、自分の顔が迫ってきて面白い
  • ガンダム展でニュータイプ適正テストを行った-
    • ESPカードで１次検査（人数を絞るため）
    • その後、眼球運動を検知する装置を使い、目の動きで人をコントロールしてみる
      • • フラナガン機関っぽさ、演出テクニックが重要。神は細部に宿る

• 稲見先生のハプティックインターフェースの紹介
  • 本来人が触れないものを触ることが出来る、触覚の拡張現実感
  • 人間の感覚をハックするほうが面白い
  • 平衡感覚を拡張し、低周波治療器を耳の後ろの三半規管につけて、重力の方向をコントロールできる
  • 離れてる人に自分の動きを伝えたり、車が後ろから来たら無理矢理横によけさせる

• ARToolkitで距離をはかる映像の紹介

• • 超音波センサーを組み合わせたのが面白い
    • 作成者を探したら、某メーカーの社員だった

今後のAR開発

• いろいろセンサーやツールが簡単に使えるようになってきたので、これらを組み合わせると、さらに面白いものを作れるようになる
• 視覚だけでなく、もっといろいろな感覚を刺激することで、今まで感じられなかった感覚を体験したり、拡張できるようになるのではないか
• 明後日以降のニコニコ動画を楽しみにしています ← 参加者へのプレッシャー
• 色々なセンサー、材料、マシンリソースが使えるようになってきたから、いろいろ組み合わせて、もっと新しく楽しいリアリティを。

電脳コイルの実現はいつになる？

• 今回の参加者は半分が学生で半分が社会人。ビジネス面で興味を持ってきた人もいるのかな？
• 参加者アンケートで、電脳コイルの実現まであと何年かかるかを聞いた
  • 最多は後10年で実現できる
• シークレットゲスト：電脳コイルの磯監督のコメント
  • 設定上の実現は2015年
  • 電脳コイルの技術は元々屋内用の「空間」として発売されたものが、誰もが使うので屋外でも使えるような感じらしい
    • ※どの家庭でも無線LANを使ってて、野良無線LAN電波を拾うことでモバイルできるような感じかも
  • 元々屋内用なので屋外での仮想物体をサッチーが排除して回るのは合法
  • 「高速道路などでの監視、位置情報取得が最初にあってそれが拡張されて、あの世界になった」という設定
    • ※この部分はよく聞こえなかったので不確かかも。大阪の家にある電脳コイルロマンアルバムに書いてあるのかなぁ
  • 磯監督の考える、電脳コイル実現は2015年なので、みなさんがんばってください

時間かなり押し気味でオープニングセッション完了

テーマセッション

11:30　WIMPAR : 実世界でGUIを使いたい（aimino）

• 画像認識、Arduinoで作った１発ネタをニコニコに投稿している
• 実世界でGUIを使いたい
  • デモ映像

• • • 画面上のLEDを認識して、ファイルのように扱う
    • LEDをクリックし操作、色のコピーも可能→実世界のLEDに反映される
    • USBカメラでキャプチャし、PTAMで位置推定をし、LEDを選択・GUI処理を行う
    • LEDのあたり判定はOpenGLのセレクション
    • ArduinoでリアルLEDのダイナミック点灯（RGBのピンを共通して使う）

• • 背景
    • MITラボ石井先生のタンジブルUIに興味を持ち自分でも色々作ってみた
  • 実世界UIの疑問
    • 正確性：遊びに使うにはいいけど、しっかり使うには難しい？
    • 直感性：新たな操作（ジェスチャーとか）を覚えるのは直感的と言えるの？
      • PCの操作は直感的ではないの？

• • 実世界UI：デジタル世界の操作情報を現実世界の動作や振る舞いにマッピング
  • 自分がやりたい：現実世界の振る舞いをGUIやPCにマッピング
    • WIMP(昔からあるGUIの基本要素 Window Icon Menu Pointer) + AR = WIMPAR

• • 拡張現実感で現実世界を拡張するのではなく、PCでのデスクトップ操作の延長上に現実世界をとらえたい
  • 今は、様々なソフト、ハードがあり恵まれているので、もっともっと面白いものを作って楽しい世界にしましょう

11:45　ＳＲ : 二次元に入ってみた（chakki）

• 携帯系のSE
• 画像処理／自作物理エンジンを元に、ニコニコ動画にいろいろ投稿している-

• テンプレートによる画像処理結果で接触判定し物理挙動に使う

• • 手（手に限らず画面に映っているもの：動物体）を認識し、初音ミクを操作（物理エンジンベース）
  • 本当に操作しているような感覚が得られる→２次元に入っているような気分--
    • 仮想の物体をつつくと、映像に反映される→実際に触っていないのに、触っているような触覚情報を視覚から感じてしまう
  • ジェスチャー認識をしなくても、物理シミュを行っていると、本当に触って操作しているような感覚、表示が行える
  • 現在、Flashベースで物理シミュできるものを開発中。

• • 背景とのセグメンテーションは高価な赤外線型奥行きセンサー(赤外線TOF方式距離画像カメラ)を使っている

13:00　ＡＲ : 全周囲裸眼立体ディスプレイを用いた2Dループゲームの提案（吉田 匠）

• 東大大学院でARをやってる 館研究室
• VRもARも飽きた。これからは反現実感（AntiReality）だ
• 反現実は、非現実とは違う
• 現実を拡張したのがAugmented Realityなら、
• 現実 ー アルファ ＝ 反現実
• 爆問学問のTWISTERの映像紹介

爆笑問題が、問う、学問の本質…。爆問学問。

爆笑問題のニッポンの教養 | 過去放送記録 | FILE022:「科学的分身の術」 | 舘すすむ | ２００８年１月８日放送分

• TWISTERを使ったAntiRealityゲーム
  • TWISTERはこちら
  • 継ぎ目の無い全周映像(3200 x 600 x 2)を利用したゲームを作成
  • ３次元没入空間から裸眼立体視を引くことで、無限ループ環境での2D空間没入感が得られる
  • 横スクロールシューティング
  • 全周囲画面なので、自分の撃った弾がぐるっとまわって追いかけてくる
    • くるくる回って追いかけるのが大変
  • マリオ
    • キャラがいない部分で画面を更新する
    • 2D世界の没入感が凄い

• • TWISTER公開時に体験できるかも

13:00　ＰＲ : 拡張現実戦争 -見えざる星の海、東京へ（akio0911）

• • 普段はwebアプリやiPhoneアプリを開発している
  • AR関連では電脳メガネや電脳スターラリーデジタルサイネージバッグなどなどを作っている
  • 電脳スターラリーについて
    • 実施してみて感じた問題点
    • プレイヤーが一人
    • １日２４時間限定
    • 12人月ぐらいかかったのにもったいない

• • • 誰もが好きなものを…町中で宇宙戦争をしてみたい
    • iPhoneやノートPCをかざすと東京都上空に浮いているデ○スターが見えたり、艦隊戦が見えたりするCyberStarwars
    • ARソーシャルゲーム
    • 簡単なAR操作で、技術的な整合性は無視する
      • • iPhone、ゲームサーバ、デジタルサイネージ、実況など
        • 母船を守ったり資源を開発したり、Age of empierの用な感じ
        • できるだけ早くリリースしたい
        • もはや誰得状態？

13:20　ＪＲ : モバイルデバイスを空間にしてしまおう（niryuu）

• • ARで世界を制覇したい
  • 端末の外の世界は拡張できるが、端末自体が邪魔
  • 端末の占める空間を拡張し、端末の外と中の空間をつなげるJoint Reality

• • エンガジェットで、nanotouchを見た。
  • 液晶の裏面にタッチセンサーがあり、指で画面が隠れないのがいい
  • 裏面タッチで表を快適に見られる両面液晶を作ってみる

• • デバイス表面ではなく、デバイスの内部の空間をいじっているような感覚だった
  • デバイスの中に基盤ではなく３次元空間があってそれを触っているようなデモを作成した
    • 機材トラブルでデモは動かない

• • いまいちよくわからなかった

14:10　ＸＲ : AR Cooking 素材の組み合わせは∞（無限大）？（大江貴志）

• 元々マーケティングの仕事をしていて、今は稲見研に所属している？

• 漢字が「日」と「月」で「明」となり、新たな意味を創造するように、
• 複数のマーカを使って１つのオブジェクトを生み出せないか
  • ARToolkitのマーカを４分割し、組み合わせることで新たな何かを創造する

• ARCooking
  • 未来のおままごとセット
  • 食材カードに食材の絵と説明、ARToolkitマーカの４分割の１部が書かれている
  • それらを組み合わせることで、１つのARToolkitマーカが完成する
    • ４つのマーカを組み合わせると食材がAR表示
    • →フライパンのふたをする
      • カメラの認識OFFで切り替える
    • →ふたを外す
    • →料理がAR表示される
  • 操作の結果、因果関係が明確化される
  • インタラクションを加えることでより印象に残る体験を提供できる
  • 攻殻機動隊、電脳コイルに縛られず、ARはコアなコンテンツではなく、もっと一般的で親しみやすいコンテンツによって認知度を上げるといろいろビジネス的にも広がるのではないか

14:30　πＲ : 盛り上がるディスプレイ「PhotoelasticTouch」（佐藤俊樹, 福地健太郎）

• 佐藤さん：電通大所属でニコニコ動画の自作ガンコンの人

2009/08/06 動画を追加
【ニコニコ動画】πR〜盛り上がるディスプレイ〜

• ディスプレイが平なのはよくない
• 動き視差によって立体感を得る方法もあるけれど、もっと画面のこっち側に仮想物体を持ってきたい
• ２次元の嫁に会いにいくのではなく、こっちの世界に２次元の嫁を持ってくる
• Photoelastic Touch
  • 透明なゲル状物質（エラストマー）で物体を作り、液晶ディスプレイに貼る（乗せる）
  • 液晶ディスプレイからでる光は偏光しているので、偏光フィルターを角度を調整し重ねると液晶からの光が見えなくなる
  • しかし、ゲル状弾性体を触って歪んだ部分は光が偏光するので、偏光フィルターを通して液晶ディスプレイの光が映る
  • 弾性体を触って歪んだ部分を簡単に認識できる
  • 簡単に画面のどこを触っているのか、どれぐらい歪んでいるのか認識できる
  • ２次元のキャラに前面半分だけのフィギュアの様な透明ゲル弾性体を乗せるだけで、触覚もインタラクションも可能

• • ※女性の体をした弾性体は型にゼラチンを流し込むことで作成したらしい
  • ※その型になったのはハローキティペットボトルで、縦に切って型にしたとのこと

セブン-イレブンネット　ボディウォーター（ハローキティ） 300ml×4本

女性をイメージした斬新な形状のペットボトルに「キティちゃん」デザインのシュリンクを着せた、ナチュラルミネラルウォーターです。

14:30　ＡＶＲ : ARを用いた身体感覚改造レッスン-いつか出会う「あっち」の世界の嫁のために-（津坂真有）

• • メディアアート

• • 何がリアルで何がリアルじゃないのか
  • なぜ、わざわざVRで現実の感覚をシミュレートするのか
  • あっちの世界に行くには肉体は邪魔
    • 筋肉少女帯「鉄道少年の憩」の歌詞「薄桃色の肉の檻 心は再び肉の奴隷 精神性など午睡の夢だ」ってのを思い出した
  • せっかくの仮想空間なのに肉体を意識してしまう
  • 仮想世界にあうように、リアルな肉体の方を改造し、あっちに行ってみる

• • 例えばコマンドラインを体感してみる
  • 感覚器官に頼らず、センサーのデータだけで世界を認識する訓練をつめないか
  • 現在研究中

• • ※後天的に目の見えなくなった人が、音の世界で暮らすうちに、音だけで再び世界を脳内に構築できるようになった話を聞いたことがある
  • ※肉体という形状を持つことで心は構築されている
  • ※車に乗ると、車の大きさを自分の体の様に感じることがある。つまり自意識・身体イメージのサイズが拡大している
  • ※自分の意識の中心を移動させることができるとか聞いたことがある
  • ※今実家だから手元に無いけど、オライリーのMIND HACKSにいろいろ面白いことが書いていた

Mind Hacks―実験で知る脳と心のシステム
	Tom Stafford Matt Webb 夏目 大 オライリージャパン 2005-12 売り上げランキング : 58550 おすすめ平均 オライリー的な脳へのアプローチ 認知心理学のサブ教材として最適 材料は悪くないんだけど。。。 Amazonで詳しく見る by G-Tools

14:50　∀Ｒ : 生と死を越えるリアリティ（宮下芳明）

• • 最近、音楽ランキングにリアリティを感じない
  • みんなが本当に聞いている曲を知りたい

• • Music Leak
    • 音漏れを聞くためのヘッドホン
    • 実際に試してみると、ランキングの結果と、人によって地域によって聴かれている曲は全く異なる
      • この本当に人々が聞いている曲をランキングに反映できないか

• • GPS連動音楽プレイヤー
    • 音楽を聴くと、その曲がミームとして発生し、その場所で生物のように増殖する（寿命は三日）
    • 同じ音楽同士が出会うと子供が生まれ、次世代が生まれる（その場所における音楽が強化される）
      • ライフゲームや遺伝的アルゴリズムの遺伝子、種として音楽が振る舞うことで、この辺りではこの曲がはやっているということがわかるのではないか

• • Googleは全知だと思っている。情報科学は全能だと思っていた
  • でも、祖母が死んだとき、GoogleStreetViewでも祖母には会えなかった
  • ARが世界を拡張するのであれば、死んだ人にも会えるような世界に拡張したい

テクニカルセッション

15:20　SpaceNavigatorをGLUTに（まお）

• • 入力デバイスマニアで、マウスだけでも３００個以上持っている
  • SpaceNavigatorをGLUTから使用する際に、Unix版ではサポートされているが、
  • windows版ではサポートされていなかったので作ってみました
  • ※数年前、家電にOpenGL ESを実装する仕事に関わっていたけど、デモを作るのに楽だから内部用にGLUTをTVに乗せてた。そのときはリモコンもGLUTから扱えるように拡張したような記憶がある。懐かしく思い出した。

15:40　多数のセンサ、クリエーターと技術者を結ぶオープンソースプロジェクトKAKEHASHI（ksasao）

• • エンジニアではなくデザイン系の人でも簡単にデバイスを使えるように開発者とデザイナーを結びつけたい
  • ※すいません。ちゃんと聞けてませんでした。

16:00　touchBox: マルチタッチできる箱を作ってみた（arc@dmz）

• • アクリル板の断面に赤外LEDで光を投げる→アクリル板内を全反射する
  • 下からカメラでとっても、何も写らない
  • 指があるとそこだけ反射特性が変わるので、カメラで撮影できる→マルチタッチを実現できる
  • 赤外線LEDとカメラ、ミニプロジェクター、枠、アクリル板（シリコン塗布）で10万円弱でマルチタッチパネルが実現
  • 自作ソフトウェアライブラリはまだ公開できない
    • Nuigroup Touchlib C++によるマルチタッチパネル向けライブラリがある

16:20　OpenCVをさらに簡単にするライブラリ 車輪の再発明に終止符なるか（橋本 直）

• • 最近何をやっているか
    • プロカムシステム
      • webカメラとポケットプロジェクターを使ったARの実現に興味がある
        • 実世界指向マリオ
    • 偏光フィルムを使ったインタラクティブシステム

• • 車輪の再発明
    • 自分の道具は自分で作りたい→車輪の再発明が多い

• • OpenCV
    • ほぼ画像処理のデファクトスタンダード
    • でも不満もある
      • 画素のアクセスなどポインタを理解していないと使いにくい
      • 画像を作ったら自分で解放しないといけない
        • プログラミング初心者は大変
  • ExImage Library
    • 自分が欲しいものを作る車輪の再発明メソッドにより、OpenCVのラッパーを作ってみた
    • テンプレートクラスライブラリ
    • 構造体の２次元配列として画像の画素に簡単にアクセスできる

ExImage <EX_RGB8U> imgIn( 320, 240 );

imgIn[ y ][ x ].R = 255;
imgIn[ y ][ x ].G = 0;
imgIn[ y ][ x ].B = 0;

imgIn.Save( "Output.png" );

• • • 近日（２、３週間以内）公開予定

---

ARの勉強会でしかこのはてなダイアリーを更新していないので、なかなかはてダ記法に慣れません…

さて、今回の勉強会ですが、前回や大阪での関西ARと比べて、大幅に人数が増えていて、なんだか凄いなぁって感じでした

10年前からAR(MR)はキラーコンテンツがないからいまいち普及しないと聞いていたものとして、最近は裾野が広がり、ARが盛り上がっているのかなぁと思うと、なんだかうれしいです

そして、参加するたびに今度は自分も発表したいなぁと思うもののなかなかできないのが申し訳ないような気分です

主催者の橋本さん、スタッフの皆様、本当にありがとうございました
懇親会のじゃんけん大会で戴いた、橋本さんのサイン＆メッセージ付きAR本は大切にします

とりあえず、「ブログにまとめるまでが勉強会」なので、当日中にまとめてみました
後日、修正するかもしれません

そんな感じ