関西でのAR勉強会、Kansai.AR #01に参加してきました

AR-VR

20081207 Kansai.AR #01

今年の夏に、ARに関する勉強会がありましたが、
関西でも、ARに関する勉強会、「Kansai.AR #01」が開催されました

Kansai.AR #01 | 王様の箱庭

Kansai.AR #01
概要

  • AR！AR！AR！

キーワード

  • 拡張現実感（Augmented Reality: AR）,仮想現実感（Virtual Reality: VR）,複合現実感（Mixed Reality: MR）
  • 画像処理,ニコニコ動画, ネタ, 勉強会

ARって何？
拡張現実感（AR）とは、実世界に情報を付与することで
いろいろ役立てていこうという、技術・表現に向けたコンセプトです。
最近の研究例ですと、↓のデモがとてもわかりやすいと思います。
『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 | 王様の箱庭

日時

  • 2008年12月7日　13:30 開始　17:00 終了予定　終了後は懇親会を予定


参加者は、24人？ぐらいでした。懇親会参加者は14人。
東京など、大阪以外から参加していた方も結構いました
主催者側が学生さんたちで、一般の参加者はほとんど（全員？）社会人でした
年齢層は割りとばらけていたと思います


最初に、全員自己紹介をしたのはよかったです
いろんな人がいることが分かりましたし。
ただ、今後参加人数が多くなると難しいですね…
主催者のmasayashiさんはアンケートを取りたかったと言っていましたが、
勉強会後にアンケート結果と全員の自己紹介をサイトに上げればいいのかなぁ


いろんな業界の人がいました
半導体設計とかハードの人がいたのが新鮮でした


以下、それぞれの発表内容について、勉強会中に書いた簡単なメモを。
あくまで、僕が聞いてメモしたものなので、事実と異なっている恐れがあります。
あらかじめご了承ください

相変わらず、はてな記法になれないので、見づらいかもしれません


発表セッション（15分）

dsk - AR-Messenger　〜QRコードをいじる〜
    • 自己紹介
      • 高専で機械、制御を学んでいたが、CVへ興味を持つように
      • 現在、奈良先端　千原研に所属している
      • ブログ：4GET ME NOT
    • ARとの出会い
      • IVRC2008のテーマを考える際にARに出会った
    • 今回の発表内容：AR-Messanger
      • ユーザーによるメッセージを3D文字にして現実世界に表示するメッセンジャーアプリ
      • 入力された文字列に対して、動的にマーカを生成するところがポイント
        • 「こんにちは」情報を持ったマーカ
      • 位置あわせにはマーカーを使った
        • 現在、文字を入力するとQRコードを生成、そのQRコードをARToolKitのID部分にして、3D文字を表示するところまでできている
        • まだまだ開発中なので生暖かく見守ってください
    • 感想
      • QRコードは情報量が多い分、模様が細かいので、カメラがマーカに近いか解像度が高くないと厳しい
      • どれぐらいのマーカ距離を想定したアプリにするのか、どんな使い方をするアプリにするかがポイントかも
katout - GAR　〜現場系AR＠TV〜
    • 自己紹介
      • 早稲田甲藤研究室でARを研究していた
      • 某在京キーTV局の技術部でCG、バーチャルセット、ARの開発をしている
    • テレビの現場でのARとは
      • TV番組にAR合成は一般的（テロップとかニュースとか、スポーツ中継の合成とか）
    • 位置あわせは、カメラ連動方式
      • TVカメラにパン、チルト、ズームのセンサーをつけているので精度よく位置姿勢等が取れる
      • カメラ連動ではないので、CGと人がインタラクションできる
        • 人がCGを持てる
        • 放送時にカメラの位置・姿勢を取得していない、過去の映像でも重畳合成できる
    • 現場の運用で求められること
      • インタラクション、手で持ってる感が重要
      • ディレイは4フレーム以内
      • カメラ（レンズ）の歪みもシミュレート必要
      • 連動が外れたときのリカバリが大切
        • 認識に失敗したら突然CGキャラが消えるのではなく、バイバイして消えるとか
      • もっとぶれを少なくできないか
      • 商品として、安定性、復帰の早さ、しっかりしたGUI、マニュアル、パッケージが重要
    • ARにかかわるメーカとして求められること
      • 機材選定、運用
      • 工事、PCセットアップ、保守
      • CGコンテンツ作成
      • エンジン、GUI開発
    • 感想
      • インタラクションについて、現場のアナウンサーや役者さんの使いやすさを聞いてみたかった
      • NHK技研の高速シャッターのプロジェクターとカメラを同期させ、演者にはプロジェクターで投影したセリフや説明図が見えるけど、カメラには写らないシステムを思い出した
aks (Lightning Talk)
    • 自己紹介
      • 阪大の某研究室でCV、3Dセンシングをメインに研究開発している
      • 実際はCVのソフトよりも、光学センサの開発がメイン
      • 光学機器、電子回路の設計を行い、デジタルカメラ自体を自分で作っている
      • CVとはいえ、がっつりデバイス開発な部分から、ARのような応用層に行ってみたい
    • 現在、興味のあること
      • 人間の顔画像からアニメ調の顔画像を生成し、アニメの映像にはめ込むことで、CV的に2次元の世界に行く方法を探している
      • さらに、顔認識などCV技術を使い、アニメ調の顔画像を別のアニメ調に変形させたい
      • アニメ調顔画像は、実際の人間の顔と違い、骨格もないし従来のCV手法では扱いが難しい
        • アニメ画は高周波成分の塊（エッジのみ）
        • アニメの顔は髪型も色も自由度があり、統計学習が難しい
    • 感想
      • カメラ自体を作ってしまうパワフルな大学院生
      • 凄い人だなぁと尊敬の念を覚えました
      • 個人的にいろいろ理由があって、あえて所属は書きません
      • 懇親会で判明しましたが、意外な接点があり、世間はナローバンドだと、しみじみ感じた
      • お互いに、いろいろと御迷惑をかけてすいませんと言い合う
      • しかし、どう考えても、僕の方が御迷惑をかけているので、申し訳ない感じ
a2c（LT）
    • 自己紹介
      • Katoutさんの先輩で、某TV局の技術部の人
      • バーチャルスタジオシステム、AVSを使っていたという意外な接点
      • 普段はPython、XSI等を使っていて、現在最も興味があるのはCUDA
      • すべてを一人ではできないので、ARの各要素を分業する
        • 各担当者によるAR要素をつなぎ合わせるにはコンバートが必須
          • イメージベースで分かるのはカメラのPos？物体のPos？
            • Dragonでは、右手系Y-Upで固定している
    • 感想
      • 前の職場の方をご存知で、またもや世間はナローバンドだなぁと感じた
      • 懇親会でいろいろと話ましたが、面白かったなぁ
      • 関西では難しいかもしれないけれど、もっといろんな技術の話を聞いてみたい
masayashi - PTAMを15分でなんとなく理解する試み
    • PTAMの目標：マーカレスを実用的に
      • もっとスピードを、もっとロバストに、もっと精度よく
      • 初出はISMAR2007
    • ARは現実世界の認識が不可欠
      • ひとつの方法として、マーカを使う方法がある
      • マーカを使わない方法として、実世界の特徴を利用する方法がある
        • 動画像中での特徴点の追跡から、3次元世界を認識する
          • フレーム間の特徴点の対応付けが必要
            • 特徴点の距離、特徴点周辺の画像の類似度から特徴点のトラッキングを行う
          • 特徴点を追跡し、カメラの移動から、環境の3Dマップを構築する
            • この手法自体はStructure from Motionという昔からあるもの
    • 最新のPTAM
      • 特徴としてエッジを考慮することで、
      • カメラのすばやい動きでも対応できるようになった
    • 感想
      • PTAMで現実世界の3次元マップは生成できるけど、AR表示する場所を指定するにはマーカが楽かも
      • 現実世界の3次元的な位置関係を認識できた上で、「何を」表示するのかが難しい
      • 結局なんのためにARをするのか、どんなアプリなのかが重要なのかなぁ
pipeR - AR技術を用いた高齢者用の簡易PCの実現　メガばあ育成計画
    • 最近の関心事：遠くで暮らす家族が心配
      • 近況を知りたいが、mixiやtwitter等を、おばあちゃんに使わせるのは難しい
        • ARで操作を簡単にできないか
      • Chumbyはどう？
        • 使いやすいUI、便利なガジェット
        • でも、操作や設定などが高齢者には難しいかも
      • タンジブルUI（MIT石井教授のクリアボード１）
        • これはいいかも
        • 低価格PCのeeePCでこれを実現してみた
          • ・一方のWebカメラ上で絵を描くと、もう一方の映像にも絵が表示される
          • ・カメラ上の顔にリアルタイムで落書きできる
          • ・顔をトラッキングするので、落書きが追従する
    • 感想
      • 顔をトラッキングし落書き等を表示するのは、携帯搭載の動画プリクラと同じなので、3D的に追従したら面白いかも
      • ただ、3D的に追従して顔に落書きやメガネ等を重畳表示するものも既にあるので、なにか高齢者向けならではの使いやすさや、面白さ、コミュニケーションに特化した機能があるといいかも
たけいひでゆき - ARを作って考える　〜これであなたも超高音〜
    • 自己紹介
      • 愛知の大学院生
      • ブログ：無題 @ はてな
      • 研究内容
        • ロボットから人間を考える
        • 社会的な存在でないものから、コミュニケーションを考える
    • 今回の発表内容
      • ARといっても、情報を付加するのはカメラとCGだけじゃないだろう
      • たとえば、お化粧もARだろう
      • 北京オリンピック開会式の中継での合成、口パクも、メディアを利用したARといえるかも
      • 現実に仮想、嘘の情報を付加することもAR？
        • appleの発表はジョブズを使ったARじゃないか(より凄いものに感じさせるという意味で)
    • 映像ではなく、音声でのAR
      • 超高音をだせるvitas君の映像に衝撃を受けた
      • 自分もリアルタイムで超高音を出してみたい
        • 口パク型ARを作ってみた
      • 音高のアゲサゲとは、ピッチシフト
      • いかに自然な動作でピッチシフトさせるか
        • vitas君は高音になるとマイクの角度が変わっている
    • ARと「現実」に関する考察
      • ARは普通の人には見えない
        • ARを見ている人と、見ていない人とは同じ世界にいるけど、違う「現実」を見ている
        • ARを見ている人は、周りから見ると、幻視が見えている人と同じように感じるかも
      • どんどんリアルになっていったら、TV中継で画面に"LIVE"と表示されるように、"AR"と表示されるようになるのか
      • リアルの映像だと思っていたら、実はARの映像だったという状態になるかも
      • 複数の現実が存在する時代になるのか
    • 感想
      • デモとして、実際に高音で歌ったのは面白かった
      • わざわざ演出として、ドライアイスを持参し、スモークをたいていたのは凄い
      • やっぱりデモは見た目のインパクトが大事。Demo or Die!
      • wiiリモコンで角度（位置）をとり制御するのは面白い
      • ニコ動の「歌ってみた」系動画に使うと面白いかも
        • ピッチシフトだけでなく、何かをミックスする
        • 例えば、ミクの声やCD音源と地声とのマージ
          • 歌うのが難しい部分はさりげなくCD音源のプロの声を混ぜて使う
        • 「踊ってみた」系の動画で、踊るときに演出を加えるのも面白いかも

前回同様、AR好きな人たちが集まって、今回も楽しい勉強会でした

関西で、面白い勉強会を開催してくださった、masayashiさん、
準備、運営などを担当された皆様には本当に感謝しています
ありがとうございました

わざわざKansai.ARの後に、#01と二桁でナンバリングしたあたりに、今後も開催しますという、意気込みを感じました

次は僕も何か発表しようかなぁ

そんな感じ