東京電機大学 システムデザイン工学部 情報システム工学科 マルチメディアコンピューティング研究室は、2018年4月に開設された新しい研究室です。2023年4月現在の所属学生はそれぞれ修士1、2年がシステムデザイン工学研究科 情報システム工学専攻、学部生がシステムデザイン工学部 情報システム工学科の所属となります。

概要

SNS、動画共有サービス、イラスト投稿サービスなどのサービスで扱うマルチメディアコンテンツの生成・解析技術、及び監視カメラやスマートフォンなどのIoTデバイスが生成した映像、音声、テキストなどのマルチメディアデータの収集・蓄積技術、分析・活用技術について研究を行っています。

研究キーワード

  • マルチメディアコンテンツ
  • マルチメディア・データベース
  • コンピュータ・ビジョン
  • 機械学習
  • IoT
  • HCI(ヒューマンコンピュータインタラクション)

運営方針

  1. 学内や国内外の研究者との意見交換や共同研究の立案
    • 学内は学部内だけでなく、同じ千住地区の未来科学部、工学部の関連研究室との意見交換や共同研究の立案を図る。
    • 国内外の学会に積極的に参加し、研究者とのディスカッションなどを通じて自テーマの見直しを常に行い、学外の研究者との意見交換や共同研究の立案を図る。
  2. 学内外の研究費の申請・管理
    • 企業との委託・共同研究の提案、競争的戦略資金への応募検討を行う。
  3. 国内外の学会参加、論文の作成と投稿、専門書の執筆
    • 情報処理学会、画像電子学会など。所属学生への積極的な参加を推奨する。
    • 特に、大学院生は就職活動時に大きな実績となる国際会議への参加や学術論文の投稿を推奨する。
  4. シンポジウムや講演の運営、学外委員会活動
    • 情報処理学会 DICOMO、インタラクション、DCC研究会、CDS研究会、画像電子学会 など。
  5. 学会や学術誌の論文審査
    • 情報処理学会 論文誌、論文誌：デジタルコンテンツ、論文誌：コンシューマデバイス＆システムなど。

研究テーマ

修士研究

  • 2019年度
    • pix2pixを用いたデジタルイラスト制作における自動レイヤ分けシステム
  • 2020年度
    • pix2pixを用いたデジタルイラスト制作における自動レイヤ分けシステムの研究
    • 映像監視システムにおけるベストショット予測のための顔画像のスコアリング方式
    • 3Dゲームエンジンを用いた映像監視向け合成全周魚眼画像データセットの作成と評価
    • セマンティックセグメンテーションを用いた屋内全周魚眼画像に対する人物の密接度検出方式の検討
    • 対話システムにおけるキャラクタ性の構築方式に関する研究
  • 2021年度
    • 3Dゲームエンジンを用いた映像監視向け合成全周魚眼画像データセット生成方式の研究
    • 映像監視システムにおける顔画像の3次元再構成方式の研究
    • 人物検出と人物姿勢推定に基づく屋内全周魚眼画像に対する人物間の密接度推定方式の研究
    • 対話システムにおけるキャラクタ性の構築方式の研究
    • ブログの信頼性を考慮した観光スポット推薦システム
    • StyleGAN2を用いたゲーム制作支援のための顔画像生成と編集
  • 2022年度
    • 観光スポット推薦のための旅行ブロガーの信頼性推定方式の研究
    • StyleGAN2に基づくゲームキャラクタの表情差分付き顔画像自動生成システム
    • 異常行動検知フレームワークを使用した異常行動予測
    • 360°Webカメラを用いた顔向きによる集中度推定
    • NeRFを利用した全方位案内動画生成システム

卒業研究

  • 2018年度
    • pix2pixを用いたデジタルイラスト制作におけるレイヤ分け作業の自動化
  • 2019年度
    • Mask-RCNNと動画像解析を用いた監視カメラ映像に対する人物追跡方式
    • 映像解析に基づく映像ストリームからの三次元再構成
    • 顔画像の三次元再構成を目的とした監視カメラ映像のスコアリング方式
    • 深層学習を用いたスマートフォンスクリーンに対するオブジェクト検出方式
    • 放送音声メディア向けテキストメタデータ解析運用ツールの開発
    • 小説制作におけるキャラクタ性を考慮した会話文自動生成
    • HREDを用いたチャットボット実現のための対話モデルの構築
  • 2020年度
    • SSDを用いた光学衛星画像からの車両の自動検出
    • 赤外線センサを使用した人物検出方式
    • 漫画からの人物自動検出と識別
    • pix2pixによる未来の雲画像の生成
    • StyleGAN2を用いたゲーム制作支援のための顔画像生成と編集
    • 動画編集におけるテロップ作成の自動化
    • CRFを用いた作者支援を目的とした固有表現抽出
    • 対話システムにおける係り受けを考慮した感情判定
    • 統計的手法及び機械学習を用いた競馬の順位予想
    • 深層学習を用いた顔領域別画像に対する母音認識
  • 2021年度
    • 深層学習を用いた要約文による画像生成
    • 機械学習によるイラスト画像に対する顔検出及びランドマークの推定
    • GANによる人物画像とキャラクタ画像のスタイル変換
    • NeRFを用いた全方位動画からの道案内動画生成
    • MISTを用いた異常行動の視覚化
    • ディープラーニングによる駐車場の監視システム
    • オクルージョンがある顔画像の三次元再構成
    • 深層学習による音楽からの歌詞の自動抽出
    • nagisaを用いたゲームのマーケティングを目的とするSNS分析
    • ニュースを自動的に詩に変換するシステム
    • 口調変換を用いた親和性と理解性の高い対話システムの構築
    • YOLOv3を用いた自動運転に向けた歩行者の自動検出
  • 2022年度
    • GPT-2を用いた超ショートショートの自動生成
    • YOLOを用いた監視映像による交通状況調査システム
    • 眼底画像からの糖尿病網膜症等の疾病の自動診断
    • テキストマイニングを用いたお菓子のキャッチコピーの自動生成
    • クラック画像の自動生成、及び建造物画像からのクラック検出
    • 自然言語処理によるビジネスメール作成支援システム
    • 階層型エンコーダ・デコーダモデルを用いた小説の生成
    • BERTを用いたSNSにおけるトレンドの感情分析
    • テキストマイニングを用いた小説の感情分析と可視化
    • U-Netを用いたゲームキャラクタのイラストの色差分生成システム
    • タグ抽出機能を用いたText-to-imageの評価と活用法
    • 整形支援のための顔パーツ交換システム
    • ディープラーニングを用いた顔画像からの表情認識システム

基礎プロジェクト

  • 2018年度
    • COLMAPを用いたSfM(Structure from Motion)環境の構築
    • Visual SLAMによるモバイルカメラのリアルタイム位置姿勢推定方式
    • YOLOv3を用いたリアルタイムオブジェクト検出方式
    • RPA(Robotic Process Automation)ツールを用いたオフィス業務の自動化
    • ラジオ放送におけるスマートスピーカー対応自動チャプター再生機能の基礎検討
    • テキストマイニングによるドライバtweetの感情分析
    • seq2seqモデルによるチャットボットのための会話応答文の生成

主要研究成果

[1]マルチメディアコンテンツの生成・解析技術

■Smart Layer Splitter (pix2pixを用いたデジタルイラスト制作の色塗り工程における自動レイヤ分けシステム)

デジタルイラスト制作の一工程である色塗り工程では、線画を髪や肌などのパーツにレイヤ分けする作業が必要ですが、既存のグラフィックソフトに付属する塗りつぶしツールでは、手作業のため手間がかかってしまうという問題がありました。

このような問題を解決するために、conditional GANの一方式であるpix2pixと後処理を組み合わせることでレイヤ分け作業を自動化する方式について提案しました。提案方式について評価を行った結果、Mean Accuracyで84.8%の精度が得られることを確認しました。以下に、提案方式であるpix2pixを用いた自動レイヤ分け方式の概要について示します。

さらに、提案方式に基づき、自動レイヤ分け作業において誤りが発生した場合でも誤りを手動で修正するUIを持った自動レイヤ分けシステム(Smart Layer Splitter)をWebアプリケーションとして開発し、システムの有効性について評価を行いました。その結果、既存のグラフィックソフトと比較して、作業時間を39.8%短縮できるとともに、操作回数を68.6%削減できることを確認しました。以下に、液晶ペンタブレット上でWebアプリケーションとして動作しているSmart Layer Splitterの外観について示します。

渡邉優, 阿倍博信: Smart Layer Splitter：pix2pixを用いたデジタルイラスト制作の色塗り工程における自動レイヤ分けシステム, 情報処理学会 論文誌 デジタルコンテンツ, Vol.9, No.1, pp.21-33 (2021.2)

■語尾・認証表現の自動抽出に基づく対話システムのキャラクタ性の構築

対話システム上にキャラクタ性を構築することで、その機械と対話する際の人間らしさや対話の満足感の向上が期待できるが、そのためには応答をすべて手作業で入力する、または、徹底したチューニングを行う必要性があり、手作業が必要になり手間がかかってしまうという問題がありました。

このような問題を解決するために、キャラクタの発言を解析し、その解析結果からキャラクタ性を構築する方式として、重要と思われる語尾・人称の表現を自動抽出する方式について提案し、抽出結果をユーザが修正してキャラクタデータとして使用できるアプリケーションを開発しました。以下に、本研究にて開発したアプリケーションの概要について示します。

さらに、アプリケーションを用いて実際にキャラクタ性を構築し、その結果を対話システムに適用し、ユーザ評価した結果、提案方式の有効性について確認することができました。以下に、構築したキャラクタ性の評価結果について示します。

長島大和, 阿倍博信: 語尾・人称表現の自動抽出に基づく対話システムにおけるキャラクタ性の構築, 第14回データ工学と情報マネジメントに関するフォーラム DEIM2022, E24-2, オンライン開催 (2022.2)

[2]マルチメディアデータの収集・蓄積技術、分析・活用技術

■3Dゲームエンジンを用いた全周魚眼カメラ対応データセット作成と人物間の密接度推定方式

新型コロナウイルスの流行により、感染対策として密閉・密集・密接の回避が求められています。そのため、映像解析技術を用いて人物間の密集および密接を監視するシステムを開発する必要があります。本研究では天井に設置した全周魚眼カメラを活用して人物の密集・密接を検出するシステムを対象として、システムの開発の際に必要となる機械学習用の全周魚眼画像のデータセット作成に着目します。全周魚眼画像のデータセットは一般的に流通しておらず入手が困難なため、今回、3DゲームエンジンであるUnityを用いて人物検出のための全周魚眼画像のデータセットの自動作成に取り組みました。以下に、今回Unityを用いて自動作成した全周魚眼画像のデータセットの例(出力画像とアノテーション画像)を示します。

また、作成したデータセットを用いて、機械学習に基づき全周魚眼画像から人物検出を行い、検出した人物間の距離と顔の向きに基づき密接度をモデル化し、入力された全周魚眼画像から人物検出と姿勢推定を行うことで、人物間の密接度を推定する方式について提案しました。以下に今回提案した人物間の密接度の推定方式の処理フローについて示します。

秋田悠河, 古宮嗣朗, 阿倍博信: 3Dゲームエンジンを用いた全周魚眼カメラにおける人物検出と位置推定用データセットの作成と評価, 情報処理学会 デジタルコンテンツクリエーション研究会 第30回研究会, Vol.2022-DCC-30, No.1, pp.1-7, オンライン開催 (2022.1)

古宮嗣朗, 秋田悠河, 阿倍博信: 人物検出と姿勢推定の組み合わせに基づく屋内全周魚眼画像に対する人物間の密接度推定方式, 情報処理学会 デジタルコンテンツクリエーション研究会 第30回研究会, Vol.2022-DCC-30, No.20, pp.1-5, オンライン開催 (2022.1)

関連学会(国内)

情報処理学会

画像電子学会

映像情報メディア学会

電子情報通信学会

日本データベース学会

関連学会(国際)