先日、動画配信サービスにおける弾幕(コメント)配信技術(以下、弾幕技術)の動向に関する以下の記事を投稿し、ビリビリ動画や虎牙の弾幕技術事例を紹介しました。
www.acgn-globalbiz.com今回は、もう一歩踏み込んで、ビリビリ動画の弾幕技術について敷衍したいと思います。
まずは下記ツイートの動画を参照頂ければと思います。
ビリビリ動画、機械学習つかって踊り手の後ろに弾幕が流れるように調整されてる。パネぇ。 pic.twitter.com/NsvbiGNiWU
— shao (Sho SAWADA) (@shao1555) January 1, 2019
一見ただの踊ってみた動画かのように思われるかもしれませんが、よく見てみると、弾幕(コメント)が、踊り手を通過する前後で消える魔球の如く流れていることが分かります。
ニコニコ動画でこんな配信があったら「謎の技術」とでもタグ付けされそうですが、この弾幕技術は、2018年6月下旬にビリビリ動画が発表し、現在、ダンスカテゴリで実装されています。正式名は「マスク弾幕〔蒙版弹幕〕」(スマートブロック弾幕〔智能防挡弹幕〕とも。注:ビリビリ会員でないとこの弾幕表示機能をアクティブにできません。)
さて、この弾幕技術に関して、ビリビリ動画はいくつか特許出願をしており、バックエンドの技術内容をある程度知ることができますので、以下簡単に紹介します。
1.発明の名称:動画配信方法、サーバ及び動画配信システム
(出願公開番号:CN108401177A)
特許請求の範囲(≒のちの権利範囲)
一种具有弹幕的视频播放方法,其特征在于,包括以下步骤:
获取一视频,将所述视频分解为至少一个原始帧;
识别所述原始帧内的画面主体结构;
描绘所述画面主体结构的轮廓并填充,形成第一分隔区域;
于所述原始帧的图像内位于所述第一分隔区域外的播放区域显示所述弹幕。
筆者日本語訳
動画を取得し、前記動画を少なくとも一つの原フレームに分解するステップと、
前記原フレーム内の画面の主体構造を識別するステップと、
前記画面の主体構造の輪郭を示して補充し、第1の仕切領域を形成するステップと、
前記原フレームの画像内において前記第1の仕切領域外の配信領域に前記弾幕を表示するステップと、
を含むことを特徴とする、弾幕を具備する動画配信方法。
(上記独立請求項のほか、13の従属請求項があります。)
日本語でおk訳
これは、以下の特徴がある弾幕付き動画の配信方法です。
①動画をフレーム単位に細かく分解します。
②動画のメインとなっている人や動物などを識別します。
③識別した人や動物などの輪郭をレイヤーマスク的に仕切ります。
④仕切った部分以外に弾幕を表示します。
(もっと詳細な情報を読みたい方はこちらへ ⇒ http://epub.sipo.gov.cn/)
(出典:申请公开号CN108401177A)
2.発明の名称:動画弾幕マスク生成方法、弾幕配信方法、装置及び媒体
(出願公開番号:CN108881995A)
特許請求の範囲(≒のちの権利範囲)
一种视频弹幕蒙版绘制方法,其特征在于,包括以下步骤:
(A1)在视频播放区域内绘制至少一个矢量图形;
(A2)设定每个所述的矢量图形的属性,并确定弹幕经过矢量图形时的显示效果;
(A3)基于所述的矢量图形生成与该视频关联的蒙版组。
筆者日本語訳
(A1)動画配信領域内に少なくとも一つのベクターグラフィックスを生成するステップと、
(A2)前記ベクターグラフィックスごとの属性を設定し、かつ、弾幕がベクターグラフィックスを通過する際の表示効果を確定するステップと、
(A3)前記ベクターグラフィックスに基づき、当該動画に関連するマスクセットを作成するステップと、
を含むことを特徴とする、動画弾幕マスク作成方法
(上記独立請求項のほか、10の従属請求項があります。)
日本語でおk訳
これは動画の弾幕をマスクする方法です。
①動画をアップする際、うp主は動画中に図形を置くことができます。
②図形には種類があり、図形の形状、ぼかし、図形を通過するときの弾幕の表示の仕方等を設定(複数の図形も可)することができます。
③設定した図形をもとに、マスクセット(マスクパターン)を作ることができます。
(もっと詳細な情報を読みたい方はこちらへ ⇒ http://epub.sipo.gov.cn/)
(出典:申请公开号CN108881995A)
こちらは1.と違い、クライアント側で操作することができる弾幕マスク方法です。
私の知る限り、2.はまだ実装されていないはずですが、うp主側(クライアント側)で設定できる点で優れており、動きの少ない動画で非常に有効だと思います。
Vtuberの動画や、弾いてみた動画(例えばゆゆうた氏の動画)等、活用の幅がかなり広いものとなるでしょう。
「お前らの愛で見えない」は過去のものとなってしまうのか?
中国では、弾幕が人やキャラを遮らない技術が今年以降急速に広まり、今後も更に改良されていくと思います。
日本でも、これらの弾幕技術が一社に限らない様々なプラットフォームで使えるようになると良いですね。
以上、今日はこのへんで。
2019/06/08
続きを書きました。
twitter: @dongmanshangye