ACGN Biz

アニメ、マンガ、ゲーム分野で気になった国内外の話題を気まぐれで取り上げます。本ブログは公知情報、または筆者が公知情報を基に独自に開発した情報を内容としています。

続・「お前らの愛で見えない」はもう過去のもの?人に被らない弾幕技術

人に被らない弾幕(コメント)配信の存在は日本でも少しずつ知られつつありますが,日本語ソースはたいていバズったツイートやそのツイートを引用したまとめサイト程度であり,その他のプラットフォーム事例や特許文献,技術文献等はほとんど知られていないように思います。そこで,各プラットフォーム事例や文献情報を以下の通り整理します。
適宜〔〕で中国語を表記します。

 

1.動画配信プラットフォーム系

1-1 ビリビリ〔哔哩哔哩〕
ビリビリは2018年6月に人に被らない弾幕配信技術を実装しました(全ての動画ではありませんが)。なお,日本では呼称が定まっていないため,便宜上人に被らない弾幕と言っていますが,人に限定されるものではなくアニメ中のキャラクターや動物などに被らない弾幕でもあります。
また,ビリビリはこの技術について「マスク弾幕(弾幕マスク)」〔蒙版弹幕/弹幕萌版〕と呼称し商標登録出願も行っています。
1-1-1 特許文献
出願①
公開番号〔申请公布号〕:CN 108401177 A
出願人〔申请人〕   :上海哔哩哔哩科技有限公司
出願日〔申请日〕   :2018年2月27日
出願②
公開番号〔申请公布号〕:CN 108881995 A
出願人〔申请人〕   :上海哔哩哔哩科技有限公司
出願日〔申请日〕   :2018年7月17日
出願②は以下の図のようにクライアント側で動画中のマスクパターンを定義するものです(現時点で実装はされていません)。

f:id:zhicai_dongman:20190108221339p:plain
上記二件は以前投稿した記事で紹介しています。

www.acgn-globalbiz.com

 

1-1-2 非特許文献

www.bilibili.com

www.bilibili.com

www.youtube.com



1-2 愛奇芸〔爱奇艺〕
愛奇芸は,昨年11月頃にGoogleのセマンティックイメージセグメンテーションモデルdeeplab v3+を応用した弾幕配信技術を紹介しており,これに関する特許出願を行っています。
現時点においてプラットフォームで実装されているものではありません。
deeplab v3+については以下。

ai.googleblog.com


1-2-1 特許文献
公開番号〔申请公布号〕:CN 109302619 A
出願人〔申请人
〕   :北京奇艺世纪科技有限公司
出願日〔申请日〕   :2018年9月18日

权利要求书

1 .一种信息处理方法,其特征在于,所述方法包括:
服务器接收终端发送的视频文件请求,其中,所述视频文件请求用于请求待播放的视频文件;
所述服务器获取所述视频文件及所述视频文件对应的蒙版文件,所述蒙版文件用于标识所述视频文件中视频帧的目标区域,所述目标区域用于表征所述视频帧中的目标对象;
所述服务器向所述终端发送所述视频文件、所述蒙版文件及所述视频文件对应的弹幕信息。

 

超ざっくり言うと,
サーバ
・・・クライアントに動画ファイル、マスクファイル及び動画ファイルに対応する弾幕情報を送信する
マスクファイル
・・・動画ファイルにおける動画フレームの目標区域をマークする
目標区域
・・・動画フレーム中の目標対象を特徴付ける

目標対象
・・・目標対象は人物の顔、人物の全体像、動物、植物でもよくこれらに限定しない【0107】

従属請求項や明細書において,セグメンテーションにdeeplab v3+を採用する旨記載があります。但し、deeplab v3+に限定するものではありません。

f:id:zhicai_dongman:20190608141055p:plain

f:id:zhicai_dongman:20190608141151p:plain
1-2-2 非特許文献,実例

zhuanlan.zhihu.com

v.qq.com

 

2.ライブ配信プラットフォーム系

2-1 HUYA〔虎牙〕

 HUYAはゲーム実況に強いライブ配信プラットフォームで、2018年11月に人に被らない弾幕技術の実装を発表しました。HUYAはこれを「AI弾幕」と言っています。

www.huya.com

 

2-1-1 特許文献
公開番号〔申请公布号〕:CN 108124185 A
出願人〔申请人〕   :广州华多网络科技有限公司
出願日〔申请日〕   :2016年11月28日

权利要求书
1 .一种弹幕显示方法,其特征在于,包括:
确定视频图像的核心区域;
判断弹幕信息是否进入到所述核心区域;
若是,则将进入到所述核心区域的所述弹幕信息的显示效果进行淡化处理。

 

弾幕表示方法であって、
動画像のコア領域を確定し、
弾幕情報が前記コア領域に入るかどうかを判断し、
前記弾幕情報が前記コア領域に入る場合、前記コア領域に入る前記弾幕情報の表示効果にフェード処理を行うこと
を含むことを特徴とする方法。

f:id:zhicai_dongman:20190608161029p:plain
2-1-2 非特許文献,実例

zhuanlan.zhihu.com

youtu.be

でかい(確信)

2-2 Douyu〔斗鱼〕

 Douyuもゲーム実況に強いライブ配信プラットフォームです。

www.douyu.com

 

2-2-1 特許文献
公開番号〔申请公布号〕:CN 109710365 A
出願人〔申请人〕   :武汉斗鱼网络科技有限公司
出願日〔申请日〕   :2018年12月28日

权利要求书
1 .一种弹幕显示方法,其特征在于,包括:
获取当前视频中显示的目标对象的位置参数和尺寸参数;
根据所述位置参数和所述尺寸参数,绘制透明的覆盖所述目标对象的遮挡层视图,所述遮挡层视图与弹幕视图预设为异或显示关系;
当所述弹幕视图与所述遮挡层视图重叠时,基于所述异或显示关系,裁剪所述弹幕视图与所述遮挡层视图的重叠部分。

 

Douyuは今のところかなり限定的な実装状況です。

 

3.まとめ
人に被らない弾幕技術は,動画の主体が常にフレーム中一定の位置にいる場合は非常に有用だと思いますが,アニメのようにカット間で主体(キャラクター)が頻繁にフレームイン/フレームアウトしたり,といった場合は,人に被らない弾幕が安定せず,かえって視認性が悪くなってしまう問題があります。
今後どのように改良されていくか期待です。
twitter: @dongmanshangye