SurtitleLiveからPockitle Cueへ――200回を超える字幕運用で見えてきたこと

6月にSurtitleLiveを正式公開したとき、この製品の役割はかなり明確でした。

制作側にはすでにテキストがあります。台本、オペラのリブレット、翻訳済みの台詞、あるいは本番前に用意した字幕です。チームに必要だったのは、それらを整理・確認し、キューの流れを稽古し、本番では適切な瞬間にプロジェクター、LEDスクリーン、観客のスマートフォンへ一行ずつ送るための場所でした。

今でも、これが最も多い使われ方です。

6月以降、SurtitleLiveでは 200回を超える字幕の配信設定 が行われました。公演の種類も会場もさまざまで、舞台投影だけを使う現場もあれば、観客の端末で読める字幕を併用する現場もあります。舞台裏での運用方法も一つではありません。

ただ、その数か月で、事前に用意する舞台字幕だけでは解けない問題も見えてきました。

8月には Pockitle Live を公開しました。講演、終演後のトーク、質疑応答、ワークショップ、即興公演など、あらかじめ全文を用意できず、話し手が口を開いて初めて言葉が生まれる場面のためのライブキャプションです。

同時に、二つの実務的な質問を繰り返し受けるようになりました。

会場のインターネットが切れたら、投影は続けられるのか。

そして、スマートフォンやタブレットでライブキャプションを運用できるなら、内蔵マイクで会場の音を拾い直すのではなく、会場ミキサーからのきれいな音声を直接入力できないか。

この二つの問いが、次に何を作るべきかをかなりはっきりさせました。

同時に、SurtitleLiveという名前だけでは、今の製品全体を説明しにくくなりました。

そこで、SurtitleLiveを Pockitle Cue へ改称します。

これまで使ってきたソフトウェアがなくなるわけではありません。アカウントもプロジェクトも、事前準備型の舞台字幕を扱う基本の流れもそのままです。変わるのは名前と、その周囲にある製品群の見え方です。

事前にある言葉と、その場で生まれる言葉

私たちは今、ライブで表示する文字を二つに分けて考えています。

本番前に言葉が存在しているなら、使うのは Pockitle Cue です。

劇場やオペラのチームは、テキストを準備して翻訳し、一行ずつ確認し、稽古で流れを確かめたうえで、本番ではオペレーターが舞台字幕をキューに合わせて送出できます。文言、改行、翻訳、そしてどの瞬間に字幕を出すかは、しばしば演出そのものの一部だからです。最終的なタイミングは人が決めます。

一方、本番前には存在しない言葉には Pockitle Live を使います。

Pockitle Liveは一つの話し言葉を聞き取り、発話に合わせて字幕を生成します。元の言語の字幕に加えて、観客向けの翻訳字幕も用意できます。

二つの製品は、最終的には同じスクリーンやスマートフォンへ文字を届けることがあります。それでも、出発点となる素材は根本的に違います。

一方は、準備できるテキストから始まります。

もう一方は、その場で生まれる発話から始まります。

Pockitleという一つの名前の下に置くことで、この違いをかえって説明しやすくなります。

SurtitleLiveはPockitle Cueへ

既存のSurtitleLiveユーザーにとって、Pockitle Cueはすべてを作り直すための別製品ではありません。

同じ事前準備型舞台字幕システムの新しい名前です。

既存のアカウントもプロジェクトも引き継がれます。台本の準備、翻訳、行ごとの確認、稽古、デプロイ、本番での舞台字幕運用は、これまでどおりブラウザーで行います。

Cue という名前は、本番が始まってから最も重要になる仕事を表しています。

字幕そのものは何週間も前に書かれているかもしれません。

それでも本番では、その一行をいつ会場に出すかを誰かが判断しなければなりません。

それがキューです。

ブラウザー版はすでに回線断でも投影を続けられます。それでも課題は残ります

会場の通信について、最もよく聞かれる質問の一つがあります。

インターネットが落ちても、舞台字幕の投影は続けられますか。

現在のPockitle Cueブラウザー版には、すでにローカル投影を継続する仕組みがあります。

本番前に、ブラウザーが投影に必要な字幕データを準備します。オペレーター画面と投影ウィンドウを開いたままにしておけば、会場のインターネット接続が切れても、ローカルのキュー操作と、すでに開いている投影出力は動き続けます。

これは重要です。外部回線が一時的に途切れただけで、舞台から文字が消えるべきではありません。

ただし、ブラウザーでこの継続性を実現してきたからこそ、限界も見えてきました。

オペレーターは、どのウィンドウを開いたままにする必要があるのか、どこまでがローカルで動き、どの機能がまだクラウドに依存しているのかを理解していなければなりません。すでに開いている投影ウィンドウは反応を続けても、誤って閉じた後に開き直すには再びネット接続が必要になる場合があります。

ウィンドウ管理、全画面表示、複数ディスプレイの選択、アプリケーションの起動・終了の扱いは、そもそも劇場の投影用コンピューターのために作られたブラウザー機能ではありません。

つまり、技術的には止まらずに済むことと、オペレーターが本番中に迷わず使える、予測可能な環境を持つことは別です。

そのために Pockitle Cue for Mac を開発しています。

Pockitle Cue for Mac

Pockitle Cue for Macは、ブラウザー版Pockitle Cueで準備した公演を、本番時にローカルで動かすためのMacアプリとして開発中です。

準備作業は引き続きブラウザーで行います。台本、翻訳、確認、デプロイはそこで進めます。

本番前に完成した公演を、会場のプロジェクターにつながったMacへ同期します。同期後は、ローカル運用に必要な公演データがそのMacに保存されるため、本番中の投影は会場のインターネット接続に依存せず続けられます。

Pockitleのすべての機能がオフラインになる、という意味ではありません。

観客のスマートフォンやクラウドにつながる機能には、引き続きインターネット接続が必要です。

ここは意図的に分けています。会場の回線が落ちたという理由だけで、同期済みのMacが次の舞台字幕を出せなくなるべきではありません。

Macアプリでは、表示先を単なるブラウザーウィンドウではなく、劇場の出力先として扱うこともできます。現在の設計では最大3系統を割り当て、それぞれに言語と表示設定を持たせられます。

そして QLab との関係も変わります。

劇場では、音響、映像、そのほかの本番キューをすでにQLabで管理しているチームが少なくありません。舞台字幕だけを別に組み直すと、オペレーターはもう一つのキュー列を維持することになります。

Pockitle Cue for Macでは、Pockitleで準備した舞台字幕を選び、そのままQLabのキューリストへドラッグできます。

Pockitleで用意した内容を、既存のQLabワークスペースへ直接組み込めるので、一行ずつコピーしたり、キューを一つずつ作り直したりする必要がありません。

重要なのは、機能そのもの以上に、その考え方です。

すでに公演制御の流れがある制作現場では、字幕ソフトのために現場全体を組み替えるのではなく、字幕ソフトのほうが可能な限り既存の流れに入るべきだと考えています。

Pockitle Cue for Macはまだ開発中です。これらは進行中の機能であり、すでに提供済みの完成機能として約束するものではありません。

ただ、方向は明確です。ブラウザーは公演を準備する場所のまま。Macアプリは、準備済みの公演に、本番用のより明確なローカル環境を与えます。

ライブキャプションには別のハードウェア上の課題があります

Pockitle Liveでは、別の制約が見えてきました。

ライブキャプションの認識品質は、まず音源で決まります。

ノートパソコンなら、会場のミキサーやUSBオーディオインターフェースからきれいな音声を簡単に受けられます。劇場、会議、イベントでは、端末を会場内に置き、内蔵マイクでもう一度拡声音を拾わせるより、そのほうが通常は確実です。

スマートフォンやタブレットからPockitle Liveを運用できれば、オペレーターはずっと動きやすくなります。

Androidでは、対応するブラウザーと端末で外部マイクや別の音声入力をブラウザーに取り込めます。そのため、モバイルだけでライブキャプションを運用できる構成もあります。

iPhoneとiPadでは、ブラウザー経由で使える入力がより限られます。ただし、iOSのWebアプリでは外部マイクを一切使えない、と言うのは正確ではありません。Pockitle Live Webで使える外部入力は、iOSがブラウザーの音声入力一覧に表示するものに限られます。接続したマイクやミキサーからの信号が一覧に表示されなければ、ページから選択できません。適切な外部入力が一覧にない場合は、端末内蔵マイクが信頼できる代替手段です。

これは、ウェブ画面に選択欄を一つ追加すれば完全に解決できる問題ではありません。制約はブラウザーとOSの音声処理層にあり、ウェブアプリでは、外部入力の検出、選択、音声経路の制御について、ネイティブアプリと同じ権限を持てないためです。

気軽な会話なら、内蔵マイクで十分なこともあります。

しかし公演やイベントでは、そうでないことが少なくありません。

きれいな音声信号は、すでにミキサーにあります。それを直接使えるべきです。

Pockitle Live for iOS

それが、Pockitle Live for iOS を開発している大きな理由の一つです。

既存のウェブ画面を単にアプリの中へ入れるだけではありません。

iPhoneとiPadのネイティブアプリなら、iOSの音声システムを直接利用できます。現在の設計では、対応するUSBオーディオインターフェースや会場ミキサーからの信号など、適切な有線入力を重視しています。会場がすでに作っている音声信号をそのまま字幕化し、端末のマイクで部屋全体を拾い直さずに済むようにするためです。

このアプリはオペレーター向けです。

観客までアプリを使う必要はありません。

観客はこれまでどおり、ブラウザーで字幕リンクを開き、そのイベントで用意された言語から読みたいものを選べます。Pockitle Live for iOSをインストールする必要はありません。

字幕を作る人と、字幕を読む人では、必要な技術が違うからこそ、運用側にはネイティブアプリが必要です。

四つの製品を、より分かりやすい構成に

Pockitleは、次の四つの製品として整理されつつあります。

Pockitle Cue は、ブラウザー版SurtitleLiveの新しい名前です。事前に準備する舞台字幕のための製品で、台本やその他のテキストを翻訳・確認・稽古し、本番ではキューに合わせて送出します。

Pockitle Cue for Mac は、ローカル投影のために開発中のMacアプリです。完成した公演を投影用コンピューターへ同期し、会場のインターネットに依存せずローカル投影を続け、専用の表示出力を管理し、QLabともより直接つながります。Pockitleで準備した舞台字幕をQLabのキューリストへ直接ドラッグする機能もその一つです。

Pockitle Live は、8月に公開したブラウザー型のライブキャプション製品です。講演、終演後のトーク、質疑応答、ワークショップ、朗読、即興など、事前に全文を字幕化できない発話に向いています。

Pockitle Live for iOS は、開発中のiPhone・iPadアプリです。iOSブラウザーよりも信頼できる方法で、外部マイク、USBオーディオインターフェース、会場ミキサーの信号を扱えるようにすることが重要な目的の一つです。

四つの製品が違うのは、現場の状況が本当に違うからです。

観客が入る前に、すべての言葉が分かっていることもあります。

次に何が話されるか、誰にも分からないこともあります。

インターネットが非常に安定している会場もあります。

そうでない会場もあります。

ノートパソコンのマイクが適切な音源になることもあります。

しかし多くの場合、必要なのはミキサーから出ている一本のケーブルです。

私たちの役割は、こうした違いを無理に同じものとして扱うことではありません。

違いがあっても運用できるようにすることです。

だからSurtitleLiveは Pockitle Cue になります。

6月に公開した、事前準備型の舞台字幕ツールはこれからも残ります。

周囲に増えてきた製品との関係を、より正確に表せる名前になっただけです。