日本語の字幕を焼き込むとき、どこで崩れるか——改行・はみ出し・時刻

焼き込んだ字幕は、書き出した後に字幕だけ直すことができない。私たちは朗読の動画と短い字幕動画を作るなかで、日本語の字幕が崩れる所に何度も当たった。ここでは、実際に崩れた所と、直した規則を書く。迷う所では、推測で書き出さずに止める側を選んだ。

上の図は見本の1コマ。AIを使って作った架空のパン屋の見本画像を拡大して縦の動画にし、読点の後で改行した2行の字幕を焼き込んだ。

文字数で切ると、文の途中で切れる

朗読の動画では、以前は字幕を46字ごとに機械的に切っていた。その結果、1行46字の長い行ができ、文の途中で画面が切り替わった。字幕の分け目と改行をすべて句読点か閉じ括弧の後に置く形へ直した後の約107秒の抜粋では、字幕23枚の1行が最大約33字になった。

改行の規則

1枚の字幕は最大2行で、次の順に改行の位置を選ぶ。

• 句点、読点、空白の順に優先し、同じ順位なら左右の幅が釣り合う位置を選ぶ
• 句読点・閉じ括弧・小書きのかな・長音を行頭に、開き括弧を行末に置かない
• 数と単位（「１０分」など）、英単語、続く三点リーダーやダッシュの途中では切らない
• 幅は文字数ではなく、使うフォントで描いた画素の幅で測る

見本3本の字幕12枚は、どれも読点の後で2行に分かれ、1行は9〜14字だった。

閉じ括弧の後の助詞

朗読の動画で長い段落を何枚かの字幕に分けるときは、括弧の外の句点、閉じ括弧、括弧の中の句点、読点の順に分け目を探す。ただし閉じ括弧の直後が「と」「を」「が」「は」「に」「の」「も」「で」「へ」「や」なら分け目にしない。

「少しだけ休もう」と店主は言った。「そうしよう」弟子は答えた。 という段落を実際に通すと、分け目の候補は「言った。」の後と「そうしよう」の閉じ括弧の後の2か所だった。「休もう」の閉じ括弧の後は候補に入らないので、「と店主は言った。」だけが次の画面に残ることはない。

1枚の中の改行では、閉じ括弧の後に助詞が来るかまでは見ていない。

収まらなければ、推測で切らずに止める

句読点の無い文では、幅の釣り合いだけで位置を選ぶと語の途中で切れる。「少しだけ休もう」と店主は言い焼き上がりを待ちました。 を縦の動画の幅で試すと、釣り合いで選んだ改行は「言」と「い」のあいだで、動詞が2行に割れた。

私たちの短い字幕動画の道具は、日本語の語の境目を辞書で判定していない。そのため、2行の1行目が句読点・閉じ括弧・空白で終わらないときは書き出さずに止め、「句読点か空白を足すか、段落を短くしてください」と返す。2行に収まらない長い段落も止める。文をどう直すかは書き手が決める。

はみ出しは、描いた画素で確かめる

縦1080×1920では、横10〜82%・縦12〜78%を字幕の安全域にした。字幕を描いた後、実際に色の付いた画素の範囲が安全域に入っているかを調べる。見本3本の12枚は、どれも横160〜804、縦1332〜1464の範囲に収まった（安全域は横108〜886、縦230〜1498）。ただし、SNSの操作画面と重なるかは実機で確かめていない。

朗読の動画の道具では、字幕の配置をPillowで計画し、焼き込みをlibassで行っていた。libassの字の大きさは行の高さが基準で、Pillowの大きさと同じ数を渡すと字の大きさがずれる。そこで換算して渡し、描いた字の幅と計画の幅の比が0.95〜1.02に入るかを、幅の半分以上ある行で確かめる形にした。朗読の抜粋では0.986〜1.002だった。

どちらの確かめも、自分で描いたときの記録を使う。他の道具で焼き込んだ字幕を、画面から文字を読み取って調べることはできない。

上の図は見本の点検表。字幕の行ごとの字数（「行ごとの文字数 [12, 13]」など）と、時刻が推定であることの印（estimated_reading_speed）が並ぶ。

時刻には「推定」の印を付ける

声の無い動画では、毎秒6字・最低2秒で表示時間を決める。見本の1枚目は25字で約4.17秒だった。声がある場合は、無音の区間を探し、その数が段落の境目の数と同じなら無音の中点で、違えば文字数の比で区切る。どの方法でも、字幕の台帳に推定である印と方法を残す。

朗読の動画では、本文と音声認識の結果をかなで照らし合わせる。分け目が音声認識の区間の始まりから1かな以内なら、その始まりの時刻を使い、それ以外は区間の中を文字数の比で割り振って、補った時刻だと記録する。分け方を選ぶときも、区間の始まりに乗る分け目を優先する。音声認識の結果が無い区間では止める。約107秒の抜粋では、23枚の分け目がすべて区間の始まりに乗り、補った時刻は0件だった。

印を付けるのは、後で聞いて確かめる人が、どこから聞けばよいかを分かるようにするためだ。ただし、区間の時刻そのものが正しいかは、まだ聞いて確かめていない。