iOS 16でビデオにLive Textを使用する方法

AppleはiOS 16でLive Text機能を画像からビデオに拡張しました。iPhoneでビデオフレームからテキストをキャプチャする方法は次のとおりです。

Live Textは、画像上でインテリジェントな光学式文字認識（OCR）技術を用いて目に見えるテキストをキャプチャし、後から利用できる機能です。つまり、画像内のテキストをハイライト表示したり、そのテキストを使って様々な操作を行ったりできるのです。

iOS 15とmacOS Montereyで導入されたこの機能により、ユーザーは写真や画像から切り取ったテキストを、読むだけでなく、他の用途にも活用できるようになりました。テキストをコピーしたり、翻訳や検索に使用したり、他のアプリで使用したりすることができ、手動で書き起こす手間が省けます。

ビデオ用の Live Text は、動画で機能するという点で、この機能の自然な進化形です。

厳密に言えば、再生中の動画ではなく、一時停止中の動画で機能します。動画を一時停止し、テキストが表示される位置で停止すれば、静止画と同じようにLive Textを使用できます。一時停止中の動画は実質的に静止画と同じだからです。

新しいビデオ機能の使用を開始する方法は次のとおりです。

iOS 16でビデオにLive Textを使用する方法

• カメラ アプリを使用してビデオを録画します。
• 写真を開いてビデオの再生を開始します。
• 動画をスクラブ再生し、使用したいテキストが見える位置で一時停止します。テキストがぼやけていたり読みにくかったりする場合は、必要に応じてスプールしてより鮮明な映像を撮影してください。
• テキストの一部が選択されるまで長押しします。
• 青いインジケータを使用して、表示されている文章から選択したテキストの長さを調整します。
• ポップアップで、使用する機能を選択します。

これらの機能はいくつかの領域をカバーします。

• 「コピー」はテキストをクリップボードにコピーし、別のアプリなどの別の場所に貼り付けることができます。
• 「すべて選択」では、画像内のアクセス可能なすべてのテキストが選択されます。
• Look Up では Spotlight 検索を使用して選択した結果を表示します。
• 「Web 検索」では、Safari でタブが開き、テキスト文字列を検索します。
• 「翻訳」を選択すると、翻訳アプリが起動し、テキストの翻訳が試行されます。
• 「共有」を選択すると共有ボックスが表示され、テキストとして他のユーザーと共有できるようになります。

不安定なアプリのサポート

この機能のサポートは理論的には iOS 16 全体で実行されますが、必ずしもアプリ間で機能するとは限りません。

Apple のアプリ スイートが主にサポートを提供しており、カメラ アプリ内で以前に録画したビデオ、写真のライブラリ内のビデオ、Safari で一時停止したビデオの表示などが含まれます。

初期テストでは、ビデオ機能を使用するサードパーティ製アプリは、リリース時点ではこの機能をサポートしていないようです。将来的にサポートが追加される可能性はありますが、すぐにはご利用いただけません。

ただし、多くのアプリのブラウザ サポートを活用して、間接的にこの機能を使用することは可能です。

たとえば、YouTubeアプリでは動画にLive Textを使用することはできません。ただし、同じ動画をSafariのブラウザで開くと、クリップを一時停止したときにLive Textを使用できます。

テキストのヒント

動画にLive Textを使用する際に考慮すべき点の多くは、静止画にLive Textを使用する際に考慮すべき点と共通しています。考慮すべき点はさらにいくつかありますが、基本的な考え方は同じです。

録画する際は、文末や段落の端が切れてしまうことなく、テキストがフレームのできるだけ広い範囲を占めるように配置してください。また、テキストにフォーカスを合わせ、画面にできるだけ長く表示しておくと、後で一時停止してLive Textを使用する際に、最適なフレームをキャプチャしやすくなります。

動画撮影中はカメラをあまり動かさないようにしてください。数秒間動かずに静止しておくのが理想的です。

また、できるだけ高解像度で動画を録画してください。これは、特に小さなフォントで書かれた長いテキストを録画する場合に便利です。

Live Text でテキストをキャプチャした後は、他のアプリにコピーしたテキストを必ず確認してください。様々な場所でスタイリッシュなフォントが使用されているため、光学認識の誤りが発生し、読み飛ばされてしまう可能性があります。