GPT-4oの驚異のマルチモーダル性能というのがすごいらしいので、覚書。
テキスト描画性能 GPT-4oは、テキスト描画の精度が飛躍的に向上しています。例えば、「ロボットが携帯のメッセージアプリを見ながら、友人にテキストメッセージを送る一人称視点」というプロンプトに対して、テキスト内容も含めた完璧な画像を生成できます。この性能はDALL·E3を凌駕し、漫画やイラストの生成も難なく行えるようになっています。
キャラクターの一貫性 GPT-4oは、キャラクターの一貫性を保持する能力が向上しています。これにより、絵本や連載漫画などでキャラクターの外見や表情を統一して描くことができ、物語全体の品質を高めることが可能です。
話者理解 GPT-4oは、音声をただ文字起こしするだけでなく、話者の特定も可能です。人間でも聞き取りにくい音声を正確に書き起こし、話者の声の特徴を捉えることで、複数の話者がいる状況でも正確な文字起こしができます。
動画理解 GPT-4oは、動画の内容を理解し要約する能力を持っています。これにより、例えば45分の長いビデオの要点を短時間で抽出し、視聴者に提供することが可能です。Geminiに特化していた動画理解が、GPT-4oでも利用できるようになりました。
サウンドエフェクト生成 GPT-4oは、人の声だけでなく、繊細なサウンドエフェクトの生成も可能です。例えば、「コインが金属にぶつかる音」といった具体的な音を再現し、ゲームや映画の音声効果として幅広く応用できます。
画像統合 GPT-4oは、複数の画像を一貫性を保って統合する能力を持っています。例として、OpenAIのロゴとコースターの画像を統合し、ロゴを3次元的に斜めに変換することができる高度な技術があります。これにより、広告やデザインの分野で革新的な作品を生み出せます。
3Dモデル構築 GPT-4oは、複数の視点からの画像を生成し、それを元に3Dモデルを構築する能力を持っています。例えば、アシカの画像を6枚生成し、それを基に正確な3Dモデルを作成することができます。これは3Dモデリングやアニメーション制作の効率を大幅に向上させる技術です。
GPT-4oのこれらの性能は、さまざまな分野での応用が期待されており、クリエイティブなプロジェクトや効率化が求められる業務に大きな影響を与えるでしょう。
