視覚、聴覚、音声を持つChatGPT：進化したAI体験を探る

OpenAIがChatGPTに大規模なアップデートを実施し、音声および画像機能を新たに追加しました。これにより、AIチャットボットは視覚、聴覚、発声のすべてを行えるようになり、ユーザーにとって「より直感的なインターフェイス」を提供します。この改善により、ユーザーは新しいダイナミックな方法でプラットフォームにアクセスできます。

新たに統合された画像機能では、ユーザーが画像をアップロードし、その内容に基づいて情報を収集したり質問したりすることが可能です。たとえば、エッフェル塔について知りたい場合、その写真を撮ってプロンプトとして使うことができます。また、数学の問題に悩んでいる場合は、ワークシートの写真を撮り、難しい問題をハイライトしてChatGPTに解決を手伝ってもらうことができます。

さらに、ChatGPTは音声インタラクションも可能になりました。ユーザーはレシピの提案を求めたり、おやすみ前のストーリーをリクエストしたりすることができます。AIはリクエストを処理し、音声で応えるため、ユーザー体験が向上します。

これらの音声および画像機能は、今後2週間でChatGPT PlusおよびEnterpriseユーザーに提供されます。音声機能はiOSおよびAndroidデバイスに対応しており、ユーザーは「設定」メニューからオプトインする必要があります。画像機能はすべてのプラットフォームで利用可能です。

OpenAIは、開発者がこれらの音声および画像機能にアクセスできるのはリリース後間もなくであるが、正確なタイミングについてはまだ確認されていないと述べています。

画像とのインタラクションを理解する

ChatGPTの強化された画像機能は、GPT-3.5およびGPT-4のマルチモーダルバージョンを活用しています。ユーザーは、テキストプロンプトと共に1つまたは複数の画像をアップロードすることができます。特定の画像の側面に焦点を当てたい場合、モバイルインターフェイスを利用して描画ツールで簡単に注釈を付けられます。

例えば、自転車のサドル調整に悩むサイクリストは、関連する画像をアップロードし、クイックリリースレバーやボルトの位置について明確なガイダンスを受け取ることができます。OpenAIは、ChatGPTのビジョン機能が日常の実用的なタスクを支援するために設計されていると強調しています。「それは、あなたが見るものを見えるときに最も優れた結果を生む」と同社は述べています。

音声インタラクションを探る

新しい音声機能は、ユーザーがChatGPTと興味深く動的な会話を楽しめるように変革します。この機能は、SiriやAlexa、Google Homeなどの標準的な消費者向けAIアシスタントを超えています。新たに開発されたテキストから音声へのモデルは、シンプルなテキストプロンプトから人間のような音声を生成し、プロの声優たちが様々な声を制作しています。

さらに、OpenAIはWhisper音声認識モデルを活用して、話された言葉を正確にテキストに変換します。ユーザーは「新機能タブ」から好みの声を5つの選択肢の中から選ぶことで、体験をカスタマイズできます。また、Spotifyとのコラボレーションにより、音声チャット機能を強化し、ポッドキャストコンテンツの自動翻訳が可能になる予定です。

安全性とプライバシーの確保

OpenAIは、新機能においてユーザーの安全を維持することにコミットしています。同社は、さまざまなリスクや制限を特定するために第三者と協力して、様々な安全策を講じました。また、画像における個人の分析を最小限に抑えるための技術的制限も導入し、モデルの限界について透明性を確保しています。

詳細なテストが行われ、誤用防止やプライバシー保持に関するさまざまな懸念に対処しています。OpenAIは、非ローマン文字を使用する非英語話者に対して慎重に使うようアドバイスしています。

これらの機能が展開される中、ユーザーはChatGPTとのより豊かでインタラクティブな体験を楽しむことができ、この高度なAIツールとの情報アクセスが変革されることを期待できます。