
Gemini、手描きスケッチの写真からアプリのコードを生成
GeminiCanvasプロトタイピングコード生成Google
Googleは11月5日、Geminiアプリで手描きスケッチの写真をアップロードし、Canvasツールでそのままアプリのコードを生成する使い方を公開した。紙に描いたアプリのモックアップや習慣トラッカー、ボードゲームの盤面などをGeminiが読み取ってコードを書き、プレビュー画面で動作を確認しながら色やフォント、機能を対話で修正できる。
何が発表されたか
Google は公式ブログで、Gemini アプリの Canvas ツールを使って手描きのスケッチを動くアプリに変える手順を公開した。ブログは「写真をアップロードしてコードを即座に生成・調整できる」と説明している。
手順は3段階として示されている。
- スケッチの写真を Gemini にアップロードする。例として挙げられているのは、アプリのモックアップ、習慣トラッカー、ボードゲームの盤面
- Canvas ツールを選び、Gemini にそのアプリをコード化するよう指示する。Gemini が画像を読み取ってコードを書く
- プレビュー画面でアプリを試す。色・フォント・機能の変更をその場で Gemini に依頼できる
なお、対象の地域・プラン・アカウント種別については、このページに記載がない。今後の提供予定にも触れられていない。
開発者への影響
- 要件を形にする前段が短くなる: 紙に描いたワイヤーフレームをそのまま入力にできるため、クライアントとの打ち合わせで描いた図を、その場で動くプレビューに起こして見せる使い方が考えられる
- プロトタイプ段階の往復が減る: 色やフォント、機能の変更をプレビューを見ながら対話で指示できるので、確認用の試作を作り直す回数を抑えられる
- 本番コードとは切り分けて考える: 公開された内容はプレビュー画面での確認までで、生成されたコードの品質や、そのまま本番に載せる前提についてはブログに記載がない。既存プロジェクトへの取り込みは通常のレビューを通す前提で扱うのが無難
- 対象プランは要確認: 利用できるプランや地域がページに書かれていないため、チームで使う場合は自分のアカウントで Canvas が使えるかを確かめる必要がある
