slotho

← ニュース一覧

食事を撮影：自分のキーで、写真からお皿を記録

slothoのシェアカード。ほぼ黒の背景に、ナマケモノのアプリアイコンとslothoのロゴ、英語で「お皿の写真の行き先はひとつ」という意味の一文

slothoは、お皿の写真から食事を記録できます。これから食べるものにカメラを向けると、見つかったものの一覧が返ってきます。それぞれ量を調整でき、ボタンひとつで全部を記録できます。この機能の名前は「食事を撮影」です。26.2で登場し、26.3できちんとしたプロバイダの選択ができるようになりました。この記事は、これまでなかったその解説です。

読む価値があるのは、認識そのものではありません。写真がどこへ行き、数値がどこから来るのか、です。

写真を撮ると何が起きるか

  1. 「記録」タブで食事を撮影を開くか、食品検索欄のカメラボタンをタップします。
  2. 写真を撮るか、ライブラリから選びます。
  3. slothoは、あなたが設定したプロバイダに写真を送り、見えるすべての食べものと飲みものの名前を挙げるよう依頼します。
  4. それぞれの品目が1行になって返ってきます。名前がslothoのデータベースの食品と一致すれば、その行には食品データベースよりと表示され、その食品の栄養値が使われます。一致しなければ推定と表示され、プロバイダ自身の推測が使われます。これは修正したり、自分で食品と照合したりできます。
  5. 量を調整し、間違っているものを削除して、すべて記録を押します。

プロバイダが名前を挙げたものの、量を何も割り出せない品目が、黙って記録されることはありません。そう表示して、食品と照合するか削除するよう求めます。

写真の行き先

写真の中の食べものを認識するには、画像を見られるモデルが必要で、それをデバイス上で行う選択肢はまだありません。そのため「食事を撮影」は、自分のプロバイダを接続して初めて使えるようになり、それまではオフです。

設定は設定 → インテリジェンスで行います。一覧からプロバイダを選び、そのプロバイダの自分のアカウントで取得したAPIキーを貼り付けて、接続をテストを押します。テストでは、生成した小さな画像を、本物の写真と同じ方法で送り、2つのうちどちらかを伝えます。このモデルで写真を利用できます、またはこのモデルは写真を分析できません — テキスト機能は引き続き利用できます。モデルの中にはテキスト専用のものもあり、入力した内容だけを解析したい人にとっては、テキスト専用のモデルでもまったく問題ない設定です。

slothoの食事を撮影。英語の見出しは、接続テストは小さな画像を本物の写真と同じ方法で送る、という意味。説明文は、このモデルで写真が使えるか、このモデルはテキスト専用で入力した内容は引き続き使えるか、そのどちらかを伝える、という内容。設定のインテリジェンスを表示したiPhoneのスクリーンショットで、gemma4:latestという名前のモデル、緑のチェックの付いた接続テスト、英語で「接続OK — エンドポイント、キー、モデルすべて応答しました」と「このモデルで写真を利用できます」が表示されている。

最初の写真がiPhoneを離れる前に、slothoは送信先のホストを示して確認します。回答はそのプロバイダについてだけ記録されます。アプリを別のエンドポイントに向ければ、もう一度確認します。ある送り先への同意は、別の送り先への同意ではないからです。同意は、同じ設定画面からすべてのプロバイダについて取り消せます。

slothoの食事を撮影。英語の見出しは、最初の写真が出ていく前に、slothoはホストを示して確認する、という意味。説明文は、回答はそのプロバイダだけに有効で、別のエンドポイントではもう一度確認する、という内容。英語で「解析のために写真を送信しますか？」というダイアログを表示したiPhoneのスクリーンショットで、食事の写真は食べものの認識のためにlocalhostへ送信され、それは写真を撮影・選択したときだけであり、slothoはコピーを保存しない、と書かれ、「許可」と「キャンセル」のボタンがある。モデルが同じマシン上で動いていたためlocalhostと表示されている、という注記付き。

送られるのは写真で、送り先はあなたが選んだプロバイダ、扱いはそのプロバイダの規約に従います。あなたの記録、健康データ、あなたが誰かに関する情報は一緒に送られません。私たちはそのやり取りに関わらず、内容を見ることもありません。

キー自体はiOSのキーチェーンに保存されます。キーも写真も、アプリのログには書き込まれません。

数値がデータベースから来る理由

お皿を見たモデルは、グリルチキンだと言い当てられます。150グラム、248 kcalと見積もることもでき、それが正しいかどうかに関係なく、自信たっぷりにそうします。

そこでslothoは、名前を挙げるのはプロバイダの仕事、量を割り出すのは自分のデータベースの仕事と考えます。名前がslothoのすでに知っている食品と一致すれば、マクロ栄養素はモデルではなくその項目から来ます。そして手料理のお皿には、Nutri-ScoreもNOVAの評価もいっさい付きません。これらはレシピのわかっている包装食品の特性であり、自分で作った料理のお皿に評価を表示すれば、事実のふりをした推測になってしまいます。一致しない場合、その行には推定と表示され、推定であることがひと目でわかるままになります。

照合のルールは意図的に厳しくしています。「グリルチキン」が、言葉が重なっているからといって、特定ブランドのパン粉付きチキンバーガーに黙ってすり替わってはいけません。間違った一致は、正直な推定より悪いものです。

対応するプロバイダ

26.3の選択肢では、OpenAI、Anthropic、Google Gemini、Mistral、DeepSeek、Groq、OpenRouter、xAIのエンドポイントが自動で入り、モデルの一覧もプロバイダからその場で取得するので、モデル名を記憶に頼って入力する必要はありません。同じAPIを使うほかのサービスのためのカスタムの項目もあります。

slothoの食事を撮影。英語の見出しは、プロバイダを選び、自分のキーを貼り付ける、という意味。説明文は、OpenAI、Anthropic、Google Gemini、Mistral、DeepSeek、Groq、OpenRouter、xAI。エンドポイントは自動で入り、モデルの一覧はプロバイダから取得する、という内容。設定のインテリジェンスでプロバイダのメニューを開いたiPhoneのスクリーンショットで、OpenAIにチェックが付き、続いてAnthropic、Google Gemini、Mistral、DeepSeek、Groq、OpenRouter、xAI、Ollama、LM Studioが並んでいる。

一覧からわからないことが2つあります。どのモデルが写真を見られるか、そしてどのモデルがそれをうまくこなすか。前者は接続テストが答えます。後者はあなた自身のお皿で確かめることになるので、最終的にどのモデルを選んだか、ぜひ教えてください。

選択肢にはOllamaとLM Studioもあり、これらはiPhoneではなくMacやPCで動きます。iPhoneからそれらに接続できるかは、ネットワークの構成と、iOSが暗号化されていないローカル接続をどう扱うかによって変わり、その経路は最初から最後まで検証できていないので、この記事ではそれについて何も約束しません。

費用

slothoは無料でダウンロードでき、「食事を撮影」はPROの機能ではありません。支払うのは、プロバイダがリクエストに対して請求する料金で、あなた自身のアカウントに対して請求され、プロバイダ自身のダッシュボードで確認できます。写真1枚は、検出した領域ごとに1回のリクエストなので、お皿1枚はふつう1回の呼び出しです。あなたのキーで、あなたの請求です。

入力した内容は別のスイッチ

同じ設定画面に入力した項目にAIを使うというスイッチがあり、オンにするまではオフです。オンにすると、「卵2個とコーヒー」のような文が、内蔵ルールより先に解析エンジンで読み取られます。Apple Intelligenceに対応したデバイスではそれがiPhone上で行われ、文がiPhoneの外に出ることはありません。プロバイダを接続していれば、代わりにリモートのモデルを選ぶことも、AIを使わないこともできます。写真は違います。画面自体にも書いてあるとおり、写真は常にプロバイダを使います。

さらに詳しく

slothoは一般的なウェルネスを支えるものです。写真からの栄養の推定はあなた自身の判断の出発点であって測定ではなく、医療アドバイスでもありません。