t0nAr1sm

Appleを理解して翻訳する。それが「となりずむ」

iPhoneの暗所写真、AIは「復元」か「捏造」か?Apple研究が示した境界線

AIによる画像処理を象徴するイメージ。暗所撮影で失われがちな光や色の情報を、センサー上で再構成する様子を表現したビジュアル

✅この記事では、Appleの研究で出てきた「極端な暗所写真をAIで救う」新しい手法(DarkDiff)が、iPhoneの写真体験をどう変えうるのかを整理します。

どうも、となりです。
暗い場所で撮った写真が、ザラザラのノイズだらけになって「うーん…」ってなること、ありますよね。
で、最近のスマホはここを“計算写真”で頑張ってるんですが、やりすぎると今度はのっぺりした塗り絵っぽさが出て、細部が消える問題もあります。

そんな中、Appleの研究者たちが「暗所のRAW(センサー生データ)から、失われたディテールをかなり取り戻せる」とする研究を出しました。
見どころは、AIを“後処理”に置くのではなく、カメラの画像処理パイプライン(ISP)に統合する発想なんです。

ちなみにiPhone 18世代は、ボタンやセンサーの噂も含めてカメラの触り心地が変わりそうな空気があるので、先にこのへんの話も押さえておくと面白いです。iPhone 18のカメラボタンの噂

要点まとめ:今回の研究で分かること

  • AppleとPurdue Universityの研究者が、暗所RAWを強化するモデル「DarkDiff」を提案
  • 拡散モデル(diffusion)をカメラのISP処理と一体で使うのがポイント
  • 暗所で起きがちな過度なスムージング(細部消失)を抑え、ディテールを戻しやすい設計
  • 一方で計算が重い(端末内処理だと電池・速度が厳しい可能性)
  • 研究は研究で、iPhoneに載ると決まった話ではない

そもそも暗所写真は、なぜ崩れる?

暗い場所で写真が崩れる理由はシンプルで、センサーに入る光が足りません。
光が足りないと、信号よりノイズの比率が上がってしまい、結果としてザラつきが目立ちます。

そこで各社は「ノイズを消して見られる写真にする」方向に処理を強めてきました。
ただ、この路線は一歩間違えると、細い文字や髪の毛、質感みたいな“繊細な情報”がまとめて塗りつぶされるんですよね。

DarkDiffは何を変えた?「後処理」ではなく「ISPに統合」

元記事(9to5Mac)によると、DarkDiffは「暗所のRAWを、拡散モデルで賢く復元する」ための枠組みです。


ポイントは、AIを写真アプリの最後に当てるのではなく、RAW→見える画像にする流れ(ISP)と一緒に動かすところにあります。

流れとしては、ISP側でホワイトバランスやデモザイクなど“初期処理”を進め、DarkDiffが線形RGBの段階でノイズ除去と復元を担当し、最終的にsRGB画像を出す、という設計です。

iPhoneカメラの生データ(Bayer RAW)にデジタルゲインや黒レベル補正、ホワイトバランスとデモザイク処理を行い、線形RGBを経て拡散モデル(DarkDiff)で最終的なsRGB画像を生成する処理パイプライン図。

Appleの研究では、RAW段階で最低限の補正だけを行い、その後に拡散モデルを組み込む。
「撮ってからAIで加工」ではなく、「撮る途中にAIを噛ませる」という発想がポイント。

ここは、Appleが公開した別の研究(1枚の写真から3Dっぽいシーンを作る)とも発想が似ています。
「見えないものを無理に作らず、文脈と整合する形で復元する」っていう姿勢ですね。AppleのSHARP研究(2D→3D)

 

 

“捏造”を減らすための工夫:ローカル注意とガイダンス

拡散モデルって、強い反面「それっぽいものを作ってしまう」リスク(いわゆるハルシネーション)が付きまといます。
DarkDiffはここを抑えるために、画像を小さなパッチに分けて局所的に注意(attention)を計算し、局所構造を守る方向に寄せています。

さらに、classifier-free guidance(ガイダンス)で「入力にどれだけ忠実にするか」を調整します。
ガイダンスが弱いと滑らか寄り、強いとシャープ寄り。ただし強くしすぎると、望まない模様や破綻が出るリスクも上がります。

暗所でノイズの多い画像をそのまま拡散モデルに入力すると、犬の脚の形状が変わるなど局所構造が失われ、AIが存在しない形状を生成してしまう例を示した比較図。

ノイズ画像をそのまま条件入力にすると、拡散モデルは細部を保持できず「存在しない形」を作ってしまう。Appleの研究は、こうしたハルシネーションを避けるためにISP段階でAIを統合する必要性を示している

検証が面白い:0.033秒の夜景を、300倍の露光と比べる

研究では、Sony A7SIIなどで撮影した極端な暗所写真を使い、DarkDiffの結果を他手法(ExposureDiffusionなど)と比較しています。
撮影条件がかなり極端で、夜のシーンを0.033秒みたいな短い露光で撮った画像を、三脚で300倍長い露光で撮った参照写真に寄せられるかを見る、というテストです。

この比較は、スマホ写真にも置き換えやすいんですよね。
つまり「手持ちで撮った一発の暗所写真を、長秒露光にどこまで近づけられるか」という話なので、もし将来iPhone側に降りてくるなら、体感のインパクトは大きいはずです。

そして、iPhone 18世代はハード側の進化も噂されています。
暗所性能は“ソフトだけ”でも“センサーだけ”でも決まらないので、両輪で見るのが良さそうです。iPhone Air第2世代のカメラ噂(48MP超広角)

暗所で撮影した画像を、従来手法(LRD、Exposure Diffusion)とAppleの提案手法「DarkDiff」で処理した比較結果。ノイズの多い入力画像、長時間露光の参照画像、各手法による復元結果が横並びで示されている。

暗所写真の復元結果を並べると違いがよく分かる。 従来手法はノイズを消す代わりに質感まで平坦化しがちだが、DarkDiffは木の葉や付箋、橋の表面といった細かな構造を残したまま明るさを引き上げている。

課題:重い、遅い、そして「クラウド処理」示唆

元記事が強調している弱点も、ここは大事です。
DarkDiffは従来手法より計算が重く、端末内で回すとバッテリー負荷が大きい可能性があります。研究側も、クラウド処理が必要になるかもしれない、と述べています。

つまり「すごいけど、すぐiPhoneに乗る」とは限らないタイプの研究です。
ただ、Appleは計算写真をずっと積み上げてきた会社なので、“使える形に落とす”方向での継続研究は十分ありそうなんですよね。

 

 

注目したいポイント:暗所は「ノイズ除去」だけじゃ解けない

ここ、議論になりやすいところです。
「ノイズだけ消して、余計なものは足さないで」って気持ち、すごく分かります。

でも暗所は、信号よりノイズが多い領域が出てきます。そうなると、ノイズを消すだけで“情報”まで消えてしまう。
結局、どこかで推定(=当てにいく処理)が必要になってしまうんです。

だから僕は、やるなら「盛る」のではなく、「盛ってしまう危険を理解した上で、破綻を減らす設計に寄せる」方向が現実的だと思っています。
DarkDiffが“ハルシネーションを抑える工夫”を強調しているのは、まさにそのためですよね。

ひとこと:暗所写真は、AIの“倫理”がいちばん出る場所

暗所って、カメラの限界がいちばん露骨に出る場面です。
だからこそ、AIで救えると気持ちいい。でも同時に「それ、見たままなの?」という不安も出やすい。

個人的には、ここを“魔法”として売るより、どの程度入力に忠実で、どの程度推定が入るのかを、ユーザーが選べる未来がいちばん納得感があると思っています。
あなたは暗所写真、ノイズが残ってもリアル寄り派ですか?それとも見やすさ優先派ですか?

Redditの反応まとめ

  • AIでやりすぎると不自然になるので、強めの処理は避けてほしい
  • 写真のあとから“追加”される感じが嫌で、ノイズ除去くらいに留めてほしい
  • 暗所はノイズが信号を上回る場面があり、単純な除去だけでは細部も消える
  • ノイズを消しすぎると逆にボケるので、見た目のバランスが難しい
  • 拡散モデルは性質上ハルシネーションがゼロにはならない、という冷静な指摘もある

海外でも「暗所は助けたい、でも盛りすぎは嫌」という温度で賛否が割れている印象です。

まとめ:DarkDiffは“暗所の限界”に正面から挑む研究

9to5Macによると、Appleの研究者たちは、拡散モデルをカメラISPに統合する形で暗所RAWを強化する「DarkDiff」を提案しました。
暗所で起きがちな“のっぺり”を避けつつ、細部を戻す方向を狙っています。

一方で計算コストが重く、クラウド処理が必要になるかもしれないなど、すぐにiPhoneに来ると断言できる話ではありません。
ただ、暗所写真はスマホの価値を一段押し上げる分野でもあるので、こういう研究が積み上がっていくのは素直にワクワクします。

ではまた!

双眼鏡【IFデザイン賞受賞】20倍防振オペラグラス。暗所や遠景のディテールを安定して確認できるコンパクト双眼鏡

双眼鏡【IFデザイン賞受賞】20倍 防振 オペラグラス

  • Biyoso

AIが描いた細部は、本当にそこにあったのか。
拡大して疑うところまでが、現代の写真体験です。

Amazon

Source: 9to5Mac