Skip to content

Commit 9af3a7b

Browse files
lidge-junx3M3x
andauthored
fix(catalog): advertise image input for modalities-declared sidecar rows (#3105)
* fix(catalog): advertise image input for modalities-declared sidecar rows The runtime vision gate (isModelTextOnly) covers models listed in noVisionModels OR declared text-only via modelInputModalities (upstream fde2a95, #1024), but both catalog advertise sites only checked noVisionModels. A sidecar-covered model - and every combo built from it - stayed advertised text-only in /v1/models, so the Codex app blocked image attachments client-side before the sidecar could run ('This model does not support image inputs'). Mirror isModelTextOnly in applyProviderConfigHints and the custom-model override: a declared text-only modelInputModalities entry now advertises image on top of its configured base. Discovery-derived text-only rows stay untouched (the runtime predicate does not cover those), and declared-image rows are never duplicated. Combos inherit the fix through their hinted members; no config hand-editing needed. Update the three tests that encoded the old drift and add regressions for the hint pass, the custom-model override, and combo derivation. (cherry picked from commit ed8f5a4) * docs(sidecars): qualify combo image advertising with imageInput setting (cherry picked from commit 77d614a) * docs(sidecars): condition image description on sidecar plan availability Addresses the open CodeRabbit review comments: state that description runs only when a vision sidecar plan is available (raw image stripped otherwise, no description attempted), and name the combo imageInput setting explicitly with sidecar-covered membership. (cherry picked from commit 374139e) * fix(vision): share sidecar consumer predicate * docs(vision): align fallback and coverage wording --------- Co-authored-by: x3M3x <[email protected]>
1 parent 0db8066 commit 9af3a7b

15 files changed

Lines changed: 281 additions & 70 deletions

File tree

‎docs-site/src/content/docs/fr/guides/sidecars.md‎

Lines changed: 10 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -85,9 +85,14 @@ les échecs de génération postérieurs à l'envoi des en-têtes sont transmis
8585

8686
## Service auxiliaire de vision
8787

88-
Lorsque le modèle routé est répertorié dans le `noVisionModels` de son fournisseur et qu'une requête porte une image,
89-
opencodex décrit chaque image **avant** l'appel principal et la remplace par du texte. Quand
90-
si `visionSidecar.model` est absent ou vide, le chemin d'exécution OpenAI, le tableau de bord et l'API de gestion
88+
Lorsqu'un modèle routé figure dans le `noVisionModels` de son fournisseur — ou est déclaré texte seul pour ce modèle
89+
via `modelInputModalities` — et qu'une requête porte une image, opencodex décrit chaque image **avant** l'appel principal
90+
et la remplace par du texte, à condition qu'un plan de sidecar vision soit disponible. Sans plan disponible, l'image brute
91+
est supprimée au lieu d'être transmise à un backend texte seul. Le catalogue de modèles annonce l'entrée image pour chaque
92+
modèle couvert par le sidecar. Les combos annoncent l'entrée image seulement lorsque chaque membre accepte les images,
93+
nativement ou via un sidecar, et que le paramètre `imageInput` du combo n'est pas désactivé, afin que des clients comme
94+
l'application Codex autorisent les pièces jointes au lieu de les bloquer avant l'exécution du sidecar. Lorsque
95+
`visionSidecar.model` est absent ou vide, le chemin d'exécution OpenAI, le tableau de bord et l'API de gestion
9196
utilisent le modèle de repli `gpt-5.4-mini`. Au démarrage, une ancienne valeur `gpt-5.4-mini` explicitement enregistrée
9297
est toujours migrée vers `gpt-5.6-luna` ; cette migration s'applique à une valeur stockée, et non à l'absence du
9398
champ du modèle.
@@ -108,8 +113,8 @@ champ du modèle.
108113
les images distantes `https` sont récupérées par le moteur OpenAI, et non par le proxy.
109114
- La correspondance `noVisionModels` ignore un suffixe `:size` de style Ollama, donc une entrée `gpt-oss` couvre également
110115
`gpt-oss:120b`.
111-
- Si la description échoue, le modèle reçoit un bref marqueur d'erreur de traitement. Si aucun service auxiliaire n'est
112-
disponible, l'image brute est supprimée plutôt que transmise à un moteur limité au texte.
116+
- Si la description échoue, le modèle reçoit un bref marqueur d'erreur de traitement. (Sans plan de sidecar disponible,
117+
aucune description n'est tentée : l'image brute est supprimée comme indiqué ci-dessus.)
113118
- `maxDescriptionsPerTurn` (8 par défaut) limite les nouvelles descriptions par tour du modèle principal. Les résultats du cache et
114119
les doublons au même tour ne le consomment pas. Les descriptions d'images `data:` réussies sont mises en cache par
115120
moteur, modèle, niveau de détail, octets de l'image et contexte du message — ainsi que l'effort de raisonnement dans les

‎docs-site/src/content/docs/guides/sidecars.md‎

Lines changed: 10 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -123,8 +123,14 @@ failures after response headers have started are delivered as `response.failed`
123123

124124
## Vision sidecar
125125

126-
When the routed model is listed in its provider's `noVisionModels` and a request carries an image,
127-
opencodex describes each image **before** the main call and replaces it with text. When
126+
When the routed model is listed in its provider's `noVisionModels` — or declared text-only for
127+
that model via `modelInputModalities` — and a request carries an image, opencodex describes each
128+
image **before** the main call and replaces it with text, provided a vision sidecar plan is
129+
available. Without an available plan the raw image is stripped rather than forwarded to a
130+
text-only backend. The model catalog advertises image input for every sidecar-covered model.
131+
Combos advertise image input only when every member accepts images, either natively or through a
132+
sidecar, and the combo's `imageInput` setting is not disabled, so clients such as the Codex app
133+
allow attachments instead of blocking them before the sidecar runs. When
128134
`visionSidecar.model` is absent or blank, the OpenAI execution path, Dashboard, and management API
129135
use the `gpt-5.4-mini` fallback. Startup still migrates an explicitly persisted legacy
130136
`gpt-5.4-mini` value to `gpt-5.6-luna`; that migration applies to a stored value, not to an absent
@@ -146,8 +152,8 @@ model field.
146152
remote `https` images are fetched by the OpenAI backend, not by the proxy.
147153
- `noVisionModels` matching ignores an Ollama-style `:size` suffix, so a `gpt-oss` entry also covers
148154
`gpt-oss:120b`.
149-
- If description fails, the model receives a short processing-error marker. If no sidecar plan is
150-
available, the raw image is stripped rather than forwarded to a text-only backend.
155+
- If description fails, the model receives a short processing-error marker. (Without an available
156+
sidecar plan, no description is attempted — the raw image is stripped, as described above.)
151157
- `maxDescriptionsPerTurn` (default 8) limits new descriptions per main-model turn. Cache hits and
152158
same-turn duplicates do not consume it. Successful `data:` image descriptions are cached by
153159
backend, model, detail, image bytes, and message context — plus the reasoning effort on OpenAI

‎docs-site/src/content/docs/ja/guides/sidecars.md‎

Lines changed: 9 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -69,8 +69,13 @@ stall は全体生成 timeout ではありません。SSE 開始前の失敗は
6969

7070
## ビジョンサイドカー
7171

72-
ルーティングモデルが該当プロバイダーの `noVisionModels` にありリクエストに画像が来る場合、opencodex は
73-
メイン呼び出し**前に**各画像を説明したテキストに差し替えます。`visionSidecar.model` が未設定または空の場合、
72+
ルーティングモデルが該当プロバイダーの `noVisionModels` にある、またはそのモデルが
73+
`modelInputModalities` でテキスト専用と宣言され、リクエストに画像が来る場合、opencodex は利用可能な
74+
ビジョンサイドカー計画があるときに限り、メイン呼び出し**前に**各画像を説明したテキストに差し替えます。
75+
計画が利用できない場合は、生の画像をテキスト専用バックエンドへ転送せず削除します。モデルカタログは
76+
サイドカー対象の各モデルに画像入力を広告します。コンボは、すべてのメンバーがネイティブまたはサイドカーを
77+
通じて画像を受け入れ、かつコンボの `imageInput` 設定が無効でない場合にのみ画像入力を広告します。これにより
78+
Codex アプリなどのクライアントは、サイドカー実行前に添付をブロックせず許可できます。`visionSidecar.model` が未設定または空の場合、
7479
OpenAI 実行経路、ダッシュボード、管理 API は `gpt-5.4-mini` をフォールバックとして使います。起動時には
7580
明示的に保存された旧 `gpt-5.4-mini` 値を引き続き `gpt-5.6-luna` にマイグレーションしますが、この
7681
マイグレーションは保存済みの値だけが対象で、モデルフィールドがない場合には適用されません。
@@ -92,8 +97,8 @@ OpenAI 実行経路、ダッシュボード、管理 API は `gpt-5.4-mini` を
9297
リモート `https` 画像はプロキシではなく OpenAI バックエンドが取得します。
9398
- `noVisionModels` 比較は Ollama 式の `:size` 接尾辞を無視するため `gpt-oss` 項目 1 つで
9499
`gpt-oss:120b` も処理できます。
95-
- 画像説明が失敗すると短い処理エラー案内文をモデルに渡します。サイドカー計画自体を作れない場合は
96-
テキスト専用バックエンドに元画像を送らず削除します。
100+
- 画像説明が失敗すると短い処理エラー案内文をモデルに渡します。(利用可能なサイドカー計画がない場合は
101+
説明を試みず、上記のとおり元画像を削除します。)
97102
- `maxDescriptionsPerTurn`(デフォルト 8)はメインモデル 1 ターンで新規実行する説明数を制限します。キャッシュ
98103
ヒットと同じターンの重複要求は限度を消費しません。成功した `data:` 画像説明はバックエンド、モデル、
99104
detail、画像バイト、メッセージ文脈を基準にキャッシュし、OpenAI のキーには推論負荷も含まれます

‎docs-site/src/content/docs/ko/guides/sidecars.md‎

Lines changed: 9 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -71,8 +71,13 @@ stall은 전체 생성 timeout이 아닙니다. SSE가 시작되기 전 실패
7171

7272
## 비전 사이드카
7373

74-
라우팅 모델이 해당 프로바이더의 `noVisionModels`에 있고 요청에 이미지가 들어오면, opencodex는
75-
메인 호출 **전에** 각 이미지를 설명한 텍스트로 바꿉니다. `visionSidecar.model`이 없거나 빈 값이면
74+
라우팅 모델이 해당 프로바이더의 `noVisionModels`에 있거나 해당 모델이 `modelInputModalities`에서
75+
텍스트 전용으로 선언되어 있고 요청에 이미지가 들어오면, opencodex는 사용 가능한 비전 사이드카 계획이 있을 때에만
76+
메인 호출 **전에** 각 이미지를 설명한 텍스트로 바꿉니다. 사용 가능한 계획이 없으면 원본 이미지는 텍스트 전용
77+
백엔드로 전달되지 않고 제거됩니다. 모델 카탈로그는 사이드카로 처리되는 모든 모델에 image input을 알립니다.
78+
콤보는 모든 멤버가 네이티브로 또는 사이드카를 통해 이미지를 수용하고 콤보의 `imageInput` 설정이 비활성화되지 않은
79+
경우에만 image input을 알립니다. 따라서 Codex 앱 같은 클라이언트는 사이드카가 실행되기 전에 첨부를 차단하지 않고 허용합니다.
80+
`visionSidecar.model`이 없거나 빈 값이면
7681
OpenAI 실행 경로, Dashboard, 관리 API는 `gpt-5.4-mini`를 폴백으로 사용합니다. 시작 시 명시적으로
7782
저장된 기존 `gpt-5.4-mini` 값은 계속 `gpt-5.6-luna`로 마이그레이션되지만, 이 마이그레이션은 저장된
7883
값에만 적용되고 모델 필드가 없는 경우에는 적용되지 않습니다.
@@ -94,8 +99,8 @@ OpenAI 실행 경로, Dashboard, 관리 API는 `gpt-5.4-mini`를 폴백으로
9499
원격 `https` 이미지는 프록시가 아니라 OpenAI 백엔드가 가져옵니다.
95100
- `noVisionModels` 비교는 Ollama식 `:size` 접미사를 무시하므로 `gpt-oss` 항목 하나로
96101
`gpt-oss:120b`도 처리할 수 있습니다.
97-
- 이미지 설명이 실패하면 짧은 처리 오류 안내문을 모델에 전달합니다. 사이드카 계획 자체를 만들 수
98-
없으면 텍스트 전용 백엔드에 원본 이미지를 보내지 않고 제거합니다.
102+
- 이미지 설명이 실패하면 짧은 처리 오류 안내문을 모델에 전달합니다. (사용 가능한 사이드카 계획이 없으면
103+
설명을 시도하지 않고 위에서 설명한 대로 원본 이미지를 제거합니다.)
99104
- `maxDescriptionsPerTurn`(기본값 8)은 메인 모델 한 턴에서 새로 실행할 설명 수를 제한합니다. 캐시
100105
적중과 같은 턴의 중복 요청은 한도를 쓰지 않습니다. 성공한 `data:` 이미지 설명은 백엔드, 모델,
101106
detail, 이미지 바이트, 메시지 문맥을 기준으로 캐시하며, OpenAI 키에는 추론 강도도 포함됩니다

‎docs-site/src/content/docs/ru/guides/sidecars.md‎

Lines changed: 10 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -80,9 +80,14 @@ SSE-событие `response.failed`.
8080

8181
## Vision-сайдкар
8282

83-
Когда маршрутизируемая модель указана в `noVisionModels` своего провайдера, а запрос содержит
84-
изображение, opencodex описывает каждое изображение **до** основного вызова и заменяет его текстом.
85-
Если `visionSidecar.model` отсутствует или пуст, путь выполнения OpenAI, дашборд и API управления
83+
Когда маршрутизируемая модель указана в `noVisionModels` своего провайдера — либо для неё в
84+
`modelInputModalities` явно указана только текстовая модальность — и запрос содержит изображение,
85+
opencodex описывает каждое изображение **до** основного вызова и заменяет его текстом, если доступен
86+
план vision-сайдкара. Без доступного плана исходное изображение удаляется, а не передаётся текстовому
87+
бэкенду. Каталог моделей объявляет вход изображений для каждой модели, покрытой сайдкаром. Комбо
88+
объявляют вход изображений только если каждый участник принимает изображения нативно или через
89+
сайдкар и параметр комбо `imageInput` не отключён; поэтому такие клиенты, как приложение Codex,
90+
разрешают вложения вместо их блокировки до запуска сайдкара. Если `visionSidecar.model` отсутствует или пуст, путь выполнения OpenAI, дашборд и API управления
8691
используют фолбэк `gpt-5.4-mini`. При запуске явно сохранённое устаревшее значение
8792
`gpt-5.4-mini` по-прежнему мигрирует на `gpt-5.6-luna`; миграция применяется только к сохранённому
8893
значению, а не к отсутствующему полю модели.
@@ -106,8 +111,8 @@ SSE-событие `response.failed`.
106111
`data:` и `https:`; удалённые `https`-изображения загружает бэкенд OpenAI, а не прокси.
107112
- Сопоставление `noVisionModels` игнорирует суффикс `:size` в стиле Ollama, поэтому запись
108113
`gpt-oss` покрывает и `gpt-oss:120b`.
109-
- Если описание не удалось, модель получает короткий маркер ошибки обработки. Если план сайдкара
110-
недоступен, исходное изображение удаляется, а не пересылается текстовому бэкенду.
114+
- Если описание не удалось, модель получает короткий маркер ошибки обработки. (Если доступного плана
115+
сайдкара нет, описание не запускается, а исходное изображение удаляется, как описано выше.)
111116
- `maxDescriptionsPerTurn` (по умолчанию 8) ограничивает число новых описаний за один ход основной
112117
модели. Попадания в кэш и дубликаты в рамках того же хода лимит не расходуют. Успешные описания
113118
`data:`-изображений кэшируются по бэкенду, модели, детализации, байтам изображения и контексту

‎docs-site/src/content/docs/tr/guides/sidecars.md‎

Lines changed: 12 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -103,9 +103,16 @@ durma, toplam bir üretim zaman aşımı değildir. SSE başlamadan önceki arı
103103

104104
## Vizyon sidecar'ı
105105

106-
Yönlendirilen model sağlayıcısının `noVisionModels` listesinde yer aldığında ve
107-
bir istek görsel taşıdığında, opencodex ana çağrıdan **önce** her görseli
108-
açıklar ve onu metinle değiştirir. `visionSidecar.model` olmadığında veya boş
106+
Yönlendirilen model sağlayıcısının `noVisionModels` listesinde yer aldığında ya da
107+
bu model için `modelInputModalities` ile salt metin olarak bildirildiğinde ve bir
108+
istek görsel taşıdığında, opencodex kullanılabilir bir vision sidecar planı varsa
109+
ana çağrıdan **önce** her görseli açıklar ve onu metinle değiştirir. Kullanılabilir
110+
bir plan yoksa ham görsel salt metin arka ucuna iletilmek yerine kaldırılır. Model
111+
kataloğu sidecar kapsamında olan her model için görsel girdisini bildirir. Kombolar,
112+
her üye görselleri yerel olarak veya bir sidecar üzerinden kabul ettiğinde ve kombonun
113+
`imageInput` ayarı devre dışı olmadığında görsel girdisini bildirir; böylece Codex
114+
uygulaması gibi istemciler, sidecar çalışmadan önce ekleri engellemek yerine kabul eder.
115+
`visionSidecar.model` olmadığında veya boş
109116
olduğunda, OpenAI yürütme yolu, Kontrol Paneli ve yönetim API'si `gpt-5.4-mini`
110117
geri dönüşünü kullanır. Başlangıç hala açıkça kalıcı hale getirilmiş eski bir
111118
`gpt-5.4-mini` değerini `gpt-5.6-luna`'ya geçirir; bu geçiş, bulunmayan bir
@@ -135,9 +142,8 @@ model alanına değil, saklanan bir değere uygulanır.
135142
görselleri proxy tarafından değil, OpenAI arka ucu tarafından getirilir.
136143
- `noVisionModels` eşleştirmesi Ollama tarzı bir `:size` sonekini yok sayar, bu
137144
nedenle bir `gpt-oss` girdisi `gpt-oss:120b`'yi de kapsar.
138-
- Açıklama başarısız olursa model kısa bir işleme hatası işaretçisi alır.
139-
Kullanılabilir hiçbir sidecar planı yoksa ham görsel salt metin bir arka uca
140-
iletilmek yerine kaldırılır.
145+
- Açıklama başarısız olursa model kısa bir işleme hatası işaretçisi alır. (Kullanılabilir bir
146+
sidecar planı yoksa açıklama denenmez; ham görsel yukarıda belirtildiği gibi kaldırılır.)
141147
- `maxDescriptionsPerTurn` (varsayılan 8), ana model turu başına yeni
142148
açıklamaları sınırlar. Önbellek isabetleri ve aynı turdaki kopyalar bunu
143149
tüketmez. Başarılı `data:` görsel açıklamaları arka uç, model, ayrıntı, görsel
@@ -197,4 +203,3 @@ hedeflenen hesap ve iş yükü ile kapsamlı bir şekilde test edilmelidir.
197203

198204
Her alan için [Yapılandırma referansı](/tr/reference/configuration/#sidecars)
199205
bölümüne bakın.
200-

‎docs-site/src/content/docs/zh-cn/guides/sidecars.md‎

Lines changed: 7 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -64,8 +64,11 @@ OAuth 账户时使用 `anthropic`,否则使用 `openai`。显式选择 `anthro
6464

6565
## Vision sidecar
6666

67-
当路由模型列在其 provider 的 `noVisionModels` 中,并且请求包含图像时,opencodex 会在主调用
68-
**之前**描述每张图像,并用文字替换图像。当 `visionSidecar.model` 缺失或为空时,OpenAI 执行路径、
67+
当路由模型列在其 provider 的 `noVisionModels` 中,或该模型在 `modelInputModalities` 中被声明为仅文本,
68+
并且请求包含图像时,只要有可用的 vision sidecar plan,opencodex 就会在主调用**之前**描述每张图像并用文字替换图像。
69+
如果没有可用 plan,原始图像会被移除,而不会继续转发给纯文本后端。模型目录会为每个由 sidecar 覆盖的模型声明图像输入。
70+
只有当每个 combo 成员都能原生或通过 sidecar 接受图像、且 combo 的 `imageInput` 设置未禁用时,combo 才会声明图像输入;
71+
这样 Codex 应用等客户端会允许附件,而不会在 sidecar 运行前阻止它们。当 `visionSidecar.model` 缺失或为空时,OpenAI 执行路径、
6972
Dashboard 和管理 API 都使用 `gpt-5.4-mini` 作为回退。启动时仍会把明确保存的旧
7073
`gpt-5.4-mini` 值迁移到 `gpt-5.6-luna`;该迁移只作用于已保存值,不适用于缺失的 model 字段。
7174

@@ -83,8 +86,8 @@ Dashboard 和管理 API 都使用 `gpt-5.4-mini` 作为回退。启动时仍会
8386
而不是代理。
8487
- `noVisionModels` 匹配会忽略 Ollama 风格的 `:size` 后缀,因此一个 `gpt-oss` 条目也能覆盖
8588
`gpt-oss:120b`。
86-
- 如果描述失败,模型会收到简短的处理错误提示。若根本无法建立 sidecar plan,原始图像会被
87-
移除,而不会继续转发给纯文本后端。
89+
- 如果描述失败,模型会收到简短的处理错误提示。(如果没有可用的 sidecar plan,则不会尝试描述,
90+
原始图像会按上文所述被移除。)
8891
- `maxDescriptionsPerTurn`(默认 8)限制每个主模型 turn 的新增描述次数。缓存命中和同一 turn
8992
的重复请求不会消耗配额。成功的 `data:` 图像描述会按后端、模型、detail、图像字节和消息上下文
9093
缓存;OpenAI 的缓存键还会额外包含推理强度(Anthropic 键不含,因为该字段在那里被忽略)。

0 commit comments

Comments
 (0)