@@ -63,6 +63,9 @@ pub struct Pricing {
6363 pub ( crate ) cache_create : f64 ,
6464 pub cache_read : f64 ,
6565 pub cache_read_explicit : bool ,
66+ /// Whether `cache_create` came from published data rather than the derived
67+ /// `input * 1.25` default, so provider-fact patches know what they may fix.
68+ pub cache_create_explicit : bool ,
6669 pub input_above_200k : Option < f64 > ,
6770 pub output_above_200k : Option < f64 > ,
6871 pub ( crate ) cache_create_above_200k : Option < f64 > ,
@@ -86,6 +89,7 @@ impl Pricing {
8689 cache_create : 0.0 ,
8790 cache_read : 0.0 ,
8891 cache_read_explicit : false ,
92+ cache_create_explicit : false ,
8993 input_above_200k : None ,
9094 output_above_200k : None ,
9195 cache_create_above_200k : None ,
@@ -695,6 +699,7 @@ impl PricingMap {
695699 } ;
696700 let context_limit = pricing. max_input_tokens ;
697701 let cache_read_explicit = pricing. cache_read_input_token_cost . is_some ( ) ;
702+ let cache_create_explicit = pricing. cache_creation_input_token_cost . is_some ( ) ;
698703 let fast_multiplier = pricing
699704 . provider_specific_entry
700705 . and_then ( |entry| entry. fast )
@@ -710,6 +715,7 @@ impl PricingMap {
710715 . unwrap_or ( input * 1.25 ) ,
711716 cache_read : pricing. cache_read_input_token_cost . unwrap_or ( input * 0.1 ) ,
712717 cache_read_explicit,
718+ cache_create_explicit,
713719 input_above_200k : pricing. input_cost_per_token_above_200k_tokens ,
714720 output_above_200k : pricing. output_cost_per_token_above_200k_tokens ,
715721 cache_create_above_200k : pricing
@@ -875,6 +881,7 @@ impl PricingMap {
875881 let input = input / 1_000_000.0 ;
876882 let output = output / 1_000_000.0 ;
877883 let cache_read_explicit = cost. cache_read . is_some ( ) ;
884+ let cache_create_explicit = cost. cache_write . is_some ( ) ;
878885 self . entries . insert (
879886 model_id. clone ( ) ,
880887 Pricing {
@@ -889,6 +896,7 @@ impl PricingMap {
889896 . map ( |value| value / 1_000_000.0 )
890897 . unwrap_or ( input * 0.1 ) ,
891898 cache_read_explicit,
899+ cache_create_explicit,
892900 input_above_200k : long_context. and_then ( |rates| rates. input ) ,
893901 output_above_200k : long_context. and_then ( |rates| rates. output ) ,
894902 cache_create_above_200k : long_context. and_then ( |rates| rates. cache_create ) ,
@@ -1208,6 +1216,8 @@ impl PricingMap {
12081216 cache_read,
12091217 cache_read_explicit : override_value. cache_read_input_token_cost . is_some ( )
12101218 || base. cache_read_explicit ,
1219+ cache_create_explicit : override_value. cache_creation_input_token_cost . is_some ( )
1220+ || base. cache_create_explicit ,
12111221 input_above_200k : override_value
12121222 . input_cost_per_token_above_200k_tokens
12131223 . or ( base. input_above_200k ) ,
@@ -1304,16 +1314,12 @@ impl PricingMap {
13041314 std:: collections:: hash_map:: Entry :: Occupied ( mut existing) => {
13051315 let existing = existing. get_mut ( ) ;
13061316 if !existing. cache_read_explicit {
1307- existing. cache_create = pricing. cache_create ;
13081317 existing. cache_read = pricing. cache_read ;
13091318 existing. cache_read_explicit = true ;
1310- } else if existing. cache_create == existing. input * 1.25 {
1311- // `Pricing` records only cache-read explicitness, so a
1312- // snapshot publishing a read rate but no write rate leaves
1313- // the write at the derived default - recognizable exactly,
1314- // because it is this same computation - and z.ai bills no
1315- // cache writes at all.
1319+ }
1320+ if !existing. cache_create_explicit {
13161321 existing. cache_create = pricing. cache_create ;
1322+ existing. cache_create_explicit = true ;
13171323 }
13181324 }
13191325 std:: collections:: hash_map:: Entry :: Vacant ( slot) => {
@@ -1336,6 +1342,7 @@ impl PricingMap {
13361342 cache_create : 6.25e-6 ,
13371343 cache_read : 0.5e-6 ,
13381344 cache_read_explicit : true ,
1345+ cache_create_explicit : true ,
13391346 input_above_200k : None ,
13401347 output_above_200k : None ,
13411348 cache_create_above_200k : None ,
@@ -1352,6 +1359,7 @@ impl PricingMap {
13521359 cache_create : 6.25e-6 ,
13531360 cache_read : 0.5e-6 ,
13541361 cache_read_explicit : true ,
1362+ cache_create_explicit : true ,
13551363 input_above_200k : None ,
13561364 output_above_200k : None ,
13571365 cache_create_above_200k : None ,
@@ -1370,6 +1378,7 @@ impl PricingMap {
13701378 cache_create : 6.25e-6 ,
13711379 cache_read : 0.5e-6 ,
13721380 cache_read_explicit : true ,
1381+ cache_create_explicit : true ,
13731382 input_above_200k : None ,
13741383 output_above_200k : None ,
13751384 cache_create_above_200k : None ,
@@ -1388,6 +1397,7 @@ impl PricingMap {
13881397 cache_create : 6.25e-6 ,
13891398 cache_read : 0.5e-6 ,
13901399 cache_read_explicit : true ,
1400+ cache_create_explicit : true ,
13911401 input_above_200k : None ,
13921402 output_above_200k : None ,
13931403 cache_create_above_200k : None ,
@@ -1406,6 +1416,7 @@ impl PricingMap {
14061416 cache_create : 1.25e-6 ,
14071417 cache_read : 0.1e-6 ,
14081418 cache_read_explicit : true ,
1419+ cache_create_explicit : true ,
14091420 input_above_200k : None ,
14101421 output_above_200k : None ,
14111422 cache_create_above_200k : None ,
@@ -1422,6 +1433,7 @@ impl PricingMap {
14221433 cache_create : 18.75e-6 ,
14231434 cache_read : 1.5e-6 ,
14241435 cache_read_explicit : true ,
1436+ cache_create_explicit : true ,
14251437 input_above_200k : None ,
14261438 output_above_200k : None ,
14271439 cache_create_above_200k : None ,
@@ -1438,6 +1450,7 @@ impl PricingMap {
14381450 cache_create : 3.75e-6 ,
14391451 cache_read : 0.3e-6 ,
14401452 cache_read_explicit : true ,
1453+ cache_create_explicit : true ,
14411454 input_above_200k : None ,
14421455 output_above_200k : None ,
14431456 cache_create_above_200k : None ,
@@ -1454,6 +1467,7 @@ impl PricingMap {
14541467 cache_create : 3.75e-6 ,
14551468 cache_read : 0.3e-6 ,
14561469 cache_read_explicit : true ,
1470+ cache_create_explicit : true ,
14571471 input_above_200k : Some ( 6e-6 ) ,
14581472 output_above_200k : Some ( 22.5e-6 ) ,
14591473 cache_create_above_200k : Some ( 7.5e-6 ) ,
@@ -1468,6 +1482,7 @@ impl PricingMap {
14681482 cache_create : 1.0e-6 ,
14691483 cache_read : 0.08e-6 ,
14701484 cache_read_explicit : true ,
1485+ cache_create_explicit : true ,
14711486 input_above_200k : None ,
14721487 output_above_200k : None ,
14731488 cache_create_above_200k : None ,
@@ -1485,6 +1500,7 @@ impl PricingMap {
14851500 cache_create : 18.75e-6 ,
14861501 cache_read : 1.5e-6 ,
14871502 cache_read_explicit : true ,
1503+ cache_create_explicit : true ,
14881504 input_above_200k : None ,
14891505 output_above_200k : None ,
14901506 cache_create_above_200k : None ,
@@ -1501,6 +1517,7 @@ impl PricingMap {
15011517 cache_create : 3.75e-6 ,
15021518 cache_read : 0.3e-6 ,
15031519 cache_read_explicit : true ,
1520+ cache_create_explicit : true ,
15041521 input_above_200k : None ,
15051522 output_above_200k : None ,
15061523 cache_create_above_200k : None ,
@@ -1517,6 +1534,7 @@ impl PricingMap {
15171534 cache_create : 0.3e-6 ,
15181535 cache_read : 0.03e-6 ,
15191536 cache_read_explicit : true ,
1537+ cache_create_explicit : true ,
15201538 input_above_200k : None ,
15211539 output_above_200k : None ,
15221540 cache_create_above_200k : None ,
@@ -1533,6 +1551,7 @@ impl PricingMap {
15331551 cache_create : 1.25e-6 ,
15341552 cache_read : 0.125e-6 ,
15351553 cache_read_explicit : true ,
1554+ cache_create_explicit : true ,
15361555 input_above_200k : None ,
15371556 output_above_200k : None ,
15381557 cache_create_above_200k : None ,
@@ -1549,6 +1568,7 @@ impl PricingMap {
15491568 cache_create : 5e-6 ,
15501569 cache_read : 0.5e-6 ,
15511570 cache_read_explicit : true ,
1571+ cache_create_explicit : true ,
15521572 input_above_200k : None ,
15531573 output_above_200k : None ,
15541574 cache_create_above_200k : None ,
@@ -1567,6 +1587,7 @@ impl PricingMap {
15671587 cache_create : 1.25e-6 ,
15681588 cache_read : 0.125e-6 ,
15691589 cache_read_explicit : false ,
1590+ cache_create_explicit : false ,
15701591 input_above_200k : None ,
15711592 output_above_200k : None ,
15721593 cache_create_above_200k : None ,
@@ -1584,6 +1605,7 @@ impl PricingMap {
15841605 cache_create : 0.75e-6 ,
15851606 cache_read : 0.1e-6 ,
15861607 cache_read_explicit : true ,
1608+ cache_create_explicit : true ,
15871609 input_above_200k : None ,
15881610 output_above_200k : None ,
15891611 cache_create_above_200k : None ,
@@ -1601,6 +1623,7 @@ impl PricingMap {
16011623 cache_create : 1.1875e-6 ,
16021624 cache_read : 0.16e-6 ,
16031625 cache_read_explicit : true ,
1626+ cache_create_explicit : true ,
16041627 input_above_200k : None ,
16051628 output_above_200k : None ,
16061629 cache_create_above_200k : None ,
@@ -1615,6 +1638,7 @@ impl PricingMap {
16151638 cache_create : 1.25e-6 ,
16161639 cache_read : 0.125e-6 ,
16171640 cache_read_explicit : true ,
1641+ cache_create_explicit : true ,
16181642 input_above_200k : None ,
16191643 output_above_200k : None ,
16201644 cache_create_above_200k : None ,
@@ -1631,6 +1655,7 @@ impl PricingMap {
16311655 cache_create : 1.75e-6 ,
16321656 cache_read : 0.175e-6 ,
16331657 cache_read_explicit : true ,
1658+ cache_create_explicit : true ,
16341659 input_above_200k : None ,
16351660 output_above_200k : None ,
16361661 cache_create_above_200k : None ,
@@ -1659,6 +1684,7 @@ impl PricingMap {
16591684 cache_create : 2.5e-6 ,
16601685 cache_read : 0.25e-6 ,
16611686 cache_read_explicit : true ,
1687+ cache_create_explicit : true ,
16621688 input_above_200k : None ,
16631689 output_above_200k : None ,
16641690 cache_create_above_200k : None ,
@@ -1677,6 +1703,7 @@ impl PricingMap {
16771703 cache_create : 0.75e-6 ,
16781704 cache_read : 0.075e-6 ,
16791705 cache_read_explicit : true ,
1706+ cache_create_explicit : true ,
16801707 input_above_200k : None ,
16811708 output_above_200k : None ,
16821709 cache_create_above_200k : None ,
@@ -1693,6 +1720,7 @@ impl PricingMap {
16931720 cache_create : 0.2e-6 ,
16941721 cache_read : 0.02e-6 ,
16951722 cache_read_explicit : true ,
1723+ cache_create_explicit : true ,
16961724 input_above_200k : None ,
16971725 output_above_200k : None ,
16981726 cache_create_above_200k : None ,
@@ -1718,6 +1746,7 @@ impl PricingMap {
17181746 cache_create,
17191747 cache_read,
17201748 cache_read_explicit : true ,
1749+ cache_create_explicit : true ,
17211750 input_above_200k : None ,
17221751 output_above_200k : None ,
17231752 cache_create_above_200k : None ,
@@ -1736,6 +1765,7 @@ impl PricingMap {
17361765 cache_create : 0.0 ,
17371766 cache_read,
17381767 cache_read_explicit : true ,
1768+ cache_create_explicit : true ,
17391769 input_above_200k : None ,
17401770 output_above_200k : None ,
17411771 cache_create_above_200k : None ,
@@ -2385,6 +2415,37 @@ mod tests {
23852415 assert_eq ! ( pricing. context_limit( "zai/glm-4.5" ) , Some ( 128_000 ) ) ;
23862416 }
23872417
2418+ #[ test]
2419+ fn glm_cache_patch_keeps_an_explicitly_published_cache_write_rate ( ) {
2420+ // A published cache-write rate survives the z.ai patch even when it
2421+ // happens to equal the derived `input * 1.25` default: explicitness is
2422+ // tracked, not inferred from the value.
2423+ let mut pricing = PricingMap :: default ( ) ;
2424+ pricing. load_json (
2425+ r#"{
2426+ "zai/glm-test-model": {
2427+ "input_cost_per_token": 0.2,
2428+ "output_cost_per_token": 1.1,
2429+ "cache_read_input_token_cost": 0.03,
2430+ "cache_creation_input_token_cost": 0.25
2431+ }
2432+ }"# ,
2433+ ) ;
2434+ let zeroed = Pricing {
2435+ cache_create : 0.0 ,
2436+ cache_read : 0.03 ,
2437+ cache_read_explicit : true ,
2438+ cache_create_explicit : true ,
2439+ ..Pricing :: empty ( )
2440+ } ;
2441+
2442+ pricing. put_builtin_glm ( "zai/glm-test-model" , zeroed) ;
2443+
2444+ let entry = pricing. find_exact ( "zai/glm-test-model" ) . unwrap ( ) ;
2445+ assert_eq ! ( entry. cache_create, 0.25 ) ;
2446+ assert_eq ! ( entry. cache_read, 0.03 ) ;
2447+ }
2448+
23882449 #[ test]
23892450 fn embedded_pricing_patches_z_ai_glm_entries_without_litellm_cache_rates ( ) {
23902451 let pricing = PricingMap :: load_embedded ( ) ;
@@ -3757,6 +3818,7 @@ mod tests {
37573818 cache_create : 6.25e-6 ,
37583819 cache_read : 0.5e-6 ,
37593820 cache_read_explicit : true ,
3821+ cache_create_explicit : true ,
37603822 input_above_200k : None ,
37613823 output_above_200k : None ,
37623824 cache_create_above_200k : None ,
@@ -3773,6 +3835,7 @@ mod tests {
37733835 cache_create : 18.75e-6 ,
37743836 cache_read : 1.5e-6 ,
37753837 cache_read_explicit : true ,
3838+ cache_create_explicit : true ,
37763839 input_above_200k : None ,
37773840 output_above_200k : None ,
37783841 cache_create_above_200k : None ,
@@ -3796,6 +3859,7 @@ mod tests {
37963859 cache_create : 18.75e-6 ,
37973860 cache_read : 1.5e-6 ,
37983861 cache_read_explicit : true ,
3862+ cache_create_explicit : true ,
37993863 input_above_200k : None ,
38003864 output_above_200k : None ,
38013865 cache_create_above_200k : None ,
@@ -3935,6 +3999,7 @@ mod tests {
39353999 cache_create : 0.0 ,
39364000 cache_read : 0.0 ,
39374001 cache_read_explicit : true ,
4002+ cache_create_explicit : true ,
39384003 input_above_200k : None ,
39394004 output_above_200k : None ,
39404005 cache_create_above_200k : None ,
@@ -3951,6 +4016,7 @@ mod tests {
39514016 cache_create : 0.0 ,
39524017 cache_read : 0.0 ,
39534018 cache_read_explicit : true ,
4019+ cache_create_explicit : true ,
39544020 input_above_200k : None ,
39554021 output_above_200k : None ,
39564022 cache_create_above_200k : None ,
@@ -4043,6 +4109,7 @@ mod tests {
40434109 cache_create : 30e-6 ,
40444110 cache_read : 40e-6 ,
40454111 cache_read_explicit : true ,
4112+ cache_create_explicit : true ,
40464113 input_above_200k : Some ( 15e-6 ) ,
40474114 output_above_200k : None ,
40484115 cache_create_above_200k : None ,
@@ -4128,6 +4195,7 @@ mod tests {
41284195 cache_create : 3.75e-6 ,
41294196 cache_read : 3e-7 ,
41304197 cache_read_explicit : false ,
4198+ cache_create_explicit : false ,
41314199 input_above_200k : None ,
41324200 output_above_200k : None ,
41334201 cache_create_above_200k : Some ( 4.6875e-6 ) ,
@@ -4167,6 +4235,7 @@ mod tests {
41674235 cache_create : 0.0 ,
41684236 cache_read : 0.0 ,
41694237 cache_read_explicit : false ,
4238+ cache_create_explicit : false ,
41704239 input_above_200k : None ,
41714240 output_above_200k : None ,
41724241 cache_create_above_200k : None ,
@@ -4198,6 +4267,7 @@ mod tests {
41984267 cache_create : 3.75e-6 ,
41994268 cache_read : 3e-7 ,
42004269 cache_read_explicit : false ,
4270+ cache_create_explicit : false ,
42014271 input_above_200k : None ,
42024272 output_above_200k : None ,
42034273 cache_create_above_200k : None ,
0 commit comments