Skip to content

Release DataFusion 21.1.0 #5744

New issue
New issue
Closed
Closed
Release DataFusion 21.1.0#5744
Assignees
alamb
Labels
enhancementNew feature or request

Description

@alamb
alamb
opened on Mar 26, 2023

Is your feature request related to a problem or challenge?

During testing of Version 21.0.0 RC1 we discovered that it inadvertently depends both on arrow (and its subcrates) version 34.0.0 as well as arrow-array version 35.0.0

This feature was fixed in #5724 (so datafusion only depends on arrow 34.0.0)

https://lists.apache.org/thread/fnnmrn83spnb2y2l2vdw2v1hd54pfjl7

Describe the solution you'd like

I propose releasing DataFusion 21.1.0 with the fix in #5724

Describe alternatives you've considered

We could do nothing and wait for DataFusion 22.0.0 in a few weeks time.

Additional context

No response

Activity

  1. alamb
    added
    enhancementNew feature or request
    on Mar 26, 2023

  2. andygrove commented on Mar 26, 2023

    @andygrove
    andygrove
    on Mar 26, 2023
    Member

    Thanks @alamb. There is a branch-21 already that we can merge the fix to, and release from there. Note that the release process for DataFusion differs slightly from the Arrow-rs release process (specifically with tags and branches), but hopefully this is documented well enough in dev/release/README, LMK if you have questions.

  3. alamb
    self-assigned this
    on Mar 27, 2023

  4. alamb commented on Mar 28, 2023

    @alamb
    alamb
    on Mar 28, 2023
    ContributorAuthor

    I have prepared PRs to backport the relevant parts to branch-21:

    #5766
    #5765

  5. alamb commented on Mar 29, 2023

    @alamb
    alamb
    on Mar 29, 2023
    ContributorAuthor

    I have created a release candidate here: https://lists.apache.org/thread/qw5067glfmxy4k42wty4vph7pjkgq24p

  6. alamb commented on Mar 30, 2023

    @alamb
    alamb
    on Mar 30, 2023
    ContributorAuthor

    I am now waiting for the 3 day voting period. Once that has elapsed, assuming no -1 votes, I will release this version to crates.io

  7. alamb commented on Apr 2, 2023

    @alamb
    alamb
    on Apr 2, 2023
    ContributorAuthor

    The release is approved and available: https://lists.apache.org/thread/tmfzkqnvkmccmy8w2ltpqh0sy4mgy6qq

    However, unfortunately I am still working on publishing it to crates.io ((I do not have permissions to https://crates.io/crates/datafusion-execution/21.0.0)

    Perhaps @andygrove can help here

  8. alamb commented on Apr 3, 2023

    @alamb
    alamb
    on Apr 3, 2023
    ContributorAuthor

    I have published the release to crates.io (thank you @andygrove )

    Since this release only includes a dependency improvement (rather than any features) I am not planning to publish an update on homebrew.

  9. alamb
    closed this as completedon Apr 3, 2023

  10. alamb commented on Apr 3, 2023

    @alamb
    alamb
    on Apr 3, 2023
    ContributorAuthor

    I have published the release to crates.io (thank you @andygrove )

    Since this release only includes a dependency improvement (rather than any features) I am not planning to publish an update on homebrew.

  11. alamb
    reopened this on Apr 3, 2023
  12. alamb
    closed this as completedon Apr 3, 2023

  13. jonmmease commented on Apr 3, 2023

    @jonmmease
    jonmmease
    on Apr 3, 2023
    Contributor

    Thanks @alamb. I'm unforunately still seeing both Arrow 35 and arrow 34 pulled in. I may be missing something, but here's what I'm trying.

    Fresh Cargo.toml

    [package]
name = "datafusion_arrow_35"
version = "0.1.0"
edition = "2021"

[dependencies]
datafusion="21.1.0"
arrow="35.0.0"

    If I run cargo tree, this is what I'm seeing:

    datafusion_arrow_35 v0.1.0 (/Users/jonmmease/CLionProjects/datafusion_arrow_35)
├── arrow v35.0.0
│   ├── ahash v0.8.3
│   │   ├── cfg-if v1.0.0
│   │   ├── getrandom v0.2.8
│   │   │   ├── cfg-if v1.0.0
│   │   │   └── libc v0.2.140
│   │   └── once_cell v1.17.1
│   │   [build-dependencies]
│   │   └── version_check v0.9.4
│   ├── arrow-arith v35.0.0
│   │   ├── arrow-array v35.0.0
│   │   │   ├── ahash v0.8.3 (*)
│   │   │   ├── arrow-buffer v35.0.0
│   │   │   │   ├── half v2.2.1
│   │   │   │   │   └── num-traits v0.2.15
│   │   │   │   │       └── libm v0.2.6
│   │   │   │   │       [build-dependencies]
│   │   │   │   │       └── autocfg v1.1.0
│   │   │   │   └── num v0.4.0
│   │   │   │       ├── num-bigint v0.4.3
│   │   │   │       │   ├── num-integer v0.1.45
│   │   │   │       │   │   └── num-traits v0.2.15 (*)
│   │   │   │       │   │   [build-dependencies]
│   │   │   │       │   │   └── autocfg v1.1.0
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       │   [build-dependencies]
│   │   │   │       │   └── autocfg v1.1.0
│   │   │   │       ├── num-complex v0.4.3
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       ├── num-integer v0.1.45 (*)
│   │   │   │       ├── num-iter v0.1.43
│   │   │   │       │   ├── num-integer v0.1.45 (*)
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       │   [build-dependencies]
│   │   │   │       │   └── autocfg v1.1.0
│   │   │   │       ├── num-rational v0.4.1
│   │   │   │       │   ├── num-bigint v0.4.3 (*)
│   │   │   │       │   ├── num-integer v0.1.45 (*)
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       │   [build-dependencies]
│   │   │   │       │   └── autocfg v1.1.0
│   │   │   │       └── num-traits v0.2.15 (*)
│   │   │   ├── arrow-data v35.0.0
│   │   │   │   ├── arrow-buffer v35.0.0 (*)
│   │   │   │   ├── arrow-schema v35.0.0
│   │   │   │   ├── half v2.2.1 (*)
│   │   │   │   └── num v0.4.0 (*)
│   │   │   ├── arrow-schema v35.0.0
│   │   │   ├── chrono v0.4.24
│   │   │   │   ├── iana-time-zone v0.1.56
│   │   │   │   │   └── core-foundation-sys v0.8.4
│   │   │   │   ├── num-integer v0.1.45 (*)
│   │   │   │   └── num-traits v0.2.15 (*)
│   │   │   ├── half v2.2.1 (*)
│   │   │   ├── hashbrown v0.13.2
│   │   │   │   └── ahash v0.8.3 (*)
│   │   │   └── num v0.4.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── chrono v0.4.24 (*)
│   │   ├── half v2.2.1 (*)
│   │   └── num v0.4.0 (*)
│   ├── arrow-array v35.0.0 (*)
│   ├── arrow-buffer v35.0.0 (*)
│   ├── arrow-cast v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── arrow-select v35.0.0
│   │   │   ├── arrow-array v35.0.0 (*)
│   │   │   ├── arrow-buffer v35.0.0 (*)
│   │   │   ├── arrow-data v35.0.0 (*)
│   │   │   ├── arrow-schema v35.0.0
│   │   │   └── num v0.4.0 (*)
│   │   ├── chrono v0.4.24 (*)
│   │   ├── lexical-core v0.8.5
│   │   │   ├── lexical-parse-float v0.8.5
│   │   │   │   ├── lexical-parse-integer v0.8.6
│   │   │   │   │   ├── lexical-util v0.8.5
│   │   │   │   │   │   └── static_assertions v1.1.0
│   │   │   │   │   └── static_assertions v1.1.0
│   │   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   │   └── static_assertions v1.1.0
│   │   │   ├── lexical-parse-integer v0.8.6 (*)
│   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   ├── lexical-write-float v0.8.5
│   │   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   │   ├── lexical-write-integer v0.8.5
│   │   │   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   │   │   └── static_assertions v1.1.0
│   │   │   │   └── static_assertions v1.1.0
│   │   │   └── lexical-write-integer v0.8.5 (*)
│   │   └── num v0.4.0 (*)
│   ├── arrow-csv v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-cast v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── chrono v0.4.24 (*)
│   │   ├── csv v1.2.1
│   │   │   ├── csv-core v0.1.10
│   │   │   │   └── memchr v2.5.0
│   │   │   ├── itoa v1.0.6
│   │   │   ├── ryu v1.0.13
│   │   │   └── serde v1.0.159
│   │   ├── csv-core v0.1.10 (*)
│   │   ├── lazy_static v1.4.0
│   │   ├── lexical-core v0.8.5 (*)
│   │   └── regex v1.7.3
│   │       ├── aho-corasick v0.7.20
│   │       │   └── memchr v2.5.0
│   │       ├── memchr v2.5.0
│   │       └── regex-syntax v0.6.29
│   ├── arrow-data v35.0.0 (*)
│   ├── arrow-ipc v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-cast v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   └── flatbuffers v23.1.21
│   │       └── bitflags v1.3.2
│   │       [build-dependencies]
│   │       └── rustc_version v0.4.0
│   │           └── semver v1.0.17
│   ├── arrow-json v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-cast v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── chrono v0.4.24 (*)
│   │   ├── half v2.2.1 (*)
│   │   ├── indexmap v1.9.3
│   │   │   └── hashbrown v0.12.3
│   │   │   [build-dependencies]
│   │   │   └── autocfg v1.1.0
│   │   ├── lexical-core v0.8.5 (*)
│   │   ├── num v0.4.0 (*)
│   │   └── serde_json v1.0.95
│   │       ├── itoa v1.0.6
│   │       ├── ryu v1.0.13
│   │       └── serde v1.0.159
│   ├── arrow-ord v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── arrow-select v35.0.0 (*)
│   │   └── num v0.4.0 (*)
│   ├── arrow-row v35.0.0
│   │   ├── ahash v0.8.3 (*)
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── half v2.2.1 (*)
│   │   └── hashbrown v0.13.2 (*)
│   ├── arrow-schema v35.0.0
│   ├── arrow-select v35.0.0 (*)
│   └── arrow-string v35.0.0
│       ├── arrow-array v35.0.0 (*)
│       ├── arrow-buffer v35.0.0 (*)
│       ├── arrow-data v35.0.0 (*)
│       ├── arrow-schema v35.0.0
│       ├── arrow-select v35.0.0 (*)
│       ├── regex v1.7.3 (*)
│       └── regex-syntax v0.6.29
└── datafusion v21.1.0
    ├── ahash v0.8.3 (*)
    ├── arrow v34.0.0
    │   ├── ahash v0.8.3 (*)
    │   ├── arrow-arith v34.0.0
    │   │   ├── arrow-array v34.0.0
    │   │   │   ├── ahash v0.8.3 (*)
    │   │   │   ├── arrow-buffer v34.0.0
    │   │   │   │   ├── half v2.2.1 (*)
    │   │   │   │   └── num v0.4.0 (*)
    │   │   │   ├── arrow-data v34.0.0
    │   │   │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   │   │   ├── arrow-schema v34.0.0
    │   │   │   │   ├── half v2.2.1 (*)
    │   │   │   │   └── num v0.4.0 (*)
    │   │   │   ├── arrow-schema v34.0.0
    │   │   │   ├── chrono v0.4.24 (*)
    │   │   │   ├── chrono-tz v0.8.1
    │   │   │   │   ├── chrono v0.4.24 (*)
    │   │   │   │   └── phf v0.11.1
    │   │   │   │       └── phf_shared v0.11.1
    │   │   │   │           └── siphasher v0.3.10
    │   │   │   │   [build-dependencies]
    │   │   │   │   └── chrono-tz-build v0.1.0
    │   │   │   │       ├── parse-zoneinfo v0.3.0
    │   │   │   │       │   └── regex v1.7.3
    │   │   │   │       │       └── regex-syntax v0.6.29
    │   │   │   │       ├── phf v0.11.1 (*)
    │   │   │   │       └── phf_codegen v0.11.1
    │   │   │   │           ├── phf_generator v0.11.1
    │   │   │   │           │   ├── phf_shared v0.11.1 (*)
    │   │   │   │           │   └── rand v0.8.5
    │   │   │   │           │       └── rand_core v0.6.4
    │   │   │   │           └── phf_shared v0.11.1 (*)
    │   │   │   ├── half v2.2.1 (*)
    │   │   │   ├── hashbrown v0.13.2 (*)
    │   │   │   └── num v0.4.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── half v2.2.1 (*)
    │   │   └── num v0.4.0 (*)
    │   ├── arrow-array v34.0.0 (*)
    │   ├── arrow-buffer v34.0.0 (*)
    │   ├── arrow-cast v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0
    │   │   │   ├── arrow-array v34.0.0 (*)
    │   │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   │   ├── arrow-data v34.0.0 (*)
    │   │   │   ├── arrow-schema v34.0.0
    │   │   │   └── num v0.4.0 (*)
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── lexical-core v0.8.5 (*)
    │   │   └── num v0.4.0 (*)
    │   ├── arrow-csv v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── csv v1.2.1 (*)
    │   │   ├── csv-core v0.1.10 (*)
    │   │   ├── lazy_static v1.4.0
    │   │   ├── lexical-core v0.8.5 (*)
    │   │   └── regex v1.7.3 (*)
    │   ├── arrow-data v34.0.0 (*)
    │   ├── arrow-ipc v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   └── flatbuffers v23.1.21 (*)
    │   ├── arrow-json v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── half v2.2.1 (*)
    │   │   ├── indexmap v1.9.3 (*)
    │   │   ├── lexical-core v0.8.5 (*)
    │   │   ├── num v0.4.0 (*)
    │   │   └── serde_json v1.0.95 (*)
    │   ├── arrow-ord v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0 (*)
    │   │   └── num v0.4.0 (*)
    │   ├── arrow-row v34.0.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── half v2.2.1 (*)
    │   │   └── hashbrown v0.13.2 (*)
    │   ├── arrow-schema v34.0.0
    │   ├── arrow-select v34.0.0 (*)
    │   ├── arrow-string v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0 (*)
    │   │   ├── regex v1.7.3 (*)
    │   │   └── regex-syntax v0.6.29
    │   └── comfy-table v6.1.4
    │       ├── strum v0.24.1
    │       ├── strum_macros v0.24.3 (proc-macro)
    │       │   ├── heck v0.4.1
    │       │   ├── proc-macro2 v1.0.56
    │       │   │   └── unicode-ident v1.0.8
    │       │   ├── quote v1.0.26
    │       │   │   └── proc-macro2 v1.0.56 (*)
    │       │   ├── rustversion v1.0.12 (proc-macro)
    │       │   └── syn v1.0.109
    │       │       ├── proc-macro2 v1.0.56 (*)
    │       │       ├── quote v1.0.26 (*)
    │       │       └── unicode-ident v1.0.8
    │       └── unicode-width v0.1.10
    ├── async-compression v0.3.15
    │   ├── bzip2 v0.4.4
    │   │   ├── bzip2-sys v0.1.11+1.0.8
    │   │   │   └── libc v0.2.140
    │   │   │   [build-dependencies]
    │   │   │   ├── cc v1.0.79
    │   │   │   │   └── jobserver v0.1.26
    │   │   │   │       └── libc v0.2.140
    │   │   │   └── pkg-config v0.3.26
    │   │   └── libc v0.2.140
    │   ├── flate2 v1.0.25
    │   │   ├── crc32fast v1.3.2
    │   │   │   └── cfg-if v1.0.0
    │   │   └── miniz_oxide v0.6.2
    │   │       └── adler v1.0.2
    │   ├── futures-core v0.3.28
    │   ├── futures-io v0.3.28
    │   ├── memchr v2.5.0
    │   ├── pin-project-lite v0.2.9
    │   ├── tokio v1.27.0
    │   │   ├── bytes v1.4.0
    │   │   ├── num_cpus v1.15.0
    │   │   │   └── libc v0.2.140
    │   │   ├── parking_lot v0.12.1
    │   │   │   ├── lock_api v0.4.9
    │   │   │   │   └── scopeguard v1.1.0
    │   │   │   │   [build-dependencies]
    │   │   │   │   └── autocfg v1.1.0
    │   │   │   └── parking_lot_core v0.9.7
    │   │   │       ├── cfg-if v1.0.0
    │   │   │       ├── libc v0.2.140
    │   │   │       └── smallvec v1.10.0
    │   │   ├── pin-project-lite v0.2.9
    │   │   └── tokio-macros v2.0.0 (proc-macro)
    │   │       ├── proc-macro2 v1.0.56 (*)
    │   │       ├── quote v1.0.26 (*)
    │   │       └── syn v2.0.13
    │   │           ├── proc-macro2 v1.0.56 (*)
    │   │           ├── quote v1.0.26 (*)
    │   │           └── unicode-ident v1.0.8
    │   │   [build-dependencies]
    │   │   └── autocfg v1.1.0
    │   ├── xz2 v0.1.7
    │   │   └── lzma-sys v0.1.20
    │   │       └── libc v0.2.140
    │   │       [build-dependencies]
    │   │       ├── cc v1.0.79 (*)
    │   │       └── pkg-config v0.3.26
    │   ├── zstd v0.11.2+zstd.1.5.2
    │   │   └── zstd-safe v5.0.2+zstd.1.5.2
    │   │       ├── libc v0.2.140
    │   │       └── zstd-sys v2.0.7+zstd.1.5.4
    │   │           └── libc v0.2.140
    │   │           [build-dependencies]
    │   │           ├── cc v1.0.79 (*)
    │   │           └── pkg-config v0.3.26
    │   └── zstd-safe v5.0.2+zstd.1.5.2 (*)
    ├── async-trait v0.1.68 (proc-macro)
    │   ├── proc-macro2 v1.0.56 (*)
    │   ├── quote v1.0.26 (*)
    │   └── syn v2.0.13 (*)
    ├── bytes v1.4.0
    ├── bzip2 v0.4.4 (*)
    ├── chrono v0.4.24 (*)
    ├── dashmap v5.4.0
    │   ├── cfg-if v1.0.0
    │   ├── hashbrown v0.12.3
    │   ├── lock_api v0.4.9 (*)
    │   ├── once_cell v1.17.1
    │   └── parking_lot_core v0.9.7 (*)
    ├── datafusion-common v21.1.0
    │   ├── arrow v34.0.0 (*)
    │   ├── arrow-array v34.0.0 (*)
    │   ├── chrono v0.4.24 (*)
    │   ├── num_cpus v1.15.0 (*)
    │   ├── object_store v0.5.6
    │   │   ├── async-trait v0.1.68 (proc-macro) (*)
    │   │   ├── bytes v1.4.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── futures v0.3.28
    │   │   │   ├── futures-channel v0.3.28
    │   │   │   │   ├── futures-core v0.3.28
    │   │   │   │   └── futures-sink v0.3.28
    │   │   │   ├── futures-core v0.3.28
    │   │   │   ├── futures-executor v0.3.28
    │   │   │   │   ├── futures-core v0.3.28
    │   │   │   │   ├── futures-task v0.3.28
    │   │   │   │   └── futures-util v0.3.28
    │   │   │   │       ├── futures-channel v0.3.28 (*)
    │   │   │   │       ├── futures-core v0.3.28
    │   │   │   │       ├── futures-io v0.3.28
    │   │   │   │       ├── futures-macro v0.3.28 (proc-macro)
    │   │   │   │       │   ├── proc-macro2 v1.0.56 (*)
    │   │   │   │       │   ├── quote v1.0.26 (*)
    │   │   │   │       │   └── syn v2.0.13 (*)
    │   │   │   │       ├── futures-sink v0.3.28
    │   │   │   │       ├── futures-task v0.3.28
    │   │   │   │       ├── memchr v2.5.0
    │   │   │   │       ├── pin-project-lite v0.2.9
    │   │   │   │       ├── pin-utils v0.1.0
    │   │   │   │       └── slab v0.4.8
    │   │   │   │           [build-dependencies]
    │   │   │   │           └── autocfg v1.1.0
    │   │   │   ├── futures-io v0.3.28
    │   │   │   ├── futures-sink v0.3.28
    │   │   │   ├── futures-task v0.3.28
    │   │   │   └── futures-util v0.3.28 (*)
    │   │   ├── itertools v0.10.5
    │   │   │   └── either v1.8.1
    │   │   ├── parking_lot v0.12.1 (*)
    │   │   ├── percent-encoding v2.2.0
    │   │   ├── snafu v0.7.4
    │   │   │   ├── doc-comment v0.3.3
    │   │   │   └── snafu-derive v0.7.4 (proc-macro)
    │   │   │       ├── heck v0.4.1
    │   │   │       ├── proc-macro2 v1.0.56 (*)
    │   │   │       ├── quote v1.0.26 (*)
    │   │   │       └── syn v1.0.109 (*)
    │   │   ├── tokio v1.27.0 (*)
    │   │   ├── tracing v0.1.37
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   ├── pin-project-lite v0.2.9
    │   │   │   ├── tracing-attributes v0.1.23 (proc-macro)
    │   │   │   │   ├── proc-macro2 v1.0.56 (*)
    │   │   │   │   ├── quote v1.0.26 (*)
    │   │   │   │   └── syn v1.0.109 (*)
    │   │   │   └── tracing-core v0.1.30
    │   │   │       └── once_cell v1.17.1
    │   │   ├── url v2.3.1
    │   │   │   ├── form_urlencoded v1.1.0
    │   │   │   │   └── percent-encoding v2.2.0
    │   │   │   ├── idna v0.3.0
    │   │   │   │   ├── unicode-bidi v0.3.13
    │   │   │   │   └── unicode-normalization v0.1.22
    │   │   │   │       └── tinyvec v1.6.0
    │   │   │   │           └── tinyvec_macros v0.1.1
    │   │   │   └── percent-encoding v2.2.0
    │   │   └── walkdir v2.3.3
    │   │       └── same-file v1.0.6
    │   ├── parquet v34.0.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-ipc v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0 (*)
    │   │   ├── base64 v0.21.0
    │   │   ├── brotli v3.3.4
    │   │   │   ├── alloc-no-stdlib v2.0.4
    │   │   │   ├── alloc-stdlib v0.2.2
    │   │   │   │   └── alloc-no-stdlib v2.0.4
    │   │   │   └── brotli-decompressor v2.3.4
    │   │   │       ├── alloc-no-stdlib v2.0.4
    │   │   │       └── alloc-stdlib v0.2.2 (*)
    │   │   ├── bytes v1.4.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── flate2 v1.0.25 (*)
    │   │   ├── futures v0.3.28 (*)
    │   │   ├── hashbrown v0.13.2 (*)
    │   │   ├── lz4 v1.24.0
    │   │   │   ├── libc v0.2.140
    │   │   │   └── lz4-sys v1.9.4
    │   │   │       └── libc v0.2.140
    │   │   │       [build-dependencies]
    │   │   │       └── cc v1.0.79 (*)
    │   │   ├── num v0.4.0 (*)
    │   │   ├── num-bigint v0.4.3 (*)
    │   │   ├── paste v1.0.12 (proc-macro)
    │   │   ├── seq-macro v0.3.3 (proc-macro)
    │   │   ├── snap v1.1.0
    │   │   ├── thrift v0.17.0
    │   │   │   ├── byteorder v1.4.3
    │   │   │   ├── integer-encoding v3.0.4
    │   │   │   └── ordered-float v2.10.0
    │   │   │       └── num-traits v0.2.15 (*)
    │   │   ├── tokio v1.27.0 (*)
    │   │   ├── twox-hash v1.6.3
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   └── static_assertions v1.1.0
    │   │   └── zstd v0.12.3+zstd.1.5.2
    │   │       └── zstd-safe v6.0.4+zstd.1.5.4
    │   │           ├── libc v0.2.140
    │   │           └── zstd-sys v2.0.7+zstd.1.5.4 (*)
    │   └── sqlparser v0.32.0
    │       ├── log v0.4.17
    │       │   └── cfg-if v1.0.0
    │       └── sqlparser_derive v0.1.1 (proc-macro)
    │           ├── proc-macro2 v1.0.56 (*)
    │           ├── quote v1.0.26 (*)
    │           └── syn v1.0.109 (*)
    ├── datafusion-execution v21.1.0
    │   ├── dashmap v5.4.0 (*)
    │   ├── datafusion-common v21.1.0 (*)
    │   ├── datafusion-expr v21.1.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow v34.0.0 (*)
    │   │   ├── datafusion-common v21.1.0 (*)
    │   │   └── sqlparser v0.32.0 (*)
    │   ├── hashbrown v0.13.2 (*)
    │   ├── log v0.4.17 (*)
    │   ├── object_store v0.5.6 (*)
    │   ├── parking_lot v0.12.1 (*)
    │   ├── rand v0.8.5
    │   │   ├── libc v0.2.140
    │   │   ├── rand_chacha v0.3.1
    │   │   │   ├── ppv-lite86 v0.2.17
    │   │   │   └── rand_core v0.6.4
    │   │   │       └── getrandom v0.2.8 (*)
    │   │   └── rand_core v0.6.4 (*)
    │   ├── tempfile v3.5.0
    │   │   ├── cfg-if v1.0.0
    │   │   ├── fastrand v1.9.0
    │   │   └── rustix v0.37.6
    │   │       ├── bitflags v1.3.2
    │   │       ├── errno v0.3.0
    │   │       │   └── libc v0.2.140
    │   │       ├── io-lifetimes v1.0.9
    │   │       │   └── libc v0.2.140
    │   │       └── libc v0.2.140
    │   └── url v2.3.1 (*)
    ├── datafusion-expr v21.1.0 (*)
    ├── datafusion-optimizer v21.1.0
    │   ├── arrow v34.0.0 (*)
    │   ├── async-trait v0.1.68 (proc-macro) (*)
    │   ├── chrono v0.4.24 (*)
    │   ├── datafusion-common v21.1.0 (*)
    │   ├── datafusion-expr v21.1.0 (*)
    │   ├── datafusion-physical-expr v21.1.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── blake2 v0.10.6
    │   │   │   └── digest v0.10.6
    │   │   │       ├── block-buffer v0.10.4
    │   │   │       │   └── generic-array v0.14.7
    │   │   │       │       └── typenum v1.16.0
    │   │   │       │       [build-dependencies]
    │   │   │       │       └── version_check v0.9.4
    │   │   │       ├── crypto-common v0.1.6
    │   │   │       │   ├── generic-array v0.14.7 (*)
    │   │   │       │   └── typenum v1.16.0
    │   │   │       └── subtle v2.4.1
    │   │   ├── blake3 v1.3.3
    │   │   │   ├── arrayref v0.3.7
    │   │   │   ├── arrayvec v0.7.2
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   ├── constant_time_eq v0.2.5
    │   │   │   └── digest v0.10.6 (*)
    │   │   │   [build-dependencies]
    │   │   │   └── cc v1.0.79 (*)
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── datafusion-common v21.1.0 (*)
    │   │   ├── datafusion-expr v21.1.0 (*)
    │   │   ├── datafusion-row v21.1.0
    │   │   │   ├── arrow v34.0.0 (*)
    │   │   │   ├── datafusion-common v21.1.0 (*)
    │   │   │   ├── paste v1.0.12 (proc-macro)
    │   │   │   └── rand v0.8.5 (*)
    │   │   ├── half v2.2.1 (*)
    │   │   ├── hashbrown v0.13.2 (*)
    │   │   ├── indexmap v1.9.3 (*)
    │   │   ├── itertools v0.10.5 (*)
    │   │   ├── lazy_static v1.4.0
    │   │   ├── md-5 v0.10.5
    │   │   │   └── digest v0.10.6 (*)
    │   │   ├── paste v1.0.12 (proc-macro)
    │   │   ├── petgraph v0.6.3
    │   │   │   ├── fixedbitset v0.4.2
    │   │   │   └── indexmap v1.9.3 (*)
    │   │   ├── rand v0.8.5 (*)
    │   │   ├── regex v1.7.3 (*)
    │   │   ├── sha2 v0.10.6
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   ├── cpufeatures v0.2.6
    │   │   │   │   └── libc v0.2.140
    │   │   │   └── digest v0.10.6 (*)
    │   │   ├── unicode-segmentation v1.10.1
    │   │   └── uuid v1.3.0
    │   │       └── getrandom v0.2.8 (*)
    │   ├── hashbrown v0.13.2 (*)
    │   ├── itertools v0.10.5 (*)
    │   ├── log v0.4.17 (*)
    │   └── regex-syntax v0.6.29
    ├── datafusion-physical-expr v21.1.0 (*)
    ├── datafusion-row v21.1.0 (*)
    ├── datafusion-sql v21.1.0
    │   ├── arrow-schema v34.0.0
    │   ├── datafusion-common v21.1.0 (*)
    │   ├── datafusion-expr v21.1.0 (*)
    │   ├── log v0.4.17 (*)
    │   └── sqlparser v0.32.0 (*)
    ├── flate2 v1.0.25 (*)
    ├── futures v0.3.28 (*)
    ├── glob v0.3.1
    ├── hashbrown v0.13.2 (*)
    ├── indexmap v1.9.3 (*)
    ├── itertools v0.10.5 (*)
    ├── lazy_static v1.4.0
    ├── log v0.4.17 (*)
    ├── num_cpus v1.15.0 (*)
    ├── object_store v0.5.6 (*)
    ├── parking_lot v0.12.1 (*)
    ├── parquet v34.0.0 (*)
    ├── percent-encoding v2.2.0
    ├── pin-project-lite v0.2.9
    ├── rand v0.8.5 (*)
    ├── smallvec v1.10.0
    ├── sqlparser v0.32.0 (*)
    ├── tempfile v3.5.0 (*)
    ├── tokio v1.27.0 (*)
    ├── tokio-stream v0.1.12
    │   ├── futures-core v0.3.28
    │   ├── pin-project-lite v0.2.9
    │   └── tokio v1.27.0 (*)
    ├── tokio-util v0.7.7
    │   ├── bytes v1.4.0
    │   ├── futures-core v0.3.28
    │   ├── futures-sink v0.3.28
    │   ├── pin-project-lite v0.2.9
    │   └── tokio v1.27.0 (*)
    ├── url v2.3.1 (*)
    ├── uuid v1.3.0 (*)
    ├── xz2 v0.1.7 (*)
    └── zstd v0.12.3+zstd.1.5.2 (*)

    In particular:

    └── datafusion v21.1.0
    ├── ahash v0.8.3 (*)
    ├── arrow v34.0.0

    Happy to open a new issue if that's easier than discussing here

  14. alamb commented on Apr 3, 2023

    @alamb
    alamb
    on Apr 3, 2023
    ContributorAuthor

    @jonmmease 🤔 I wonder if you can try runnning cargo update -- does that fix things?

  15. alamb commented on Apr 3, 2023

    @alamb
    alamb
    on Apr 3, 2023
    ContributorAuthor

    (note that datafusion-21 still depends on arrow-rs 34) -- only datafusion 22.0.0 upgrades to arrow-rs 36.

    So in other words this is expected in my mind:

    └── datafusion v21.1.0
    ├── ahash v0.8.3 (*)
    ├── arrow v34.0.0

  16. jonmmease commented on Apr 3, 2023

    @jonmmease
    jonmmease
    on Apr 3, 2023
    Contributor

    Ah, ok. I was seeing the mixed arrow 34/35 dependencies with datafusion 21.0.0 and assumed that it was intended to depend fully on arrow 35. Thanks for the clarification.

  17. alamb commented on Apr 3, 2023

    @alamb
    alamb
    on Apr 3, 2023
    ContributorAuthor

    Ah, ok. I was seeing the mixed arrow 34/35 dependencies with datafusion 21.0.0 and assumed that it was intended to depend fully on arrow 35. Thanks for the clarification.

    No problem -- we decided to skip arrow-35 due to several regressions in parsing timestamps (see #5441 (comment) for more details)

    Edit: I also updated the PR description to make the ('only depend on arrow 34.0.0') more explicit

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

enhancementNew feature or request

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions