Pythonのイテラブルとイテレータ〜for文の秘密〜

イテレータの __next__() メソッドを繰り返し呼び出す (または組み込み関数 next() に渡す) と、流れの中の要素を一つずつ返します。

イテレータは、そのイテレータオブジェクト自体を返す __iter__() メソッドを実装しなければならないので、イテレータは他の iterable を受理するほとんどの場所で利用できます。

イテレータはイテラブル

イテラブルiterableをfor文に渡した時を考えてみましょう。

iter(iterable)によりイテレータを取得
1のイテレータの要素を1つずつ取得（__next__）

ではイテレータiteratorをfor文に渡したときはどうでしょうか

iter(iterator)でiterator自身が返る（ref: 用語集のイテレータの項）
iterator自身は__next__を実装しているので、要素を1つずつ取得できる

つまり、イテレータもfor文で扱えるわけですね。
すなわち、イテレータはイテラブルです！³

なお、『Python実践入門』8.2にはイテラブルとイテレータについて、簡潔なまとめがあります。

コードで確認する「イテレータはイテラブル」

※Python 3.10.9で動かしています

IteratorクラスはIterableクラスを継承しています⁴。

>>> from collections.abc import Iterable, Iterator
>>> issubclass(Iterator, Iterable)
True

「イテレータはイテラブル」をis-a関係が成り立つかで検証します（ref: next(ListはIteratorですか？)）。
イテレータを継承したクラスを作り、そのインスタンスがイテラブルかどうかを確認します⁵。

>>> class MyIterator(Iterator):
...   def __next__(self):
...     pass
...
>>> ite = MyIterator()
>>> isinstance(ite, Iterator)  # MyIteratorインスタンスはIterator
True
>>> isinstance(ite, Iterable)  # MyIteratorインスタンスはIterable!!
True

コレクション抽象基底クラスのドキュメントを参照した確認

IteratorはIterableを継承するので、イテレータはイテラブルでした。
ここから、コレクション抽象基底クラスのドキュメントをもとにis-a関係を確認できます。

シーケンスはイテラブル

用語集によると、シーケンスはイテラブルでした。
ドキュメントを見ていくと

SequenceはCollectionを継承（Reversibleも継承）
CollectionはIterableを継承（SizedやContainerも継承）

つまり（AがBを継承している＝class A(B)を A <- B のように表すと）

Sequence <- Collection <- Iterable

シーケンスの（少し離れた）親クラスはイテラブルなので、シーケンスはイテラブルですね。

マッピングはイテラブル

マッピングについても見てみましょう。

Mapping <- Collection <- Iterable

よって、マッピングはイテラブルです。

脱線「コンテナオブジェクト」

『Python実践入門』ではコンテナオブジェクトが紹介されます。

リストや辞書、集合などのほかのオブジェクトへの参照を持つオブジェクトをコンテナオブジェクトと言います (Kindle の位置No.2188-2189 4.9)

コレクション抽象基底クラスのドキュメントによると、Containerは特殊メソッド__contains__が定義されたクラスです。
https://docs.python.org/ja/3/library/collections.abc.html#collections.abc.Container

__contains__() メソッドを提供するクラスの ABC です。

組み込み型のドキュメントのイテレータ型を参照するとcontainer.__iter__()が説明されています。
「ほかのオブジェクトへの参照を持つ」の根拠はこのあたりなのかなと考えています。

SequenceやMapping（さらにSet）はCollectionを継承しています。
そしてCollectionはContainerを継承しています。
なので、リストや辞書、集合はContainerと言えますね。

まとめ

Pythonのfor文や内包表記は、イテラブルから得られたイテレータを操作している
イテレータはイテラブル
- イテレータ自身もfor文や内包表記に渡せる
AはB（＝AがBを継承している）はコレクション抽象基底クラスのドキュメントで確認できる
- シーケンスはイテラブル
- マッピングはイテラブル

P.S. ミノ駆動本_読書pyの予習（終わりにに代えて）

3/24(金)開催、ミノ駆動本_読書pyの事前準備⁶の中で、「forで反復」「イテラブル」「イテレータ」を確認しました。

「Pythonでファーストクラスコレクションの実装、白紙から考えてみるとどうするのがいいんだろう？例えばイテラブルにするべきなのかな？」という疑問がきっかけです。
Pythonの用語の理解を深める中で「ファーストクラスコレクションを実装したいんだけど、それってシーケンスにしたいんだっけ？」といった視点に気づきました。

もう少し準備しますが、こういったトピックに興味があるよという方、ぜひ読書会でお会いしましょう！