for x in xs:
    process(x)

it = iter(xs)
while True:
    try:
        x = next(it)
    except StopIteration:
        break
    process(x)

>>> dis.dis('for x in xs: pass')  # 3.12
GET_ITER        # iter(xs)
FOR_ITER        # next(it)
STORE_NAME x
JUMP_BACKWARD
END_FOR

Пояснение

StopIteration перехватывает сам цикл: в коде исключение не видно.

Важно

Итератор однопроходный: после StopIteration каждый следующий next снова даёт StopIteration.

Пояснение

Проверка: isinstance(x, collections.abc.Iterator) отличает итератор от итерируемого объекта.

01

Итератор списка: iter(xs)

02

Элементы и дважды StopIteration

03

iter(it) is it: True

04

Пустой list(it) и полный list(xs)

05

range: не итератор

06

Байт-код: GET_ITER и FOR_ITER

class Linspace:
    def __init__(self, a, b, n):
        self.a, self.n = a, n
        self.h = (b - a) / (n - 1)
    def __iter__(self):
        return LinspaceIterator(self.a, self.h, self.n)
 
class LinspaceIterator:
    def __init__(self, a, h, n):
        self.a, self.h, self.n, self.i = a, h, n, 0
    def __iter__(self):
        return self
    def __next__(self):
        if self.i == self.n:
            raise StopIteration
        self.i += 1
        return self.a + (self.i - 1) * self.h

Пояснение

Счётчик обхода i хранится в итераторе: каждый for получает новый итератор и начинает с первой точки.

Важно

Если __iter__ контейнера вернёт self и счётчик будет храниться в нём, второй проход окажется пустым.

Для физика

Linspace — упрощённый аналог numpy.linspace. Точка вычисляется как a + i·h, а не накоплением: ошибки округления не растут с номером точки.

from functools import partial
 
with open('run042.dat', 'rb') as f:
    for block in iter(partial(f.read, 4096), b''):
        process(block)

Важно

x in iterator расходует итератор: элементы до найденного включительно уже не вернуть.

01

Классы LinspaceIterator и Linspace

02

Два прохода по одной сетке

03

0.5 in it: расход итератора

04

Класс только с __getitem__

05

Чтение блоками: iter с границей b''

def countdown(n):
    print('старт')
    while n > 0:
        yield n
        n -= 1
    return 'пуск'
 
g = countdown(3)   # тело не выполняется
next(g)            # старт, 3
next(g), next(g)   # (2, 1)
next(g)            # StopIteration: пуск

Пояснение

Генератором можно написать __iter__: «for i in range(self.n): yield self.a + i * self.h» заменяет класс LinspaceIterator.

01

countdown: print, yield и return

02

Вызов без выполнения тела: GEN_CREATED

03

Первый next: «старт» и 3

04

Состояние и локальные переменные

05

StopIteration со значением return

06

PEP 479: next внутри генератора

squares = [x * x for x in range(100_000)]
lazy = (x * x for x in range(100_000))
total = sum(x * x for x in range(100_000))

Важно

Первый источник вычисляется сразу, остальное — при обходе: условие читает переменные в момент перебора.

data = [0, 2, 5, 12]
threshold = 1
g = (x for x in data if x > threshold)
threshold = 10
list(g)          # [12]

def read_lines(path):
    with open(path) as f:
        yield from f
 
def parse(lines):
    for line in lines:
        if not line.strip() or line.startswith('#'):
            continue
        t, channel, value = line.split()
        yield float(t), channel, float(value)
 
def select(events, name):
    for t, channel, value in events:
        if channel == name:
            yield t, value
 
lines = read_lines('run042.log')
bpm = select(parse(lines), 'BPM01')
print(max(value for t, value in bpm))

01

Стадии: чтение, разбор, отбор

02

Конвейер без чтения строк

03

next: строка через все стадии

04

next: отбрасывание строки BPM02

05

next со значением по умолчанию

06

Размер списка и генератора

def oscillator(x, v, dt, w=1.0):
    t = 0.0
    while True:
        yield t, x, v
        v -= w * w * x * dt
        x += v * dt
        t += dt
 
states = oscillator(1.0, 0.0, 0.01)
first = list(islice(states, 3))
t0 = next(t for t, x, v in states if x < 0)

Для физика

Полунеявная схема Эйлера: сначала скорость, затем координата по новой скорости; энергия колеблется, а не растёт.

Пояснение

Генератор описывает правило перехода к следующему состоянию, а момент остановки выбирает вызывающий код.

01

Генератор состояний осциллятора, ω = 1, dt = 0,01

02

Первые три состояния через islice с печатью

03

Продолжение с четвёртого состояния

04

Первое пересечение нуля: t ≈ π/2

05

Отклонение энергии за 10 000 шагов

class Node:
    def __init__(self, value, left=None, right=None):
        self.value = value
        self.left, self.right = left, right
 
def walk(node):
    if node is not None:
        yield from walk(node.left)
        yield node.value
        yield from walk(node.right)
 
tree = Node(5, Node(3, Node(1)), Node(8))
list(walk(tree))     # [1, 3, 5, 8]

r = yield from sub()   # r — значение return из sub()

def firsts(groups):
    for g in groups:
        yield next(iter(g))        # [] → RuntimeError
 
def firsts(groups):
    for g in groups:
        yield next(iter(g), None)

Важно

Прерванный обход генератора с открытым файлом закрывают явно: g.close() или contextlib.closing(g).

01

count и islice: сетка с шагом 0,25

02

chain: соединение источников

03

groupby без сортировки

04

groupby после sorted

05

pairwise: интервалы времени

06

batched и accumulate

for T, B in product(temps, fields):
    run_simulation(T, B)
 
pairs = combinations(detectors, 2)
math.comb(32, 2)    # 496 пар

Для физика

product перебирает сетку параметров моделирования без вложенных циклов; combinations даёт пары детекторов для поиска совпадений.

01

product: сетка 2 × 3 значений параметров

02

combinations: пары детекторов A–D

03

permutations и math.perm

04

math.comb(32, 2) и прямой подсчёт

05

product: чтение входного генератора целиком до первого результата

from collections import deque
from itertools import islice
 
def moving_average(xs, n):
    it = iter(xs)
    window = deque(islice(it, n - 1), maxlen=n)
    for x in it:
        window.append(x)
        yield sum(window) / n
 
list(moving_average([1, 2, 3, 4, 5], 3))
# [2.0, 3.0, 4.0]

Для физика

Скользящее среднее сглаживает поток отсчётов: в памяти только n последних значений.

Пояснение

Рецепты sliding_window, roundrobin, unique_everseen — в документации itertools; готовые реализации — в пакете more-itertools.

def stats():
    n, mean, m2 = 0, 0.0, 0.0
    result = None
    while True:
        x = yield result
        n += 1
        d = x - mean
        mean += d / n
        m2 += d * (x - mean)
        result = n, mean, m2 / (n - 1) if n > 1 else 0.0

Для физика

Формулы Уэлфорда: среднее и дисперсия потока измерений без хранения выборки и без вычитания близких больших сумм.

01

Сопрограмма stats: n, среднее, M2

02

send до запуска: TypeError

03

next: запуск до первого yield

04

send(2.0), send(4.0), send(6.0)

def counter():
    n = 0
    try:
        while True:
            try:
                yield n
                n += 1
            except ValueError:
                n = 0
    finally:
        print('закрытие, n =', n)

Пояснение

close() у ещё не запущенного генератора тело не выполняет: finally не срабатывает.

def averager():
    total, n = 0.0, 0
    while True:
        x = yield
        if x is None:
            return total / n
        total, n = total + x, n + 1
 
def collect(results, name):
    while True:
        results[name] = yield from averager()
 
results = {}
c = collect(results, 'BPM01')
next(c)
for x in (1.25, 1.5, 1.75):
    c.send(x)
c.send(None)      # конец серии
results           # {'BPM01': 1.5}

01

Счётчик с try и finally

02

Три next: 0, 1, 2

03

throw(ValueError): сброс в 0

04

close: GeneratorExit и finally

05

yield from: значение return

06

yield from как канал: averager и collect

import contextlib, time
 
@contextlib.contextmanager
def timer(label):
    t0 = time.perf_counter()
    try:
        yield
    finally:
        dt = time.perf_counter() - t0
        print(f'{label}: {dt:.2f} с')
 
with timer('подгонка'):
    fit(data)

Важно

Исключение из блока with возникает в точке yield: без try/finally код после yield не выполнится.

01

Менеджер timer через contextmanager

02

Блок без ошибок: время суммирования

03

Блок с ZeroDivisionError: выполнение finally и выход исключения наружу

from collections import deque
 
def task(name, n):
    for i in range(n):
        print(name, 'шаг', i)
        yield
 
def run(tasks):
    queue = deque(tasks)
    while queue:
        t = queue.popleft()
        try:
            next(t)
        except StopIteration:
            continue
        queue.append(t)

Пояснение

Задачи переключаются только в точках yield: многозадачность кооперативная.

01

Задача-генератор: yield после каждого шага

02

Планировщик: очередь deque и next по кругу

03

Две задачи с тремя и двумя шагами

04

Удаление завершённой задачи из очереди

import asyncio
 
async def poll(name, delay):
    await asyncio.sleep(delay)  # ожидание
    return name, delay
 
async def main():
    return await poll('A', 0.3)
 
asyncio.run(main())    # ('A', 0.3)

Важно

Вызов poll(...) без await лишь создаёт объект-сопрограмму: RuntimeWarning: coroutine 'poll' was never awaited.

DEVICES = {'A': 0.3, 'B': 0.5, 'C': 0.8}
 
async def main():
    async with asyncio.timeout(2.0):
        async with asyncio.TaskGroup() as tg:
            tasks = [tg.create_task(poll(n, d))
                     for n, d in DEVICES.items()]
    return [t.result() for t in tasks]

Для физика

Общее время опроса — время самого медленного прибора, а не сумма задержек.

01

Сопрограмма poll с await asyncio.sleep

02

Вариант blocking с time.sleep

03

gather трёх опросов poll

04

Тот же gather с blocking

05

Тайм-аут 0,6 с на опросы A и C

06

Сопрограмма без await: предупреждение при удалении

async def readings(dt, n):
    for i in range(n):
        await asyncio.sleep(dt)
        yield round((i + 1) * dt, 1)
 
async def consume():
    async for t in readings(0.1, 3):
        print('отсчёт', t)
 
asyncio.run(consume())

Пояснение

Пока источник ожидает следующего элемента (await внутри __anext__), цикл событий выполняет другие задачи; источник без await управление не отдаёт.

01

TaskGroup: опрос A и отказ прибора B

02

except* ConnectionError: список ошибок

03

Отмена опроса A после ошибки B

04

Асинхронный генератор отсчётов с интервалом 0,1 с

05

async for: три отсчёта по мере поступления

Книга курса: главы «Итераторы, генераторы и корутины» и «Асинхронность»

phys-dev.github.io/soft-dev-book

Лебедев С. Итераторы, генераторы и модуль itertools. – Computer Science Center

youtube.com/watch?v=snJhrhD9Sg8

Лебедев С. Многопоточность и GIL. – Computer Science Center

youtube.com/watch?v=nR8WhdcRJwM

itertools — документация Python

docs.python.org/3/library/itertools.html

asyncio — документация Python

docs.python.org/3/library/asyncio.html

PEP 255, 342, 380, 479, 492, 525 — генераторы, сопрограммы, yield from, StopIteration, async и await, асинхронные генераторы

peps.python.org

Beazley D. A Curious Course on Coroutines and Concurrency. – PyCon, 2009

dabeaz.com/coroutines

Ramalho L. Fluent Python. – 2nd ed. – O'Reilly, 2022