Пояснение

Спецификация языка — The Python Language Reference. Кеш малых чисел, подсчёт ссылок и байт-код — детали реализации CPython, о которых идёт речь в этой лекции.

Для физика

MicroPython работает на платах лабораторной автоматики: датчики и приводы управляются тем же языком, что и обработка данных.

NAME x

OP =

NUMBER 2

OP *

NUMBER 3.14159

Assign(Name('x'), BinOp(Constant(2), Mult(), Constant(3.14159)))

LOAD_CONST 6.28318

STORE_NAME x

свёртка констант

def area(r):
    return 3.14159 * r ** 2

  1           0 RESUME                   0
 
  2           2 LOAD_CONST               1 (3.14159)
              4 LOAD_FAST                0 (r)
              6 LOAD_CONST               2 (2)
              8 BINARY_OP                8 (**)
             12 BINARY_OP                5 (*)
             16 RETURN_VALUE

Важно

Байт-код не входит в спецификацию языка: инструкции меняются от версии к версии, а файл .pyc привязан к версии интерпретатора.

01

Версия интерпретатора

02

Модуль circle.py с функцией area

03

Импорт модуля и каталог __pycache__

04

Байт-код функции area

05

500 вызовов и специализированный байт-код

06

Байт-код присваивания 2 * 3.14159

# run.py
import circle
 
def main():
    print(circle.area(2.0))
 
if __name__ == "__main__":
    main()

Важно

Файл с именем модуля стандартной библиотеки или установленного пакета (random.py, statistics.py, numpy.py) в каталоге сценария подменяет этот модуль при импорте.

01

Имя и файл импортированного модуля

02

Атрибут area и вызов функции

03

Сценарий who.py с печатью __name__

04

Запуск файла и его импорт

05

random.py в текущем каталоге: подмена модуля стандартной библиотеки

06

Удаление файла: модуль стандартной библиотеки

Для физика

Блокнот Jupyter — та же интерактивная оболочка с сохранением кода, результатов и графиков.

>>> import this
The Zen of Python, by Tim Peters
 
Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Readability counts.
Errors should never pass silently.
There should be one-- and preferably
only one --obvious way to do it.

Пояснение

Требования к оформлению кода подробно рассматриваются в главе книги «Требования к коду».

// Include/object.h, упрощённо
typedef struct {
    Py_ssize_t    ob_refcnt;  // число ссылок
    PyTypeObject *ob_type;    // тип
} PyObject;
// Include/cpython/floatobject.h
typedef struct {
    PyObject ob_base;         // заголовок
    double   ob_fval;         // значение
} PyFloatObject;

Пояснение

Объектами являются числа, строки, функции, классы и модули: у каждого есть заголовок со счётчиком ссылок и указателем на тип.

a = [1, 2, 3]
b = a            # второе имя
b.append(4)
print(a)         # [1, 2, 3, 4]

Пояснение

Присваивание связывает имя с объектом и ничего не копирует.

пространство имён

a

b

x = [1, 2]
y = [1, 2]
x == y            # True
x is y            # False
 
if result is None:
    ...

Важно

is применяется только к объектам-одиночкам: None, True, False. Значения сравниваются через ==.

Пояснение

Сравнение с литералом через is (x is 257) с версии 3.8 вызывает предупреждение SyntaxWarning.

01

Запуск интерактивной оболочки

02

Второе имя для того же списка

03

Изменение списка через второе имя

04

Равный, но другой список

05

Тип объекта и тип типа

06

Два временных списка

Малые целые

объекты от −5 до 256 (CPython 3.12–3.14) создаются при запуске и используются повторно

Константы блока

одинаковые константы одного блока компиляции хранятся однократно: файл целиком, строка оболочки

Интернирование строк

имена и строки, похожие на идентификаторы, хранятся в одном экземпляре; sys.intern — явно

a = 256; b = 256    # a is b → True
c = 257             # в оболочке, строка 1
d = 257             # строка 2
c is d              # False

Важно

Всё перечисленное — детали реализации CPython: результат is для чисел и строк зависит от версии и способа запуска, и программа на него не опирается.

01

256: объект из кеша

02

257 в двух строках оболочки: два объекта

03

257 в одной строке: общая константа

04

is с литералом: предупреждение компилятора

05

Строка, собранная во время работы

06

sys.intern: один объект для равных строк

0.1 + 0.2              # 0.30000000000000004
0.1 + 0.2 == 0.3       # False
math.isclose(0.1 + 0.2, 0.3)   # True
-7 // 2, -7 % 2        # (-4, 1)
round(2.5)             # 2

Для физика

Вещественные числа сравниваются с допуском: math.isclose(a, b), numpy.isclose для массивов; при сравнении с нулём задаётся abs_tol.

01

Целое произвольной длины

02

Погрешность двоичного представления

03

Сравнение с допуском

04

Деление с округлением вниз и остаток

05

Округление к чётному

06

Переполнение и NaN

07

Точное значение 0.1 и дроби Fraction

Для физика

Список из миллиона float занимает около 32 МБ: 8 МБ указателей и 24 МБ самих объектов. Массив NumPy тех же чисел — 8 МБ.

Пояснение

sys.getsizeof учитывает только сам объект, без объектов, на которые он ссылается.

01

Целые разной длины и float

02

Строки ASCII и кириллицы, байты

03

Пустой список и список из тысячи элементов

04

Список из миллиона float

05

Полный объём: указатели и объекты

int

float

complex

bool

str

bytes

tuple

frozenset

range

None

list

dict

set

bytearray

экземпляры классов

def normalize(v):
    total = sum(v)
    for i in range(len(v)):
        v[i] /= total   # список вызывающего
 
data = [2.0, 6.0]
normalize(data)
data                # [0.25, 0.75]

Для физика

Функция обработки, изменяющая переданный список на месте, изменяет исходные измерения. Если они ещё нужны, функция возвращает новый список.

Пояснение

x += y выполняется как x = x.__iadd__(y), если метод определён, иначе как x = x + y.

t[0]

t[1]

Пояснение

Неизменны ссылки кортежа, а не объекты, на которые они указывают.

>>> t = ([1, 2], 3)
>>> t[0] += [3]
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not
support item assignment
>>> t
([1, 2, 3], 3)

Важно

t[0] += [3] выполняется как t[0] = t[0].__iadd__([3]): список уже расширен, когда присваивание элементу кортежа вызывает ошибку.

01

Строка: новый объект после +=

02

Список: расширение на месте

03

Список: новый объект после xs = xs + [3]

04

Кортеж со списком: исключение и изменение одновременно

Пояснение

1 == 1.0 == True и хеши у них равны, поэтому в словаре это один ключ.

Важно

[[0] * 3] * 3 повторяет ссылку на один внутренний список; матрица создаётся включением [[0] * 3 for _ in range(3)].

a

b = a.copy()

c = deepcopy(a)

01

Матрица умножением списка

02

Присваивание одной ячейке: изменение всех строк

03

Матрица через включение

04

Поверхностная и глубокая копии

05

Изменение вложенного списка оригинала

06

Тождественность вложенных списков

def append_to(x, target=[]):   # ошибка
    target.append(x)
    return target
 
append_to(1)    # [1]
append_to(2)    # [1, 2]

def append_to(x, target=None):
    if target is None:
        target = []
    target.append(x)
    return target

Важно

Значение по умолчанию вычисляется один раз, при выполнении def, и хранится в append_to.__defaults__.

Пояснение

Функции подробно рассматриваются в следующей лекции; ловушка относится к изменяемости и часто встречается в коде обработки данных.

01

Функция со списком по умолчанию

02

Два вызова: общий список

03

Общий список в __defaults__

04

Исправленная версия с None

encode()

decode()

Для физика

Файлы старых приборов и программ часто записаны в cp1251: кодировка указывается явно — open(path, encoding='cp1251'), а двоичные данные читаются в режиме 'rb'.

Пояснение

С Python 3.15 кодировкой по умолчанию на всех платформах является UTF-8 (PEP 686).

01

Кодирование строки в UTF-8

02

Длина в символах и в байтах; первый байт — число

03

Обратное декодирование

04

Байты cp1251, прочитанные как UTF-8

05

Правильная кодировка

Пояснение

С Python 3.12 у None, True, False и малых целых счётчик не меняется: это бессмертные объекты (PEP 683).

01

Счётчик нового списка

02

Второе имя: рост счётчика

03

del: уменьшение счётчика

04

Бессмертный None

05

Класс с методом __del__

06

Удаление последней ссылки

a.other

b.other

имён a и b уже нет: del a, b

Пояснение

Счётчики объектов цикла не обнуляются, хотя из программы до них уже не добраться.

Дерево, в котором узлы ссылаются на родителя

Двусвязный список

Объект, хранящий собственный связанный метод

Исключение в переменной: трассировка ссылается на кадры стека

Пояснение

Для таких случаев в Python 2.0 появился сборщик циклического мусора — модуль gc.

Пояснение

Отслеживаются только контейнеры: списки, кортежи, словари, множества, экземпляры классов, функции. Числа и строки не могут замкнуть цикл, и сборщик их не просматривает.

Пояснение

gc.collect() запускает сборку явно и возвращает число найденных недостижимых объектов.

01

Пороги и счётчики поколений

02

Класс с методом __del__

03

Два объекта со взаимными ссылками

04

Удаление имён: сообщений нет

05

Явный запуск сборщика

import weakref
 
class Node:
    def __init__(self, parent=None):
        self.children = []
        self.parent = None
        if parent is not None:
            self.parent = weakref.ref(parent)

Важно

__del__ не подходит для освобождения ресурсов: момент вызова не гарантирован, а при завершении интерпретатора вызов может не произойти.

Пояснение

Интервал чисел отвечает на in, но не перебирается; генератор перебирается, но не знает длины. Ни то ни другое не коллекция.

массив указателей ob_item

Пояснение

Ёмкость растёт с запасом около 1/8: 4, 8, 16, 24, 32, 40, 52, 64, 76, 92 — перевыделения всё реже.

01

Пустой список и его размер

02

Добавление 80 элементов по одному

03

Печать при каждом перевыделении: длина и ёмкость

xs = [0, 1, 2, 3, 4, 5]
xs[1:4]        # [1, 2, 3]: новый список
xs[::2]        # [0, 2, 4]
xs[::-1]       # [5, 4, 3, 2, 1, 0]
xs[-2:]        # [4, 5]
ys = xs[:]     # поверхностная копия

Для физика

Срез массива NumPy — представление, а не копия: после b = a[1:3]; b[0] = 99 меняется и массив a.

from operator import attrgetter, itemgetter
by_energy = attrgetter('energy')
 
events.sort(key=by_energy)       # на месте
top = sorted(events, key=by_energy, reverse=True)
 
rows.sort(key=itemgetter(1))     # вторичный ключ
rows.sort(key=itemgetter(0))     # первичный

Пояснение

sort и sorted устойчивы: элементы с равными ключами сохраняют взаимный порядок, поэтому сортировка по нескольким ключам выполняется проходами от младшего ключа к старшему.

point = 1.5, -2.0        # кортеж: запятая
single = (42,)           # (42) — число
first, second, *rest = range(10)
x, _, z = (1, 2, 3)
a, b = b, a              # обмен
(1, 2) < (1, 3)          # True
 
def bounds(data):
    return min(data), max(data)

from collections import namedtuple
 
Point = namedtuple('Point', 'x y')
p = Point(1.5, y=-2.0)
p.x, p[1]                # 1.5, -2.0
p._asdict()

Пояснение

Кортеж неизменяем и хешируем, если хешируемы элементы: пара координат или связка «прибор, канал» служит ключом словаря.

hash

Пояснение

frozenset — неизменяемое и потому хешируемое множество. {} — пустой словарь; пустое множество создаётся вызовом set().

Для физика

Отбор миллиона событий по набору разрешённых идентификаторов через множество занимает доли секунды там, где список требует минут.

indices

entries: хеш, ключ, значение

Пояснение

Порядок вставки гарантирован языком с версии 3.7.

Пояснение

На словарях построены пространства имён модулей и атрибуты объектов: globals(), obj.__dict__.

01

Равные числа разных типов: равные хеши

02

Три записи — один ключ

03

Нехешируемый кортеж со списком

04

Хеш строки в разных запусках

05

PYTHONHASHSEED=0: воспроизводимый хеш и порядок

01

Counter: три самых частых символа

02

defaultdict: группировка энергий по каналам

03

deque с maxlen: скользящее окно

04

Среднее по окну

05

namedtuple: доступ по имени и по индексу

01

Скобки, запятая и пустые фигурные скобки

02

+= со строкой

03

Результат sort

04

Общий список из dict.fromkeys

05

Удаление ключей при обходе словаря

06

Обход копии ключей

for i, (t, v) in enumerate(zip(times, volts)):
    if v > threshold:
        print(f'превышение: отсчёт {i}, t = {t}')
        break
else:
    print('порог не превышен')

with open('run.dat', encoding='utf-8') as f:
    for line in f:          # построчно
        t, v = map(float, line.split())

squares = [x ** 2 for x in data if x > 0]
index = {name: i for i, name in enumerate(names)}

Ложные значения

if data:                 # вместо len(data) > 0
name = user_name or 'аноним'
if xs and xs[0] > 0:     # xs[0] только для непустого
if 0 < x < 1:            # цепочка сравнений
kind = 'чёт' if n % 2 == 0 else 'нечет'

match event:
    case ('hit', x, y):
        hits.append((x, y))
    case ('miss',):
        misses += 1
    case _:
        raise ValueError(event)

Пояснение

and и or возвращают один из операндов, а не True или False, и вычисляют правый операнд, только если без него не обойтись.

01

Поиск в списке из миллиона элементов

02

Тот же поиск в множестве

03

Вставка в начало списка и дека при росте n

def slow(data):              # O(n²)
    result = []
    for x in data:
        if x not in result:  # проход по списку
            result.append(x)
    return result
 
def fast(data):              # O(n)
    seen, result = set(), []
    for x in data:
        if x not in seen:    # O(1)
            seen.add(x)
            result.append(x)
    return result

x in list, list.remove, list.index в цикле

insert(0, x) и pop(0) у списка в цикле

s += '...' для строк в цикле на уровне модуля

sum(списки, []) — повторное копирование

min(data) или sorted(data) внутри цикла

01

Функция slow: проверка вхождения по списку

02

Удвоение размера данных: 10 000, 20 000, 40 000

Важно

[1, 2, 2, 3, 4, 4, 5] * 1000 содержит семь тысяч элементов, но пять различных значений: список result в slow не превысит пяти элементов, и квадратичность не проявится.

Пояснение

Профилирование и измерение времени подробно рассматриваются в части книги «Ускорение расчётов».

Иерархия роста

O(1) < O(log n) < O(n) < O(n log n) < O(n²)

Скрытые вложенные циклы

x in list внутри цикла даёт O(n²)

Структура под операцию

множества и словари — для поиска, списки — для перебора, дек — для обоих концов

Поиск в цикле

коллекция один раз до цикла превращается в множество или словарь

01

Ссылка на задачу

02

Исходный код решения на Python

03

Пояснение: подробное описание хода решения

04

Обоснование выбора алгоритма и структур данных

05

Временная и пространственная сложность в O-нотации

Проверка вхождения в список в цикле

скрытый O(n²): множество или словарь строится один раз до цикла

Сложность без обоснования

указывается, какая операция и сколько раз определяет оценку

Забытая память

пространственная сложность учитывает вспомогательные структуры

Сортировка «бесплатно»

sorted стоит O(n log n) и входит в оценку

Строка через += в цикле

части собираются в список и объединяются join

Замер на пяти значениях

проверка на данных размера и вида, как в условии задачи

Книга курса: главы «Объекты и память», «Коллекции», «Сложность операций с коллекциями»

phys-dev.github.io/soft-dev-book

Лебедев С. Python. Начало. – Computer Science Center

youtube.com/watch?v=G5QGI-vcmOA

Лебедев С. Встроенные коллекции и модуль collections. – Computer Science Center

youtube.com/watch?v=1yCWXWJoO-Y

The Python Language Reference: Data model

docs.python.org/3/reference/datamodel.html

Модули dis и gc — документация Python

docs.python.org/3/library/dis.html, …/gc.html

TimeComplexity — вики Python

wiki.python.org/moin/TimeComplexity

Batchelder N. Facts and Myths about Python Names and Values

nedbatchelder.com/text/names.html

Ramalho L. Fluent Python. – 2nd ed. – O'Reilly, 2022