10. Краткий обзор стандартной библиотеки

• 1 0.1. Интерфейс операционной системы
• 10.2. Файловые шаблоны
• 10.3. Аргументы командной строки
• 10.4. Вывод перенаправленных ошибок и завершение программы
• 10.5. Согласование строкового шаблона
• 10.6. Математика
• 10.7. Доступ в Интернет
• 10.8. Даты и время
• 10.9. Сжатие данных
• 10.10. Измерение производительности
• 10.11. Контроль качества
• 10.12. Батарейки включены

10.1. Интерфейс операционной системы

Модуль os (docs.python.org/3/library/os.html#module-os) предоставляет множество функций для взаимодействия с операционной системой:

>>> import os

>>> os.getcwd()      # Возвращает текущую рабочую директорию

'C:\\Python36'

>>> os.chdir('/server/accesslogs')   # Изменяет текущую рабочую директорию

>>> os.system('mkdir today')   # Запускает команду mkdir в системной оболочке

0 

Обязательно используйте стиль import os вместо from os import *. Это сохранит os.open() (docs.python.org/3/library/os.html#os.open) от перекрытия встроенной функции open() , которая совсем по-другому работает.

Встроенные функции dir()  и help()  полезны как интерактивные пособия для работы с большими модулями, как os:

>>> import os

>>> dir(os)

<returns a list of all module functions>

>>> help(os)

<returns an extensive manual page created from the module's docstrings> 

Для ежедневных задач по управлению файлами и каталогами модуль shutil (docs.python.org/3/library/shutil.html#module-shutil) предоставляет интерфейс более высокого уровня, который проще в использовании:

>>> import shutil

>>> shutil.copyfile('data.db', 'archive.db')

>>> shutil.move('/build/executables', 'installdir') 

10.2. Файловые шаблоны

Модуль glob (docs.python.org/3/library/glob.html#module-glob) предоставляет функцию для создания списков файлов по шаблону из найденных в каталоге:

>>> import glob

>>> glob.glob('*.py')

['primes.py', 'random.py', 'quote.py'] 

10.3. Аргументы командной строки

В обычных скриптах-утилитах часто нужно обрабатывать аргументы командной строки. Эти аргументы хранятся в атрибуте argv модуля sys (docs.python.org/3/library/sys.html#module-sys) в виде списка. Например следующие выходные результаты будут получены от выполнения команды python demo.py one two three в командной строке:

>>> import sys

>>> print(sys.argv)

['demo.py', 'one', 'two', 'three'] 

Модуль getopt (docs.python.org/3/library/getopt.html#module-getopt) обрабатывает sys.argv, используя соглашения Unix по функции getopt(). Более мощная и гибкая обработка командной строки обеспечивается модулем argparse (docs.python.org/3/library/argparse.html#module-argparse).

10.4. Вывод перенаправленных ошибок и завершение программы

Модуль sys также имеет атрибуты для stdin (стандартный ввод), stdout (стандартный вывод) и stderr (стандартный вывод ошибок). Последний полезен для генерации предупреждений и сообщений об ошибках, чтобы сделать их видимыми, даже когда stdout (стандартный вывод) был перенаправлен:

>>> sys.stderr.write('Warning, log file not found starting a new one\n')

Warning, log file not found starting a new one 

Самый очевидный способ завершить сценарий заключается в использовании sys.exit().

10.5. Строковый шаблон

Модуль re (docs.python.org/3/library/re.html#module-re) предоставляет инструменты регулярных выражений для более глубокой обработки строк. Для комплексного сопоставления и управления регулярные выражения предлагают краткие, оптимизированные решения:

>>> import re

>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')

['foot', 'fell', 'fastest']

>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')

'cat in the hat' 

Когда необходимы только простые возможности, методы строк являются предпочтительными, поскольку они являются более удобными для чтения и отладки:

>>> 'tea for too'.replace('too', 'two')

'tea for two' 

10.6. Математика

Модуль math (docs.python.org/3/library/math.html#module-math) предоставляет доступ к базовым функциям библиотеки C для математики с плавающей точкой:

>>> import math

>>> math.cos(math.pi / 4)

0.70710678118654757

>>> math.log(1024, 2)

10.0 

Модуль random (docs.python.org/3/library/random.html#module-random) предоставляет инструменты для создания случайного выбора:

>>> import random

>>> random.choice(['apple', 'pear', 'banana'])

'apple'

>>> random.sample(range(100), 10)   # выборка без замены

[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]

>>> random.random()    # случайное вещественное число

0.17970987693706186

>>> random.randrange(6)    # случайное целое, выбранное из  range(6)

4 

Модуль statistics (docs.python.org/3/library/statistics.html#module-statistics) вычисляет основные статистические свойства (среднее, медиану, расхождение и т. д.) числовых данных:

>>> import statistics

>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]

>>> statistics.mean(data)

1.6071428571428572

>>> statistics.median(data)

1.25

>>> statistics.variance(data)

1.3720238095238095 

Проект SciPy  имеет много других модулей для численных расчетов.

10.7. Доступ в Интернет

Существует целый ряд модулей для доступа в Интернет и обработки интернет-протоколов. Два из простейших - это urllib.request (docs.python.org/3/library/urllib.request.html#module-urllib.request) для извлечения данных из URL-адресов и smtplib (docs.python.org/3/library/smtplib.html#module-smtplib) для отправки почты:

>>> from urllib.request import urlopen

>>> for line in urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl'):

...     line = line.decode('utf-8')  # Декодирование бинарных данных в текст.

...     if 'EST' in line or 'EDT' in line:  # искать Eastern Time

...         print(line)

<BR>Nov. 25, 09:43:32 PM EST

>>> import smtplib

>>> server = smtplib.SMTP('localhost')

>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',

... """To: jcaesar@example.org

... From: soothsayer@example.org

...

... Beware the Ides of March.

... """)

>>> server.quit() 

(Заметьте, что во втором примере необходим почтовый сервер, работающий на локальном хосте.)

10.8. Даты и время

Модуль datetime (docs.python.org/3/library/datetime.html#module-datetime) поставляет классы для управления датой и временем различной степени сложности. Пока вычисления даты и времени поддерживаются, в центре внимания реализации - на эффективное извлечение члена для форматирования вывода и манипуляции. Модуль также поддерживает объекты, "осведомленные" о часовом поясе.

>>> # даты легко конструируются и форматируются

>>> from datetime import date

>>> now = date.today()

>>> now

datetime.date(2003, 12, 2)

>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")

'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # даты поддерживают календарную арифметику

>>> birthday = date(1964, 7, 31)

>>> age = now - birthday

>>> age.days

14368 

10.9. Сжатие данный

Обычные форматы архивирования и сжатия данных напрямую поддерживаются модулями включая:
zlib (docs.python.org/3/library/zlib.html#module-zlib), gzip (docs.python.org/3/library/gzip.html#module-gzip), bz2 (docs.python.org/3/library/bz2.html#module-bz2), lzma (docs.python.org/3/library/lzma.html#module-lzma), zipfile (docs.python.org/3/library/zipfile.html#module-zipfile) и tarfile (docs.python.org/3/library/tarfile.html#module-tarfile).

>>> import zlib

>>> s = b'witch which has which witches wrist watch'

>>> len(s)

41

>>> t = zlib.compress(s)

>>> len(t)

37

>>> zlib.decompress(t)

b'witch which has which witches wrist watch'

>>> zlib.crc32(s)

226805979 

10.10. Измерение производительности

Некоторым пользователям Python важно знать относительную производительность различных подходов к решению одной проблемы. Python предоставляет инструмент измерения, который сразу отвечает на эти вопросы.

Например, может быть заманчивым использовать возможность упаковки и распаковки кортежа вместо традиционного подхода к обмену аргументов. Модуль timeit (docs.python.org/3/library/timeit.html#module-timeit) быстро демонстрирует скромное преимущество в производительности:

>>> from timeit import Timer

>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()

0.57535828626024577

>>> Timer('a,b = b,a', 'a=1; b=2').timeit()

0.54962537085770791 

В отличие от хорошего уровня детализации timeit, модули profile (docs.python.org/3/library/profile.html#module-profile) и pstats (docs.python.org/3/library/profile.html#module-pstats) модули предоставляют средства для идентификации времени критических секций в крупных блоках кода.

10.11. Контроль качества

Один из подходов к разработке высококачественного программного обеспечения - это создание тестов для каждой функции, когда она будет разработана, и часто выполнять эти тесты в процессе разработки.

Модуль doctest (docs.python.org/3/library/doctest.html#module-doctest) предоставляет инструмент для сканирования модуля и проверки тестов, встроенных в строки документации программы. Создать тест так же просто, как вырезать и вставить типичный вызов вместе с его результатом в строку документации. Это улучшает документацию, показывая пользователю пример, и это позволяет модулю doctest убедиться, что код остается верен документации:

def average(values):

    """Вычисляет среднее арифметическое списка чисел.

    >>> print(average([20, 30, 70]))

    40.0

    """

    return sum(values) / len(values)

import doctest

doctest.testmod()   # автоматически подтверждает встроенные тесты 

Модуль unittest (docs.python.org/3/library/unittest.html#module-unittest) не такой легкий, как модуль doctest, но он позволяет провести более полный набор тестов, чтобы поддерживаться в отдельном файле:

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):

        self.assertEqual(average([20, 30, 70]), 40.0)

        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)

        with self.assertRaises(ZeroDivisionError):

            average([])

        with self.assertRaises(TypeError):

            average(20, 30, 70)

unittest.main() # Запуск из командной строки запускает все тексты 

10.12. Батарейки включены

Философия Python - "батарейки включены". Это лучше всего видно на утонченных и мощных возможностях его более крупных пакетов. Например:

• Модули xmlrpc.client и xmlrpc.server делают тривиальной задачей реализацию удаленных вызовов процедур. Несмотря на имена модулей, никакого непосредственного знания или обращения к XML не требуется.
• Пакет email представляет собой библиотеку для управления сообщениями электронной почты, в том числе MIME и другими RFC 2822-based сообщениями. В отличие от smtplib и poplib, которые фактически отправляют и получают сообщения, пакет email имеет полный набор инструментов для создания или декодирования сложной структуры сообщений (включая вложения) и для реализации интернет-кодирования и протоколов заголовков.
• Пакет json обеспечивает мощную поддержку для анализа этого популярного формата обмена данными. Модуль csv поддерживает прямое чтение и запись файлов в формате Comma-Separated Value (значения, разделенные запятыми), обычно поддерживаемые базами данных и электронными таблицами. Обработка XML поддерживается пакетами xml.etree.ElementTree, xml.dom и xml.sax. Вместе эти пакеты чрезвычайно упрощают обмен данными между приложениями Python и другими инструментами.
• Модуль sqlite3 - обертка для библиотеки SQLite базы данных, предоставляющей постоянную базу данных, которая может быть обновлена и к которой можно получить доступ немного нестандартным синтаксисом SQL.
• Интернационализация поддерживается рядом модулей, включая gettext, locale и пакет codecs.

Создано

2013-12-31

Обновлено

2017-06-16

• Добавить комментарий

Перекрёстные ссылки книги для 10. Краткий обзор стандартной библиотеки

• 9. Классы
• Вверх
• 11. Краткий обзор стандартной библиотеки - Часть II