MyTetra Share
Делитесь знаниями!
Определение страны по IP-адресу
09.08.2018
00:08
Раздел: Python


Определение страны по IP-адресу

При сборе статистики посещения web-страниц часто собирается информация о количестве посетителей из разных стран. Как правило, страну определяют по домену первого уровня. Но такая информация не всегда соответствует действительности, особенное учитывая нынешнюю тендецию использовать национальные домены co, tv не по назначению. Кроме того, как быть с доменами общего пользования net, org, com и др.? С IP-адресами, для которых нет записей в реверсной зоне? Ну и, наконец, определение доменного имени отнимает заметное количество времени.

Приведенный в статье код распространяется под лицензией в стиле Python, то есть может быть использован для любых (в том числе коммерческих целей) при условии сохранения замечания об авторском праве Copyright © 2002, Denis S. Otkidach <ods@ods.pp.ru>.

Данные о регистрации диаппазонов IP-адресов хранятся в базах данных whois. Чтобы предоставить возможность общественности анализировать трафик, RIPE NCC, ARIN и APNIC не реже, чем раз в месяц, делают сокращенные "снимки" своих баз данных. Именно из этих данных мы и составим локальную базу.

Но сначала нужно эффективно оргазовать хранение данных для диаппазонов IP-адресов, чтобы обеспечить к ним быстрый доступ. За основу возмем BTree базу BerkleyDB, доступ к которой обеспечивает функция btopen() из стандартного модуля bsddb. В качестве ключей будем использовать начало диаппазона IP-адресов, а в качестве значений — его конец и дополнительную информацию. Ключи и значения в bsddb должны быть строками. Кроме того, необходимо обеспечить упорядоченность ключей. Для этого очень хорошо подходит функции inet_aton и inet_ntoa из модуля socket.

  1. from bsddb import btopen
  2. from socket import inet_aton, inet_ntoa
  3.  
  4.  
  5. class IPRangeDB:
  6.  
  7. def __init__(self, filename, mode='r'):
  8. self.__db = btopen(filename, mode)
  9.  
  10. def close(self):
  11. self.__db.close()
  12.  
  13. def _locate(self, ip):
  14. db = self.__db
  15. try:
  16. first, record = db.set_location(ip)
  17. except KeyError:
  18. try:
  19. first, record = db.last()
  20. except KeyError:
  21. raise KeyError(inet_ntoa(ip))
  22. else:
  23. if first!=ip:
  24. first, record = db.previous()
  25. assert first<=ip
  26. return first, record
  27.  
  28. def __getitem__(self, ip_str):
  29. ip = inet_aton(ip_str)
  30. first, record = self._locate(ip)
  31. last = record[:4]
  32. assert last>=first
  33. if ip<=last:
  34. return self.unpack(record[4:])
  35. else:
  36. raise KeyError(ip_str)
  37.  
  38. def add(self, first_str, last_str, info):
  39. first = inet_aton(first_str)
  40. last = inet_aton(last_str)
  41. try:
  42. db_first, record = self._locate(last)
  43. except KeyError:
  44. pass
  45. else:
  46. db_last = record[:4]
  47. if first<=db_last:
  48. raise ValueError(
  49. 'Range %s-%s intersects ' % (first_str, last_str) +
  50. 'with existing entry %s-%s' %
  51. (inet_ntoa(db_first), inet_ntoa(db_last)))
  52. self.__db[first] = last+self.pack(info)
  53.  
  54. def pack(self, info):
  55. return info
  56.  
  57. def unpack(self, info):
  58. return info


Метод _locate() ищет запись с максимальной нижней границей, меньшей или равной IP-адресу, переданному в качестве аргумента. Метод __getitem__() позволяет использовать экземпляры класса IPRangeDB аналогично словарям: db[ip] вернет информацию о диаппазоне, в который входит адрес ip. Использовать интерфейс словаря для записи врядли будет хорошей идеей, так как запись создается одна для всего диаппазона. Чтобы избежать путаницы, добавление записей реализовано через метод add(). И, наконец, пара методов pack() и unpack() определены, чтобы производный класс можно было легко адоптировать для хранения произвольной информации, метод pack() должен преобразовывать объект в строку.

  1. >>> db = IPRangeDB('test.db', 'c')
  2. >>> db.add('10.0.0.0', '10.255.255.255', 'Наша локальная сеть')
  3. >>> print db['10.1.2.3']
  4. Наша локальная сеть
  5. >>> print db['123.45.67.89']
  6. Traceback (most recent call last):
  7. File "<stdin>", line 1, in ?
  8. File "ip2cc.py", line 38, in __getitem__
  9. raise KeyError(ip_str)
  10. KeyError: 123.45.67.89


Осталось дело за малым: определить методы для наполнения базы данных.

  1. from urllib import urlopen
  2. from xreadlines import xreadlines
  3. from time import strptime
  4. import struct
  5.  
  6.  
  7. class CountryByIP(IPRangeDB):
  8.  
  9. sources = {
  10. 'arin' : ('ftp://ftp.arin.net/pub/stats/arin/', 'arin.%Y%m%d'),
  11. 'ripencc': ('ftp://ftp.ripe.net/ripe/stats/', 'ripencc.%Y%m%d'),
  12. 'apnic' : ('ftp://ftp.apnic.net/pub/stats/apnic/', 'apnic-%Y-%m-%d')
  13. }
  14.  
  15. def fetch(self):
  16. for name in self.sources:
  17. fp = self.__openRecent(name)
  18.  
  19.  
  20. for line in xreadlines(fp):
  21. parts = line.strip().split('|')
  22. if len(parts)==7 and parts[2]=='ipv4' and
  23. parts[6] in ('allocated', 'assigned') and
  24. name==parts[0]:
  25. first = parts[3]
  26. first_int = struct.unpack('!i', inet_aton(first))[0]
  27. last_int = first_int+int(parts[4])-1
  28. last = inet_ntoa(struct.pack('!i', last_int))
  29. try:
  30. self.add(first, last, parts[1].upper())
  31. except ValueError:
  32. pass
  33.  
  34. def __openRecent(self, name):
  35. uri, format = self.sources[name]
  36. files = []
  37. for line in xreadlines(urlopen(uri)):
  38. file = line.split()[-1]
  39. try:
  40. dt = strptime(file, format)
  41. except ValueError:
  42. pass
  43. else:
  44. files.append((dt, file))
  45. files.sort()
  46. return urlopen(uri+files[-1][1])


Метод __openRecent находит самый свежий "снимок" и возвращает файловый объект. Дата "снимка" определяется по имени файла по шаблону из словаря источников sources. Метод fetch анализирует данные, выбирает необходимое и добавляет в базу. Использование модуля xreadlines позволяет анализировать данные по мере поступления.

Теперь можно наполнить базу

  1. >>> db = CountryByIP('test.db', 'n')
  2. >>> db.fetch()


и использовать

  1. >>> from socket import gethostbyname
  2. >>> db[gethostbyname('python.org')]
  3. 'NL'


Преобразование кода A2 в название страны по таблице ISO3166 пусть останется вам в качестве упражнения.

Так же в этом разделе:
 
MyTetra Share v.0.52
Яндекс индекс цитирования