PostgreSQLRussia.ORG

1 июля 2009 — Всемирная группа разработчиков PostgreSQL выпустила новую версию PostgreSQL, продолжая активную разработку самой развитой системы управления базами данных с открытым исходным кодом. Новая версия содержит множество улучшений, делающих администрирование, написание запросов и программирование баз данных PostgreSQL более простым, чем когда-либо. Благодаря 293 новым функциям и улучшениям, содержащимся в версии 8.4, причин выбрать PostgreSQL для вашего нового проекта стало ещё больше.

Львиная доля изменений в PostgreSQL 8.4 — это новые или улучшенные инструменты и команды для администрирования и мониторинга. Каждый пользователь может найти для себя те возможности, которые сделают именно его ежедневную работу с PostgreSQL более лёгкой и продуктивной.

«Мы используем PostgreSQL уже семь лет и с нетерпением ожидаем появления многих новшеств версии 8.4, в особенности таких возможностей как права доступа на столбцы, индивидуальные настройки локали у баз данных, поиск по частичному совпадению с помощью GIN-индексов и определяемые пользователем исключения, — говорит Джеффри Уэбстер (Jeffrey Webster), исполнительный директор проекта ZooLoo.com. — PostgreSQL дал нам возможность расти, не заставляя приносить в жертву целостность данных.»

Среди самых популярных улучшений можно выделить следующие.

• Многопоточное восстановление базы данных, обеспечивающее до 8-кратного увеличения скорости реставрации базы данных из резервной копии.
• Права доступа на столбцы, предоставляющие более тонкий контроль над важными данными.
• Раздельные локали для баз данных, что упрощает работу с PostgreSQL в многоязычных окружениях.
• Обновления «на месте» с помощью бета-версии инструмента pg_migrator, который позволяет перейти с версии 8.3 на 8.4 без существенного простоя системы.
• Новые инструменты мониторинга запросов, помогающие администраторам получить лучшее представление об активности запросов.

В версии 8.4 стало проще анализировать данные с помощью развитых средств стандарта ISO/ANSI SQL2003: «оконных» функций (windowing functions), общих табличных выражений (common table expressions) и рекурсивных запросов с операциями соединения. «Такие структуры запросов существенно повышают выразительную мощь PostgreSQL-диалекта языка SQL, позволяя пользователям формулировать интересные запросы лишь в одном SQL-предложении, что ранее представлялось совершенно невозможным, — поясняет Сейлеш Кришнамёрфи (Sailesh Krishnamurthy), основатель компании Truviso. Улучшения хранимых процедур, такие как значения параметров по умолчанию и переменное число параметров (variadic parameters), делают программирование баз данных более простым, а код становится более компактным.»

С выходом новой версии также улучшается общая производительность приложений. Администратор баз данных Системы судопроизводства штата Висконсин Кевин Гриттнер (Kevin Grittner) отмечает: «PostgreSQL продолжает улучшать производительность с выходом очередной основной версии. Версия 8.4 включает несколько оптимизаций, таких как полусоединения (semi-joins) и антисоединения (anti-joins), что позволяет значительно сократить время обработки некоторых из наших наиболее важных запросов к базам данных.»

Появление новых возможностей означает, что PostgreSQL 8.4 будет служить большему числу пользователей, чем когда-либо. И среди таких новых пользователей — проект OpenStreetMap.«Когда мы планировали новую версию API для OpenStreetMap, стало очевидно, что нам нужна первоклассная система управления базами данных, которая не только предоставит все нужные нам возможности, но и будет хорошо работать на необходимых нам масштабах. Хотя существует много систем с открытым исходным кодом, выбор для нас очевиден, это PostgreSQL,» — говорит Том Хьюз (Tom Hughes), системный администратор проекта OpenStreetMap.

PostgreSQL давно и активно используется во многих российских компаниях. Вот как комментирует выпуск PostgreSQL 8.4 администратор баз данных социальной сети MirTesen.ru Сергей Коноплёв: «С выходом PostgreSQL 8.4 в первую очередь я планирую провести оптимизацию, направленную на использование GIN-индексов и contrib-модуля btree_gin. Это должно обеспечить существенных прирост скорости многих функций нашего проекта. Конечно же, поэкспериментирую с новыми настройками autovacuum и "картами видимости", посмотрю на статистику от pg_stat_statements и на CTE. И забуду о pgAdmin III, т.к. у меня теперь будет \ef в psql :-)»

Полный текст официального пресс-релиза на русском языке доступен на сайте PostgreSQL.org.

Слайды доступны онлайн: http://docs.google.com/Presentation?id=dcc5pkkb_2902f3bnszgn

Там же можно скачать PPT, PDF.

Компания Yahoo утверждает, что ей удалось побить мировой рекорд, создав самую большую и нагруженную базу данных в мире. Объём данных: 2 петабайт, нагрузка: 24 млрд событий в сутки. БД работает под управлением модифицированного PostgreSQL. В качестве однго из самых крупных изменений, можно отметить ориентацию на по-колоночное хранение вместо традиционного построчного, что замедляет запись на диск, но обеспечивает лучшую скорость доступа к данным для аналитических целей.

В базе хранится история поведения веб-пользователей, утверждается, что в месяц сохраняются данные о полумиллиарде пользователей. Некоторые таблицы в базе содержат триллионы строк, которые не просто лежат мёртвым грузом на дисках, но могут быть запрошены и обработаны стандартным SQL, в стандартной ACID-совместимой среде.

Инженеры Yahoo ожидают рост до 5 петабайт к следующему году. И они готовы к такому росту. Для сравнения: редко встречаются БД уровня предприятия объёмом более десятков терабайт. Например, одна из самых больших публично известных БД в мире — база данных налоговой службы США «весит» всего лишь 150 терабайт. Компания EBay заявляет, что работает с системами, обрабатывающими 10 млрд строк в сутки, при этом суммарный объём данных в этих системах составляет 6 петабайт, а объём данных у самой большой из систем — около 1.4 петабайт.

Стоит понимать, что речь идёт именно о СУБД и БД, построенных на них. Есть хранилища данных с ещё более впечатляющим объёмам, но практически недоступными для анализа и обработки. К примеру, Всемирный центр данных о климате в Гамбурге обладает хранилищем в более чем 6 петабайт данных, сохранённых на магнитной ленте, при этом в «активном» состоянии находятся «лишь» 220 терабайт данных (которые обслуживаются СУБД под управлением Linux, см. PDF).

В пятницу (21 сентября) в Москве был вечер PostgreSQL.

Cначала координатор разработки PostgreSQL Брюс Момджан (Bruce Momjian) провёл семинар по вопросам производительности PostgreSQL. Собравшиеся (некоторые из которых приехали издалека — Питер, Минск) буквально растерзали Брюса своими вопросами, среди которых — ну как обычно — были из разряда FAQ: «а будет ли когда-нибудь реализован кэш результатов ответа в Постгресе?», «а почему не сделают хинты, как у Оракла?» и т.п. В целом, семинар прошёл в очень дружественной обстановке, присутствующие отмечали, что узнали очень много нового и все остались довольны Кстати, мне обещали прислать mp3-запись семинара, выложим в общий доступ вместе со слайдами.

После семинара все были приглашены на ужин от имени компаний EnterpriseDB и Postgresmen. Вкушая традиционные блюда русской кухни — борщ, пельмени, квас, — разработчики PostgreSQL и активные его пользователи смогли пообщаться в неформальной обстановке и обсудить насущные вопросы. Ну и просто поболтать. Помимо Брюса среди присутствующих стоит отметить Олега Бартунова, Фёдора Сигаева, Алексея Борзова, Ивана Золотухина.

Из вопросов, которые активно обсуждались, стоит отметить: российское PostgreSQL-сообщество, перевод документации, создание русскоязычных статей и книг. Следите за новостями на сайте Postgresmen!