Новости Linux kernel

Ядро Linux отметило свой 21 день рождения. 25 августа 1991 года, после 5 месяцев разработки, 21-летний студент Линус Торвальдс объявил в телеконференции comp.os.minix о создании рабочего прототипа новой операционной системы Linux для которой было отмечено завершение портировния bash 1.08 и gcc 1.40. Первый публичный выпуск ядра Linux был представлен 17 сентября. Ядро 0.0.1 имело размер 62 Кб в сжатом виде и содержало около 10 тыс. строк кода. Современное ядро Linux насчитывает более 15 млн строк кода. По данным исследования, проведенного по заказу Евросоюза, приблизительная стоимость разработки с нуля проекта аналогичного современному ядру Linux составила бы более миллиарда долларов.

Ядро Linux было создано под впечатлением от операционной системы MINIX, которая не устраивала Линуса своей ограниченной лицензией. Впоследствии, когда Linux стал известным проектом, недоброжелатели пытались обвинить Линуса в прямом копировании кода некоторых подсистем MINIX. Нападение отразил Эндрю Таненбаум, автор MINIX, который поручил одному из студентов провести детальное сравнение кода Minix и первых публичных версий Linux. Результаты исследования показали наличие только 4 несущественных совпадений блоков кода, обусловленных требованиями POSIX и ANSI C.

Первоначально Линус задумал назвать ядро Freax, от слов "free", "freak" и X (Unix). Но имя Linux ядро получило с легкой руки Ари Лемке (Ari Lemmke), который по просьбе Линуса разместил ядро на своем FTP-сервере, назвав директорию с архивом не "freax" как просил Торвальдс, а "linux". Примечательно, что предприимчивый делец Вильям Делло Крок (William Della Croce) сумел зарегистрировать торговую марку Linux и хотел со временем собирать отчисления, но позднее передумал и передал все права на торговую марку Линусу. Официальный талисман Linux ядра, пингвин Tux, был выбран в результате соревнования, состоявшегося в 1996 году. Имя Tux расшифровывается как Torvalds UniX.

Ниже представлена статистика с отражением динамики роста кодовой базы ядра:

•   0.0.1 - сентябрь 1991, 10 тыс. строк кода;

•   1.0.0 - март 1994, 176 тыс. строк кода;

•   1.2.0 - март 1995, 311 тыс. строк кода;

•   2.0.0 - июнь 1996, 778 тыс. строк кода;

•   2.2.0 - январь 1999, 1.8 млн. строк кода;

•   2.4.0 - январь 2001, 3.4 млн. строк кода;

•   2.6.0 - декабрь 2003, 5.9 млн. строк кода;

•   2.6.28 - декабрь 2008, 10.2 млн. строк кода;

•   2.6.35 - август 2010, 13.4 млн. строк кода;

•   3.0 - август 2011, 14.6 млн. строк кода.

•   3.5 - июль 2012, 15.5 млн. строк кода.

Ганс Питер Анвин (Hans Peter Anvin), один из ключевых разработчиков Linux-ядра в компании Intel и создатель таких проектов как syslinux, klibc и LANANA, опубликовал в списке рассылки разработчиков ядра Linux серию патчей, реализованных в рамках проекта X32, нацеленного на создание гибридного x86_64 ABI с 32-х битной адресацией памяти.

X32 представляет собой прослойку поверх стандартного x86_64 ABI ядра, эмулирующую на 64-разрядных системах 32-х битную модель адресации памяти. Как следствие, приложения могут использовать все преимущества архитектуры x86_64, такие как дополнительные регистры, более быстрые инструкции, PIC ABI, но в то же время смогут работать с 32-х битными указателями памяти, что положительно скажется на потреблении памяти, кэша и общей скорости исполнения кода.

Замеры производительности, сделанные разработчиками, показали, что внедрение нового ABI в некоторых случаях позволяет добиться прироста скорости исполнения кода до 32% в сравнении с классическим x86_64 ABI, хотя не исключены ситуации, в которых наблюдается небольшое падение производительности на 0.5-6%. Также ограничением служат запросы приложения к размеру используемой оперативной памяти, которые теперь ограничиваются 4 Гб.

Для реализации X32 ABI разработчикам потребовалось добавить около 1000 строк кода в ядро Linux, а также интегрировать поддержку новой "архитектуры" в пакеты binutils, libc и GCC. Патчи, а также инструкции по сборке и установки можно получить на официальной странице проекта.

P.S.
Понравился комментарий на опеннете:

Это не просто костыль, а как-то особо в космических масштабах с отягчающими обстоятельствами костыль.

Итак, Linux 3.2 вышло, и теперь разработка переключена на 3.3 официально.

Исходники

После трёх месяцев разработки увидел свет релиз Linux-ядра 3.1, разработка которого длилась почти на месяц дольше обычного из-за инцидента со взломом инфраструктуры kernel.org. Вопреки сложившейся практике релиз был вначале представлен Линусом Торвальдсом не в списке рассылки, а на саммите разработчиков ядра Linux.



Из наиболее заметных изменений можно упомянуть поддержку процессорной архитектуры OpenRISC, оптимизацию производительности операций сброса страниц памяти из ОЗУ на диск, ускорение работы slab allocator, новую реализацию подсистемы iSCSI, поддержку чипов NFC (Near Field Communication), код для контроля за bad-блоками в программном RAID, утилиту "cpupowerutils" для управления питанием, активацию в Ext3 режима сброса буферов "barrier", поддержку пульта Nintendo Wii Remote, драйверы для нового оборудования.

В новую версию принято 9403 исправлений от 1318 разработчиков, размер патча - 49 Мб (добавлено 9240 тыс. строк кода, удалено - 9153 тыс. строк). Около 37% всех представленных в 3.1 изменений связаны с драйверами устройств, примерно 25% изменений имеют отношение к обновлению кода специфичного для аппаратных архитектур, 14% связано с сетевым стеком, 5% - файловыми системами и 5% c внутренними подсистемами ядра.

О новшествах в новом ядре можно узнать на opennet.ru или на kernelnewbies.org.

Линус Торвальдс анонсировал релиз Linux-ядра 3.0, в котором завершена интеграция поддержки XEN dom0, в netfilter интегрирован JIT-компилятор BPF-правил, добавлена реализация кэша Cleancache, обеспечена поддержка "Wake on WLAN", реализована автоматическая дефрагментация в Btrfs. Выпуск 3.0 ознаменовал завершение развития ветки 2.6.x, которая развивается уже около 10 лет и переход к новой схеме нумерации. Следующим после 3.0 выпуском станет версия 3.1, затем 3.2 и так далее, пока не пройдут очередные 10 лет или не возникнет потребность коренных изменений, связанных с глобальной переработкой ключевых подсистем или нарушением совместимости. В процессе накопления патчей корректирующие обновления будут представлены как 3.0.1, 3.0.2, 3.0.3 и т.п.

Отдельно подчеркивается, что версию 3.0 не стоит считать каким-то кардинальным шагом, какой можно было наблюдать при появлении GNOME 3.0 или KDE 4.0. Linux-ядро 3.0 - не более чем формальная смена нумерации, приуроченная к двадцатилетию проекта и десятилетию существования ветки 2.6.x. В новой версии нет каких-либо серьезных нарушений совместимости или специальных новшеств. Новое ядро плавно продолжает развитие текущей кодовой базы и по уровню нововведений сравнимо с выпуском версии 2.6.40. Более того, число изменений по сравнению с прошлыми выпусками выглядит достаточно скромно. Процесс разработки также остаётся прежним.

В новую версию принято 9862 исправлений от 1276 разработчиков, размер патча - 44 Мб (добавлено 8002 тыс. строк кода, удалено - 7946 тыс. строк). Около 41% всех представленных в 3.0 изменений связаны с драйверами устройств, примерно 25% изменений имеют отношение к обновлению кода специфичного для аппаратных архитектур, 15% связано с сетевым стеком, 5% - файловыми системами и 5% c внутренними подсистемами ядра.

Наиболее интересные новшества ядра 3.0:

\cut{Читать далее}

Виртуализация и безопасность

•   Окончание интеграции полной поддержки Dom0 и DomU в Linux-ядро. В состав ядра 3.0 принят бэкенд xen-blkback, необходимый для обеспечения работы виртуальных блочных устройств. Таким образом в стандартном ядре теперь содержится полный набор средств, необходимых для работы Xen в качестве управляющего хоста и гостевой системы. Отныне поддержка Xen будет неотделима от ядра Linux и будет развиваться вместе с ним, без ведения отдельных веток и поддержания дополнительных патчей;
•   Поддержка раздельных номеров файловых дескрипторов внутри изолированных пространств Namespace. Namespace является своеобразной легковесной техникой виртуализации, при которой некоторые процессы могут быть отрезаны от остальной системы, работая в отдельном пространстве имен и не влияя на другие части системы;

  Дисковая подсистема, ввод/вывод и файловые системы

•   Улучшение файловой системы Btrfs:

  Поддержка автоматической дефрагментации. Btrfs больше подвержена фрагментации, так как использует при записи данных подход COW (copy-on-write), при котором при изменении содержимого файла данные не переписываются в уже распределенных блоках, а копируются и сохраняются в новом свободном блоке, что позволяет организовать работу снапшотов. Кроме ранее доступной команды "btrfs filesystem defragment" и отключающей COW опции монтирования "-o nodatacow", в новой версии ядра представлена поддержка автоматической дефрагментации, включаемая через опцию монтирования "-o autodefrag". Суть механизма автоматической дефрагментации сводится к обнаружению небольших случайных операций записи в файлы и построению специальной очереди, которую разбирает специальный внутренний дефрагментатор. Данный метод еще плохо адаптирован для работы с большими БД или виртуализацией, но уже хорошо работает при изменении небольших файлов, в процессе использования таких систем, как rpm, sqlite и bdb;

  Реализация процесса проверки целостности данных ("Scrubbing") в файловой системе путем сверки указанных в экстентах контрольных сумм с контрольными суммами, вычисленными на основе фактических данных. В случае выявления расхождений предпринимается попытка поиска неповрежденной копии данных;

  Увеличение скорости создания и удаления файлов. Основные проблемы с производительностью при создании и удалении файлов связаны с необходимостью выполнения большого числа сопутствующих действий с b+ деревьями. Для ускорения подобных операций реализован метод отложенного изменения b+ деревьев. В итоге производительность создания файлов возросла на 15%, а удаления на 20%;

  Ускорение выполнения операций по сбросу буферов на диск (при выполнении fsync на диск теперь сбрасываются только изменившиеся с момента последней синхронизации данные). Скорость выполнения теста sysbench при сочетании случайно записи с вызовом fsync возросла с 112.75 запросов в сек. до 1216 запросов в сек.

  Поддержка метода "Quasi-round-robin" при распределении блоков в конфигурациях с несколькими дисками. Новый метод позволяет полностью использовать при разнесении данных (stripe) все доступное дисковое пространство, используя для хранения в первую очередь диски, на которых больше доступного места;

•   Проведение оптимизации и чистки кода в подсистеме VFS;

  Сетевая подсистема

•   В код netfilter интегрирован JIT-компилятор для правил BPF (Berkeley Packet Filter), поддерживающий работу на системах x86-64, что позволит значительно увеличить производительность обработки пакетов пакетным фильтром при использовании инструментов, подобных libpcap/tcpdump;

•   Поддержка отправки ICMP_ECHO ICMP-пакетов и приема ICMP_ECHOREPLY ответов в непривилегированном режиме, что позволяет организовать работу ping и других отладочных утилит без предоставления дополнительных привилегий через suid-бит или capabilities;

•   В беспроводной стек добавлена поддержка функции "Wake on WLAN", позволяющей перевести систему в режим низкого потребления энергии (ACPI S3 suspend) с сохранением активности беспроводного сетевого интерфейса, т.е. в момент сна может быть сохранено соединение с точкой доступа и обеспечено просыпание при появлении адресованного текущему хосту трафика;

  Память и системные сервисы

•   Реализация нового типа кэша Cleancache, который может использоваться ядром для хранения восстановимых из других источников данных, которые не страшно потерять, но при наличии ресурсов неплохо держать в памяти. Например, в Cleancache могут храниться ассоциированные с файлами на диске страницы памяти, которые в случае очистки кэша впоследствии могут быть перечитаны с диска. Поддержка CleanCache уже добавлена в Ext3, Ext4, Btrfs, OCFS2 и Xen. Cleancache является первой практической реализацией появившейся в ядре 2.6.39 техники трансцендентного управления памятью ("Transcendent memory"), позволяющей улучшить поведение системы при работе с не представляющими важность данными (например кэш) в условиях дефицита оперативной памяти. По сути Transcendent memory напоминает RAM-диск, имеющий ряд особенностей: размер RAM-диска не известен, запись данных не всегда может быть гарантирована и уже записанные данные могут быть очищены (удалены);

•   Поддержка системного вызова sendmmsg(), который позволяет организовать передачу в рамках одного системного вызова сразу нескольких сообщений, которые ранее потребовали бы отдельных вызовов sendmsg(). Технология значительно повышает эффективность работы приложений передающих большие объемы данных или оперирующих пакетами небольшого размера. Тестирование показало, что использование sendmmsg() позволяет повысить скорость отправки данных через UDP-сокет на 20%, а через RAW-сокет на 30%. Напомним, что поддержка парного вызова recvmmsg() была добавлена в ядре 2.6.33;

•   Поддержка системного вызова setns(), который позволяет использовать для файлового дескриптора определенное изолированное пространство имен (namespace);

  Оборудование и аппаратные архитектуры

•   Продолжение реорганизации кода, связанного с платформой ARM;

•   Добавление разработанного в рамках проекта OpenKinect драйвера для устройств Microsoft Kinect. В настоящее время драйвер способен принимать с устройства видеопоток, взаимодействуя с RGB-сенсором или монохромным сенсором, т.е. позволяет использовать Microsoft Kinect в роли web-камеры или инфракрасной камеры. Датчики глубины пока не поддерживаются;
•   Обновление кода DRM-модулей Intel, Radeon и Nouveau. Проведена оптимизация производительности для гибридных процессоров Intel Sandy Bridge, обеспечена начальная поддержка Intel Ivy Bridge и AMD Fusion Llano APU;
•   Для беспроводных карт Realtek представлен новый драйвер rtl8192se;

В используемом в Ubuntu 11.04 и Fedora 15 Linux-ядре 2.6.38, а также в 2.6.39 и тестовых версиях 3.0-rc наблюдается возрастание энергопотребления на 10-30%. Кроме Phoronix подобная тенденция наблюдалась в тестах издания Tom's Hardware.

По предварительным данным, одна из приводивших к повышению энергопотребления проблем связана с изменением в коде поддержки ASPM (Active-State Power Management) для плат PCI Express, который стал активироваться только при сигнализации о поддержке ASPM со стороны BIOS (определенные реализации BIOS указывают, что ASPM не поддерживается, но все равно инициализирует данную поддержку для некоторых устройств).

Экспериментальным путем был выявлен обходной путь решения проблемы, который позволяет уменьшить энергопотребление в среднем на 15%. Для решения проблемы систему следует загрузить передав ядру в интерфейсе загрузчика GRUB параметр "pcie_aspm=force".

В Debian для grub2 нужно следующее:

1. Исправить в файле /etc/default/grub строку

GRUB_CMDLINE_LINUX="pcie_aspm=force"

2. Запустить update-grub

Все операции естественно от рута

Мне надоело это унылое число 2.6 в версии ядра. Да и голоса в моей голове всё настойчивей твердили о смене старшего числа. Я подумал, что мы ни чуть не хуже всяких firefox-ов, поэтому следующая версия станет 3.0 :P Никаких изменений в API/ABI, никаких новых функций или удаления старого функционала. НИЧЕГО.

Линус.

Основные изменения:

• Поддержка zpool v.28
• Добавлено руководство по сборке deb для SPL-модуля и ZFS-модуля
• Добавлено руководство по сборке rpm для SPL-модуля и ZFS-модуля
• Теперь официально поддерживаются следующие дистрибутивы: CHAOS5, RHEL5.5/6.0, Fedora 13/14, Ubuntu 10.04/10.10 и Debian Lenny

Данный проект разрабатывает Брайан Белендорф по заказу LLNL. К сожалению, в текущий момент не поддерживается ZFS Posix Layer (ZPL). Из-за отсутствия поддержки ZPL сейчас невозможно работать с файлами на томах с ZFS.

Accel-pptp — это сервер PPTP/L2TP/PPPoE, а также клиент PPTP. Данный проект разработан российским программистом Дмитрием Козловым. Авторизация пользователей с помощью PPTP VPN популярна у ISP на постсоветском пространстве, особенно у "домовых" сетей. Данный сервер позволит небольшим ISP использовать бюджетные серверы, вместо дорогих решений от крупных производителей сетевого оборудования. Это связано с тем, что прирост производительности у accel-pptp, по отношению к pptpd, оценивается от 2 до 10 раз. Клиент PPTP будет полезен производителям дешёвых клиентских маршрутизаторов и позволит поднять скорость соединения в несколько раз.

Новость взята с opennet.ru.