Оценка потребления памяти в Линукс (RSS и VSZ)

 Оригинал: https://web.archive.org/web/20120520221529/http://emilics.com/blog/article/mconsumption.html

Примечание переводчика: статья написана в 2012 году, когда RSS считался так, как пишет автор. В настоящий момент в выводе программ вроде ps используется PSS, которая обозначается как RSS. Если вы запустите скрипт на питоне, ссылка на который есть в статье, то получите значение, которое совпадает с RSS в современной системе.

В статье рассказывается об объективном методе оценки потребления памяти процессом в Линукс. В Линукс имеется менеджер виртуальной памяти, поэтому определить, сколько памяти потребляет один процесс, не так просто, как многие думают. В статье объясняется, что означает каждый индикатор потребления памяти.

    Вывод для тех, кому некогда читать

Я считаю объективной метрику PSS(Proportional Set Size) для оценки потребления памяти, если ваша линукс-система её поддерживает. Функция на Питоне, приведённая ниже, возвращает PSS для процесса с заданным ID в кибибайтах (1 Kib=1024 байт). Если она не работает, то, вероятно, ваша операционная система не отображает PSS.

import sys, re

def pss_of_process(pid):
    with file('/proc/%s/smaps' % pid) as fp:
        return sum([int(x) for x in re.findall('^Pss:\s+(\d+)', fp.read(), re.M)])

Вот ссылка на скрипт pss.py, который выводит список процессов и значение PSS для них: https://web.archive.org/web/20130227090134/http://emilics.com/media/pub/pss.py
Чтобы увидеть значения PSS для всех запущенных в пространстве пользователя процессов, выполните команду:

% sudo python pss.py

Вывод команды (на машине переводчика):

admin       1116     934  /bin/sh /usr/bin/startx
admin       1160     909  sh /home/admin/wmaker.sh
messagebus   950     737  /usr/bin/dbus-daemon --system
admin       1146     549  /usr/bin/dbus-daemon --syslog --fork --print-pid 5 --print-address 7 --session
admin       3233     481  /usr/bin/dbus-daemon --config-file=/usr/share/defaults/at-spi2/accessibility.conf --nofork --print-
admin       1155     459  wmsystemtray
admin       1145     446  dbus-launch --exit-with-session /usr/bin/wmaker
root        1089     371  dhcpcd: [privileged proxy] wlan0 [ip4]
dhcpcd      3138     333  dhcpcd: wlan0 [ip4]
root        1063     318  /sbin/agetty 38400 tty3 linux

Программа распространяется под лицензией BSD.

     Аллегория, чтобы понять идею

В статье объясняется значение трёх индикаторов, которые можно использовать для определения размера потребляемой одним процессом памяти в Линукс. Это VSZ (Virtual Memory Size) - размер виртуальной памяти, RSS (Resident Set Size) - размер резидентной памяти, и PSS (Proportional Set Size) - пропорциональный размер резидентной памяти.

Хоть аналогия будет неточной, давайте рассмотрим следующий пример, чтобы понять смысл индикаторов: три человека живут в одной комнате. Будем считать, что каждый человек - это процесс, а стоимость проживания - потребление памяти. В этой аналогии потребление памяти одним процессом будет соответствовать расходам на оплату комнаты для одного человека.

У каждого жильца свой сотовый телефон, и расходы на сотовую связь они оплачивают отдельно. Все три индикатора -  VSZ, RSS, PSS, - будут учитывать расходы на сотовую связь для каждого индивидуально, здесь проблем нет.

Вместе с комнатой сдаётся гараж, который можно использовать, если за него заплатить. Но у всех троих нет машины, и они им не пользуются. Тем не менее, VSZ будет добавлять всю стоимость гаража каждому в расходы, даже если человек им не пользуется. То есть VSZ - это расходы на проживание, включая все доступные опции, независимо от их фактического потребления. RSS и PSS учитывают только фактические расходы и, соответственно, не будут учитывать стоимость неиспользуемого гаража.

Все трое пользуются одним шлюзом для интернета и кабельным телевидением, поэтому делят затраты между собой. В этом случае RSS будет добавлять полную стоимость интернета и TV каждому жильцу, даже если стоимость поделена между ними. RSS устроен так, чтобы подсчитывать расходы, будто они ни с кем не разделены.

PSS будет добавлять в оплату проживания каждому треть стоимости интернета и телевидения, поскольку счёт делится между всеми жильцами. Эта метрика более объективна, чем RSS, так как учитывает то, что расходы поделены.

Давайте немного усложним аналогию, чтобы понять ограничения для PSS. Один из жильцов много сидит в интернете, а телевизор смотрит мало, поэтому они договорились, что он оплачивает 50% стоимости интернета и 20% телевидения. PSS не учитывает подобные ситуации и просто делит затраты на интернет и телевидение поровну - каждому третью часть.

Я считаю, что PSS - наиболее объективная метрика, хотя у неё есть свои ограничения, и в некоторых ситуация RSS предпочтительней - в случае, если вы хотите узнать, сколько будете платить, если съедете с комнаты и будете жить одни.

    Управление виртуальной памятью

В старые добрые времена узнать количество потребляемой одним процессом памяти для операционных систем типа MS-DOS или µITRON было просто. Однако в современных системах всё сложнее, поскольку они снабжены менеджером виртуальной памяти, который даёт множество преимуществ, но при этом усложняет расчет используемой памяти для одного процесса.

Менеджер виртуальной памяти в Линукс имеет ряд важных функций, связанных с измерением потребления памяти. Прежде чем перейти к их объяснению, давайте посмотрим результат команды ps aux, которая выдаёт информацию о процессах (Прим. переводчика: это вывод с моей машины).


USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0   2480  1752 ?        Ss   12:26   0:00 init [3]
root         2  0.0  0.0      0     0 ?        S    12:26   0:00 [kthreadd]
root         3  0.0  0.0      0     0 ?        I<   12:26   0:00 [rcu_gp]
root         4  0.0  0.0      0     0 ?        I<   12:26   0:00 [rcu_par_gp]
root         5  0.0  0.0      0     0 ?        I<   12:26   0:00 [slub_flushwq]
root         6  0.0  0.0      0     0 ?        I<   12:26   0:00 [netns]
root         8  0.0  0.0      0     0 ?        I<   12:26   0:00 [kworker/0:0H-events_highpri]
root        10  0.0  0.0      0     0 ?        I<   12:26   0:00 [mm_percpu_wq]


В странице руководства man ps написано следующее:

RSS - объём резидентной памяти - памяти, которую использует процесс, не считая выгруженной в своп. Алиас rsz.

VSZ - объём виртуальной памяти процесса в кибибайтах. Device mapper на данный момент не учитывается, алиас vsz.

Какую метрику использовать: RSS или VSZ? Далее будет объяснено, как работают оба эти индикатора,  а также PSS (Proportional Set Size). Команда ps не отображает PSS, но его можно найти в файловой системе /proc.*
 *Примечание переводчика: конкретно в /proc/$pid/status, где оно называется теперь RSS.

Технические термины: 

Страница - блок памяти, которым оперирует менеджер памяти в Линукс. Как правило, её размер составляет 4096 байт.

Физическая память - реальная память - как правило, RAM, - которая имеется в компьютере.

Виртуальная память - память, выделяемая под процесс. Процесс считает, что у него своя собственная непрерывная память, изолированная от других процессов, независимо от объёма физической памяти компьютера и от того, сколько ещё процессов на неё претендуют. Страницы виртуальной памяти отображаются в физические страницы и, таким образом, процессы оперируют только виртуальной памятью.

    VSZ и Demand Paging

Использовать метрику vsz для измерения памяти, потребляемой процессом, не имеет особого смысла из-за функции Demand Paging - загрузка страниц в память при обращении к ним, - которая предотвращает ненужное потребление памяти.

Например, функционал текстового редактора emacs позволяет работать с XML-файлами. Однако, большую часть времени эта функция не используется, поэтому нет смысла загружать её в физическую память, если пользователю надо отредактировать обычный текст. Demand Paging не даёт загружать страницы, к которым процесс не обращается. Функция работает следующим образом: при запуске программы Линукс выделяет процессу виртуальную память, но не загружает в физическую память страницы, к которым она не обращается в данный момент. Когда программа вызывает функцию из виртуальной памяти, модуль управления памятью процессора - MMU - сообщает ОС, что страница не загружена. Тогда Линукс приостанавливает выполнение процесса, загружает страницу в физическую память, после чего снова запускает процесс. При этом процессу не нужно знать, что он был приостановлен - он просто полагает, что функция загружена в память, и использует её.

VSZ (virtual memory size) показывает размер всей виртуальной памяти процесса, независимо от того, загружены страницы в физическую память или нет. Таким образом, это не объективный показатель потребления памяти, включающий в себя фактически не используемые страницы.

     RSS (Resident Set Size) и разделяемые библиотеки

RSS показывает общее количество страниц процесса, загруженных в физическую память. Может показаться, что это и есть настоящий объём потребляемой процессом памяти, и что эта метрика лучше, чем VSZ, но всё не так просто из-за разделяемых (динамических) библиотек.

Библиотека - это модуль, который программы используют для реализации определённого функционала. Например, libpng.so занимается сжатием и распаковкой изображений в формате PNG, а libxml2.so - обработкой файлов XML. Чтобы программистам каждый раз не писать эти функции, можно пользоваться библиотеками, которые уже написаны.

Разделяемый объект - это библиотека, которой одновременно пользуются несколько программ или процессов. Пусть у нас запущено одновременно два процесса, которым требуется функционал библиотеки libxml2.so. Чтобы не загружать несколько раз одинаковые страницы памяти, Линукс загружает один экземпляр библиотеки в физическую память и отображает его в виртуальную память обоих процессов. Процессам неважно, используют ли они функцию совместно, так как они получают доступ к ней в своей виртуальной памяти. Разделяемые библиотеки позволяют не дублировать страницы в памяти.

А теперь вернёмся к примеру про emacs, который может работать с файлами в формате XML благодаря библиотеке libxml2.so. На этот раз пользователю на самом деле нужно открыть файл XML в emacs, поэтому emacs использует libxml2.so. Тем временем в фоне выполняются ещё два  процесса, использующие ту же библиотеку. Поскольку она разделяемая, Линукс загружает один её экземпляр в физическую память и отображает его в виртуальную память всех трёх процессов.

Если вы посмотрите метрику RSS для emacs, то в неё будут включены страницы libxml2.so. RSS не врёт, потому что emacs действительно её использует, но как насчёт двух других процессов, обращающихся к библиотеке? Если вы сложите RSS всех трёх процессов, то libxml2.so будет учтена три раза, хотя в физическую память загружен только один экземпляр.

Таким образом, RSS - это индикатор для случаев, когда процесс работает один и не использует никаких функций совместно с другими процессами. На практике, где разделяемые библиотеки используются совместно, RSS будет завышать показатель памяти, потребляемой одним процессом. Эту метрику можно использовать для оценки потребления памяти, но надо иметь  в виду данную особенность.

    PSS (Proportional Set Size)

Индикатор PSS используется для измерения объёма памяти, потребляемой одним процессом, который делит объём памяти, потребляемой страницами разделяемых объектов, поровну между процессами, которые их используют. RSS считает объём памяти следующим образом: если N процессов используют одну разделяемую библиотеку, то каждый процесс потребляет часть памяти этой библиотеки, равную 1/N.

Например, emasc и ещё два процесса совместно используют библиотеку libxml2.so. Так как процесса три, то каждый использует  1/3 объёма памяти, занимаемой libxml2.so.

Я считаю, что PSS - более объективный индикатор, чем RSS. Особенно он подходит для учёта памяти, потребляемой всей системой, а не каждым процессом в отдельности. Например, если вы разрабатываете систему со множеством процессов и служб и хотите оценить, сколько памяти надо установить в устройство, то PSS покажет более точный результат, чем RSS.





 

Борьба с техническим прогрессом - остановка парковки головок HDD Toshiba 2.5" HDD MQ01ABD

 Диск был куплен в РФ около года назад. Раньше парковка останавливалась из линукса просто: командой hdparm с параметрами -B 254 или, например, -S 253. На диске с контроллером SATA 2 пока так и есть, но прогресс не стоит на месте, и новые контроллеры стали умнее: они не дадут вам пользовать диск 10 лет и не чихать.

По умолчанию, как обычно, параметр -B был выставлен в 128. К счастью, контроллер его в принципе воспринимает, в отличие от -S, на который никак не реагирует. Но теперь ни 254, ни 252 не отключают парковку полностью - если не запущен браузер, головы паркуются каждые несколько минут. Чтобы от этого избавиться, я отредактировала crontab, заставив систему каждые полсекунды писать, а потом стирать файл - если интервал был больше половины секунды, оно не работало; без выставления hdparm -B 254 тоже не работало. Поначалу всё было нормально: головы перестали парковаться, smart ничего нового не выдавал. Но примерно через три месяца атрибут 5 (reallocated sector count) вдруг показал 24 вместо нуля. При этом pending sector был 0, а reallocated event count - 7. Я сразу запустила команду повторно, чтобы посмотреть, растёт ли атрибут, и он был уже 136. На форумах обычно предлагают выбрасывать такие диски в мусорку, но я уже знала, что контроллер там ё***тый, поэтому полезла в crontab и закомментировала свои художества. После этого атрибут сразу перестал расти: я провела тесты offline и long, все стоит на месте. Прошла пара недель, и ничего не изменилось: reallocated sector count 136; pending sector 0;  reallocated event count 7. Таким образом, скорее всего, дело не в поверхности, а в сраном контроллере.

В общем, остался только один выход: браузер постоянно запущен, причем не на пустой вкладке, чтобы на диск периодически что-то писалось. Так парковка всё равно происходит чаще, чем по-нормальному, но всё-таки не каждые 2 минуты.

UPD

Вот так теперь выглядит мой смарт, срок работы около полугода: 1576 переназначенных секторов, 119 reallocated event, при этом pending sector ноль. Одна бабка сказала, что тошиба, в отличие от WD, переназначает сектора не только при ошибках записи, но и чтения. У них, вроде как, есть таймаут, и, если операция чтения в него не укладывается, происходит переназначение. Почему pending sector count пустой, я не знаю - возможно, контроллер глюкавый. В общем, посмотрю, сколько эта хрень проработает (на полях VALUE и WORST пока не отражается, диск работает быстро и стабильно), но, честно говоря, желания покупать тошибу у меня больше нет.

Отзыв о Freebsd 14.2 - сравнение со Slackware 15.0 и Ghostbsd.

 У меня на Слаке стал отваливаться wi-fi (суппликант не проходил авторизацию, никакой секс не помогал), и я решила попробовать freebsd. Сразу скажу, что причина отвала, скорее всего, в битом образе: прежде чем я поставила систему на этот ноут, флешка долго валялась без подключения, и данные, вероятно, пострадали. Та же слака 15.0 на другом ноуте работает как часы.
Установка производилась на новый SSD ёмкостью 240 ГБ на два древних ноута: один HP с графической картой intel и таким же чипсетом, второй Asus с чипсетом и картой Nvidia.
 
В общем, сначала мне было влом ставить голую систему: у фряхи есть образ с графической оболочкой, но там написано, что он для оптического привода (для флешек у них образ memstick), и, кроме того, он больше 4 ГБ (они там все поохуели, блядь, извините), а моя флешка для систем ровно 4 гига. В общем, я сначала попробовала Ghostbsd. Там по умолчанию стоит Mate в качестве рабочего стола - размер образа около двух гигов, - файловая система zfs. Установщик там графический, мне он не понравился, ничего толком выбрать не даёт, - например, или разметка по умолчанию zfs, или сам разбивай, - в общем, параша. Сначала я ставила его на Compaq. Я выбрала разметку диска по умолчанию, там был один слайс на всё и просто пул под названием zroot, ну ещё своп и загрузочный раздел.

Всё поставилось, загрузилось, заработало. Zfs жрёт память как не в себя (UFS тоже жрёт больше, чем линуксовые ext, но меньше, чем это). В общем, перейду сразу к минусам:

1. Я не смогла поднять вайфай - проводная сеть работала, но если бы в ноуте не было соответствующего адаптера, я бы отсосала.
Я пыталась поднять через их менеджер (уже забыла, как он назывался, но не Wifimgr) и руками, но нет.

2. Там как-то по умолчанию ставится так, что ты вообще не видишь аккаунт рута. Я не пользуюсь sudo, только su, и некоторые команды почему-то не могла выполнить. Например, он не выполнял команды администрирования zfs

3. Я хотела добавить пользователя в какую-то группу, а команды pw, сука, просто нет в системе. Я не помню, пыталась ли я поставить её с помощью их менеджера pkg, но жопа у меня подгорела.

4. Я попыталась поставить дрова nvidia из их репозитория так, как было описано в руководстве, но обломалась: эти дрова оказались протухшие (я потом посмотрела: у них версия 2, а во фряхе уже 4), и после перезагрузки я увидела чёрный экран.

Я устанавливала систему на HP, но на Асусе она тоже работала. Правда, когда я попыталась загрузить модуль ядра acpi_asus, она сказала, что этот ноут не поддерживается.

В общем, возможно, что-то ещё меня напрягло, но вот этого мне хватило, чтобы скачать образ фряхи и записать его на флешку.


И вот я запустила bsdinstall сначала на Асусе с Нвидиа. Но она начала громко ругаться: CAM status, CRC Error - короче, ругалась на Sata. Я даже звонила в сервисный центр, обосравшись кирпичами, но мне сказали, что вероятность отвала контроллера Сата почти нулевая: на его веку, говорит, такого не было. Честно говоря, я подумала на диск, но в ноуте с интеловским чипсетом всё прошло нормально.

Установщик очень удобный и интуитивный. Например, когда выбираешь временную зону, сначала появляется меню с континентами, потом - странами, а потом уже города, и не приходится мотать до посинения, чтобы найти свою зону, как в Слаке. Есть варианты разметки диска: дефолт с UFS, дефолт с ZFS, guided partitioning с UFS и руками. При этом, если выбрать guided, можно поставить на раздел диска, не сильно напрягаясь. Я выбрала zfs, так как она, вроде бы, оптимизирована под SSD - там есть Trim, информация размазывается по диску равномерно и всё такое - ну так написано в руководствах. Установщик предложил по умолчанию сделать блок 4 К (ashift 12).

Вот вывод команды zfs list после установки:
    
zroot               12.2G   201G    96K  /zroot
zroot/ROOT          8.55G   201G    96K  none
zroot/ROOT/default  8.55G   201G  8.55G  /
zroot/home          3.61G   201G    96K  /home
zroot/home/admin    3.61G   201G  3.61G  /home/admin
zroot/tmp            860K   201G   860K  /tmp
zroot/usr            288K   201G    96K  /usr
zroot/usr/ports       96K   201G    96K  /usr/ports
zroot/usr/src         96K   201G    96K  /usr/src
zroot/var            744K   201G    96K  /var
zroot/var/audit       96K   201G    96K  /var/audit
zroot/var/crash       96K   201G    96K  /var/crash
zroot/var/log        240K   201G   240K  /var/log
zroot/var/mail       120K   201G   120K  /var/mail
zroot/var/tmp         96K   201G    96K  /var/tmp

В общем, всё поставилось, я установила иксы, потом драйверы для видеокарты. Ну сначала я настроила регулирование частоты процессора и всё такое, но это всё есть в хэндбуке - я просто делала, как там написано. Попробовала набрать startx, и там если не установлен десктоп, то запускается уродский twm. Чтобы из него выйти, надо просто перейти в консоль (Alt+Ctrl+F1) и там нажать Ctrl+c. В общем, я накатила свой любимый fluxbox, запустила его (командой "startx /usr/local/bin/startfluxbox" - во фряхе команды пользователя и их конфиги хранятся в /usr/local), и он заработал. Скажу больше: в Слаке если выбирать темы для флакса, он иногда вылетал после переключения стиля, а здесь я заодно поставила темы - все стили с сайта tenr.de здесь есть в качестве пакета - и долго их дёргала (окно со списком получилось на весь экран - 15,6 дюймов, - и ещё пришлось прокручивать), и, хотя индикатор gkrellm скакал из стороны в сторону, ничего не вылетало.

Также я установила шрифты googlefonts. Настройка шрифтов есть в хендбуке, но могу сказать, что freetype здесь не такой, как в слаке - шрифты выглядят лучше.

Разнообразие программного обеспечения меня полностью устроило: даже бинарных пакетов дофига, а ещё есть порты, причём установка из портов тоже очень простая. Есть браузер Librewolf, которого нет в репозиториях слаки, но зато в слаке есть wps office бинарный, а здесь он только в портах - правда, во фре есть апач опенофис. Есть pipewire, да, в прнципе, всё необходимое есть в бинарном виде. Нет redshift-gtk, но просто redshift работает. То, что я установила, работает стабильно.

Потребление памяти: на старте fluxbox в слаке отжирал где-то 190 МБ по показаниям команды free в терминале sakura. Здесь сразу после запуска то же самое потребляет больше 800 метров по показаниям vmstat - команды free здесь нет. Сейчас у меня запущен терминал, gvim и librewolf c 12  вкладками, и из 3856 M свободы 1666 - так показывает индикатор в gkrellm.

Беспроводную сеть подняла с помощью wpa_cli без всяких плясок с бубном.

Насколько быстро работает: загружается в иксы за пару секунд, вообще всё достаточно быстро. Несмотря на конское потребление памяти, пока ни разу не использовался своп.

А теперь ложка дёгтя: кулер постоянно молотит на высоких оборотах. На форуме пишут, что во фряхе нет управления оборотами вентилятора, которое реализовано в линуксе в lm-sensors.

Мои впечатления: честно говоря, если бы не орущий кулер, я бы вообще не думала, оставить или поменять обратно на слаку. Freebsd 14.2 - огонь.

Происхождение выравнивания границ разделов жёсткого диска

оригинал: http://jdebp.info./FGA/disc-partition-alignment.html
 

Зачастую считается, что разделы диска должны быть выровнены по границам цилиндров или дорожек, но на самом деле это не так и никогда так не было. Требования к выравниванию существуют, но они никак не связаны с цилиндрами и не являются обязательными. Операционные системы будут работать с дисками, разделы на которых выровнены неправильно, просто медленней на некоторых моделях устройств.

    Заблуждения о выравнивании по границам дорожек

На первый взгляд, идея о том, что разделы на диске должны быть выровнены по границам цилиндров выглядит абсурдной. Миллионы людей пользовались дисками, на которых первый основной раздел начинался с нулевой дорожки, первого сектора и первой головки, без каких-либо негативных последствий для различных операционных систем, начиная c MS_DOS, затем Windows-NT и заканчивая OS/2. В конце концов, это были значения по умолчанию для утилит fdisk и Disk Manager в течение почти двадцати лет. Максимум утилиты могли потребовать выравнивания внутри дорожек, т.е. чтобы все разделы начинались с первого сектора (помните, что сектора нумеруются с единицы) на любой дорожке.

Но даже этого не было: ни одна операционная система никогда не предъявляла таких требований. Даже MS-DOS прекрасно работала с дисками, разделы которых начинались не с первого сектора. Такие требования выдвигали только утилиты для разбиения дисков. В некотором смысле это был порочный круг: утилиты для работы с диском предъявляли требования к выравниванию разделов, потому что их авторы думали, что того требует система. Но люди думали, что такое требование существует в системе, только потому, что его навязывали утилиты типа fdisk. Умозаключение выглядело так: раз утилиты накладывают такие ограничения, значит, на утилиты их накладывает сама система. Но на самом деле операционные системы ничего подобного не требовали.

Так или иначе, идея выравнивания дорожек безумна. Она не имеет смысла, поскольку это не приводит к выравниванию разделов по каким-либо допустимым границами на самом устройстве. Вы не получите выигрыша в производительности или каких-либо других преимуществ, так как разделы не будут выровнены по границам физических дорожек, если их выровнять по тем дорожкам, которые видят программы.

▪ "Дорожки", которое системное ПО видит на уровне регистра команд контроллера интерфейса ATA, не совпадают с реальными дорожками на поверхности диска с тех пор, как появилась ZBR (зональная побитовая запись). На самом деле дорожки на дисках с ZBR имеют разную физическую длину, хотя через старый командный интерфейс с адресацией цилиндр+головка+сектор на дисках ATA они представлялись программам одинаковыми.

▪ В отличие от контроллеров ATA, управляющий интерфейс SCSI всегда оперировал логическими адресами блоков, а не кортежами цилиндр+головка+сектор (CHS). Для контроллеров SCSI с самого начала была неприменима идея о том, что системное ПО обязано различать границы физических дорожек. Вообще-то разработчики контроллеров интерфейса SCSI для персональных компьютеров вынуждены были изобретать геометрию диска, беря её с потолка, ради прошивок PC/AT и PC98,  а также операционных систем, которые ожидали, что контроллеры интерфейса дисков будут оперировать геометрией CHS.

В 2008 г. Микрософт с большой помпой наконец искоренили эту совершенно бесполезную и бессмысленную идею из диспетчера дисков Windows NT (т.е. в релизах Windows Vista Service Pack 1 и Windows Server 2008). До этого, начиная с 2003 года, администраторам Exchange server и Microsoft SQL Server рекомендовалось использовать diskpart и устанавливать границы разделов кратными 4 кибибайтам из соображений улучшения производительности. Хотя некоторые из этих соображений были основаны на ложной посылке, что границы дорожек, которые видят программы, совпадают с физическими границами, тем не менее, в свете более поздней разработки оборудования, они дали ожидаемый результат.

Linux отстал от Windows, и по состоянию на 2011 год утилита fdisk продолжала жаловаться на то, что разделы не выровнены по границам дорожек. Поэтому настоятельно рекомендуется не пользоваться fdisk для разметки, заменив её более современными инструментами, такими как gdisk Рода Смита, у которого также есть преимущество в виде поддержки схемы разметки дисков EFI.

    Выравнивание границ кратно 4 KiB

Правило выравнивания границ разделов дисков, отражающее реальные физические границы, существует - это правило выравнивания  по границам 4 KiB, но оно применимо не ко всем моделям жестких дисков.

В некоторых моделях внутренний размер сектора был увеличен с 0.5 Kib до 4 Kib (физический сектор). Однако на уровне контроллера интерфейса, через который системное ПО общается с диском, размер сектора остался 0.5 Kib. Такие диски называются 512-байтовыми эмуляционными носителями. При этом предполагается, что будут и диски без эмуляции, у которых размер логического сектора также будет равен 4 KiB. Но, поскольку на данный момент очень немногие операционные системы поддерживают размер сектора, не равный 512 байтам, на уровне стандартных команд ATA/SCSI, то и пользователей таких носителей немного, и они не представляют большого потребительского рынка для производителей жестких дисков.

512-байтовые эмуляционные диски работают следующим образом: каждый раз, когда операционная система или прошивка считывает 0.5 KiB, само устройство считывает 4 KiB, делит это число на восемь и передаёт ОС или прошивке результат деления. Когда система/прошивка записывают сектор 0.5 KiB, диск фактически считывает весь физический сектор 4 KiB, модифицирует данные на его восьмой части и записывает весь сектор 4 KiB.

Может показаться, что это сильно снижает производительность, так как по сути каждая операция ввода-вывода оперирует размером данных в восемь раз больше видимого размера. К счастью, существует способ скрыть эти потери производительности: многие операционные системы всё равно предпочитают выполнять основную часть операций ввода-вывода над блоками, размеры которых кратны 4 KiB. Например, вся подкачка страниц на системах архитектуры x86 выполняется блоками, кратными 4 KiB. Кроме того, многие операционные системы, включая Windows NT и Solaris, используют механизм подкачки для обычного файлового ввода-вывода. Таким образом, обычно операционная система за одну операцию ввода-вывода считывает и записывает блоки, кратные восьми секторам размера 0.5 KiB.

Поэтому нужно, чтобы эти блоки непрерывно следовали друг за другом, и их границы совпадали с границами физических секторов диска, размер которых 4 KiB. "Естественные" границы блоков файловой системы должны совпадать со скрытыми границами секторов внутри диска. Восемь секторов по 0.5 KiB, которыми оперируют команды системы, не должны растягиваться на два или более физических сектора по 4 KiB - они должны составлять ровно один сектор и внутри этого сектора располагаться в правильном порядке.

Стоит заметить, что некоторые пользователи, измерившие падение производительности, вызванное тем, что разделы на 512-эмуляционных дисках не были выровнены по границе 4 KiB, с удивлением обнаружили, что производительность снизилась довольно существенно. Забавно, что цифры, которые они получили, были меньше, чем те восемь раз, которые теоретически должны возникнуть из-за того, что каждый запрос к 0.5 KiB превращается в запрос к 4 KiB, так что они наоборот должны были удивиться тому, насколько малым оказалось это снижение. Причиной того, что на практике производительность падает не так сильно, является кластеризация, как её принято называть в мире BSD - по крайней мере, в контексте подкачки при операциях ввода-вывода. При кластеризации несколько отдельных запросов на чтение/запись к смежным блокам диска объединяются в один, охватывающий все блоки в одной команде ввода-вывода, передаваемой устройству хранения данных. Это позволяет снизить количество обращений контроллера к секторам по 4 KiB и таким образом снижает накладные расходы.

Выравнивание по границам, кратным 4 KiB, достигается тремя способами:

    ▪ Выравнивание границ разделов по 4 KiB относительно начала диска: номер сектора начала и конца каждого раздела представляет собой целое число, кратное 4 KiB от начала диска.
    ▪ Выравнивание структур данных внутри тома по границам 4 KiB относительно начала раздела. Если формат тома использует концепцию зон (групп цилиндров и т.п.), как это бывает на томах с файловыми системами UFS или Ext2/3/4, эти зоны должны иметь целочисленный размер, кратный 4 KiB. Файловые системы FAT и NTFS не оперируют зонами, но при форматировании раздела в FAT общий размер файловых таблиц и зарезервированных секторов в начале тома должен быть целым и кратным 4 KiB, так чтобы кластеры с данными, следующие за ними, также были выровнены по границам, кратным 4 KiB.
    ▪ Целочисленный размер кластера файловой системы - логической единицы хранения данных, - кратный 4KiB.

На самом деле, как подметил Род Смит в своей статье ( http://rodsbooks.com./gdisk/advice.html#alignment), утилиты разметки дисков от Microsoft в настоящее время (2011 год) по умолчанию выравнивают границы разделов кратно 1MiB, что не имеет под собой никаких оснований. Времена, когда 1 Mib можно было рассматривать как (32 сектора) х (64 головки), давно прошли. Хотя по причинам, описанным выше, такой подход не имел смысла даже в то время, поскольку эта геометрия не соответствовала физической геометрии самого диска. Единственная причина использования для выравнивания размера 1 MiB вместо 4 KiB, который действительно соответствует физическому размеру сектора внутри диска, заключается в том, что при таком размере утилиты, отображающие положение и размер дисковых разделов в Мебибайтах, показывают целые числа. Иными словами, измерение границ и размеров разделов в единицах по 4 KiB оказалось излишне точным для пользователей, которые обычно не работают с разделами меньше Гибибайта при разметке диска.

    Выравнивание разделов на дисках, размеченных старыми утилитами

К сожалению, версии утилит fdisk и Disk Msnsger от Microsoft, которые были до 2008 года, а также текущая версия fdisk в линукс (текущая - это на 2011 год) по умолчанию не выравнивали границы разделов кратно 4 KiB по той простой причине, что (фальшивая) геометрия, которую использовало большинство дисков (размером больше 7,87GB, разумеется) предполагала, что на дорожке 63 сектора. Поэтому те старые глупые утилиты выравнивали разделы кратно шестидесяти трём секторам. Они начинали первый основной раздел с нулевого цилиндра, первой головки, первого сектора, а номер логического блока диска был 63, и весь раздел выравнивался по нечётному номеру сектора.

Таким образом, диски, размеченные старыми версиями утилит, надо переразбить, скорректировав размеры разделов. Границы разделов нужно сдвинуть в большую или меньшую сторону, так чтобы они начинались с целых чисел, кратных 4 KiB или  1 MiB. Если они были выровнены с учётом того, что на дорожке 63 сектора, то обычно между разделами или в начале/конце диска, если диск разбит с таблицей MBR, есть свободное место, чтобы выровнять разделы кратно 4 KiB. Это довольно длительный процесс, так как надо считать, а затем записать данные с каждого сектора на всех разделах, границы которых будут сдвигаться.

Использование Wireshark: доступное руководство и советы.

 Оригинал: https://www.varonis.com/blog/how-to-use-wireshark

Использование Wireshark: доступное руководство и советы.


Если вы занимаетесь устранением неполадок в сети, и вам нужно анализировать отдельные пакеты, вам необходим Wireshark - приложение для захвата и анализа сетевого трафика, которым вы должны уметь пользоваться. Поскольку Wireshark - наиболее распространённый инструмент для этих целей, давайте рассмотрим основы его применения: где его взять, как захватывать пакеты, как пользоваться фильтрами и т.д.

    ▪ Что такое Wireshark?

Это программа для анализа сетевых протоколов с открытым исходным кодом, которую часто считают отраслевым стандартом. Wireshark поддерживается международной организацией специалистов по сетям и разработчиков ПО, поэтому к ней постоянно выпускаются обновления с учётом новых сетевых технологий и методов шифрования.

Правительственные учреждения, корпорации, некоммерческие организации и образовательные учреждения используют Wireshark для устранения неполадок и обучения - действительно, разглядывать трафик под микроскопом Wireshark - лучший способ изучить сети на низком уровне.

Использовать Wireshark можно, только если вам разрешили анализировать трафик: просмотр пакетов без разрешения незаконен.

    ▪  Как работает Wireshark?

Wireshark - это сниффер, т.е. инструмент отслеживания и анализа сетевого трафика. Он перехватывает трафик протоколов ethernet, bluetooth, 802.11, token ring, frame relay и других и сохраняет данные для последующего анализа.

Примечание редактора 1: под пакетом подразумевается единица передачи данных протоколов, начиная с сетевого уровня (TCP, DNS и т.д.)

Примечание редактора 2: В локальной сети трафик широковещательный, то есть компьютер с wireshark может видеть трафик между двумя другими компьютерами. Чтобы увидеть, какой трафик отправляется на внешний сайт, надо перехватить пакеты на локальном компьютере.

Wireshark позволяет устанавливать фильтры на логирование перед захватом трафика либо во время его анализа, чтобы можно было сосредоточиться на том, что вам нужно найти, при трассировке. Например, можно установить фильтр для просмотра трафика протокола TCP между двумя IP-адресами; либо можно настроить отображение только пакетов, отправляемых с какого-то одного компьютера. Наличие фильтров стало одной из основных причин того, что что он стал стандартным инструментом анализа пакетов.

    ▪ В каких случаях следует использовать Wireshark?

Wireshark можно использовать для понимания того, как происходит обмен трафиком в сети, и для анализа причин проблем со связью.

Утилита помогает:

▶ Сетевым администраторам решать возникающие в сети проблемы

▶ Инженерам сетевой безопасности изучать сеть на наличие дыр в безопасности

▶ Тестировать приложения

▶ Разработчикам в отладке реализаций протоколов

▶ Пользователям изучать специфику отдельных протоколов

    ▪ В каких случаях не следует использовать Wireshark?

Wireshark может быть полезен в решении множества проблем в сети, а также в качестве инструмента изучения протоколов, но он не может:

▶ Помочь пользователям, которые не разбираются в сетевых протоколах: чтобы пользоваться утилитой, нужно понимать, как работают сети

▶ Перехватывать трафик за пределами вашего широковещательного домена

▶ Присылать уведомления: он может только применить цветовое кодирование для индикации битых пакетов

    ▪ Как установить Wireshark

Это несложно: сначала нужно посетить официальный сайт Wireshark: https://www.wireshark.org/download.html и загрузить версию программы для вашей операционной системы. Базовая версия бесплатна, установка простая.

    Wireshark на Windows

Для Windows  есть два варианта приложения: 64-битное и 32-битное. Выберите тот, который совместим с вашей ОС.

    Wireshark на Mac

https://www.wireshark.org/docs/wsug_html_chunked/ChBuildInstallOSXInstall.html : Wireshark можно установить с помощью менеджера пакетов Homebrew  https://formulae.brew.sh/cask/wireshark#default . Чтобы установить Homebrew, наберите в терминале следующую строку:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”

После установке Homebrew вы сможете устанавливать различные open-source программы на макбук. Для установки wireshark наберите в терминале:

brew install wireshark

Homebrew загрузит и установит пакет вместе с зависимостями.

   Wireshark на Linux

Процесс установки может зависеть от дистрибутива.

Ubuntu: наберите в терминале следующие команды:
    

    sudo apt-get install wireshark

    sudo dpkg-reconfigure wireshark-common

    sudo adduser $USER wireshark


Пакет будет загружен, обновлён, и ваш пользователь получит права на запуск Wireshark.


RHEL, Fedora:

    sudo dnf install wireshark-qt

    sudo usermod -a -G wireshark username

Первая команда устанавливает графический и командный интерфейсы программы, а вторая даёт пользователю права запускать Wireshark.

Kali Linux:

Скорее всего, пакет уже установлен, так как является частью основной системы. Попробуйте найти его в меню "Sniffing & Spoofing"

    ▪ Пакеты данных в Wireshark

Мы установили программу, а теперь узнаем, как включить сниффер и анализировать сетевой трафик. Wireshark расскажет, что происходит в сети, но не объяснит, почему.

    ▪ Перехват пакетов с помощью Wireshark

Открыв окно программы, вы увидите список всех сетевых соединений, доступных для мониторинга, а также строку фильтра, чтобы выделить трафик, который вам нужен: https://info.varonis.com/hubfs/using-wireshark-capture-filter-1@2x-png.png

Можно выбрать один или несколько сетевых интерфейсов с помощью shift+left-click. После этого можете начинать перехват трафика. Это можно сделать несколькими способами:

1. Нажать первую кнопку на панели, при наведении на которую всплывает её назначение: "start capturing packets".

https://info.varonis.com/hubfs/using-wireshark-start-capturing-2@2x-png.png

2. Через пункт меню Capture --> Start: https://info.varonis.com/hubfs/using-wireshark-capturing-packets-3@2x-png.png

3. Используя сочетание клавиш Control+e

Во время перехвата wireshark будет отображать перехваченные пакеты в реальном времени:

https://info.varonis.com/hubfs/using-wireshark-stop-capture-4@2x-png.png

Когда получите все нужные вам пакеты, закончите перехват, нажав кнопку "stop capturing packets" на панели, выбрав  соответствующий пункт в меню или сочетаниями клавиш Control+e или Control+c. Перехват рекомендуется закончить, прежде чем начать анализ трафика.

    ▪ Анализ пакетов с помощью Wireshark

Инструмент предоставляет три панели для анализа пакетов. Верхняя - список пакетов (Packet List). В ней отображаются все перехваченные пакеты. Если кликнуть на пакет, в двух остальных панелях отображается подробная информация о нём, в том числе можно определить, является ли он частью сеанса. Значение столбцов верхней панели:

1. No.: Порядковый номер перехваченного пакета. Квадратные скобки означают, что пакет - часть сессии.
2. Time: Время в секундах, прошедшее с момента начала перехвата до момента, когда был перехвачен конкретный пакет. Значение этого поля можно редактировать в меню настроек.
3. Source: Адрес системы, отправившей пакет.
4. Destination: Адрес получателя пакета.
5. Protocol: Тип пакета - например, TCP, DNS, DHCP, ARP.
6. Lenght: Длина пакета в байтах.
7. Info: дополнительная информация о содержимом пакета. Значение поля зависит от типа протокола пакета.

Средняя панель - это Packet details (сведения о пакете), в ней отображается как можно более полная информация о пакете, в зависимости от типа его протокола. Выделив текст в этой панели, можно нажать правую кнопку мыши и настроить фильтры.

Нижняя панель - Packet Bytes - байты пакета, - отображает пакет в шестнадцатеричном формате, как он выглядел, когда был перехвачен.

При просмотре пакета, являющегося частью сеанса, можно вызвать контекстное меню щелчком правой кнопки мыши и выбрать пункт Follow, чтобы увидеть только пакеты, принадлежащие этому сеансу.

    ▪ Фильтры Wireshark

Одни из наиболее полезных возможностей программы - это фильтры захвата и отображения. Фильтры позволяют при просмотре захвата выделить то, что необходимо вам для устранения неполадок. Для начала приведём некоторые из них.

            1. Фильтры захвата    

Они ограничивают программу в момент захвата пакетов: если пакет не проходит фильтр, wireshark не будет его сохранять. Примеры фильтров захвата:

host IP-address: перехватывать только пакеты, отправителем или получателем которых является хост с указанным адресом.

net 192.168.0.0/24: перехватывать весь трафик подсети.

dst host IP-address: перехватывать пакеты, предназначенные для узла с указанным адресом.

port 53: перехватывать только трафик порта 53.

port not 53 and not arp: перехватывать весь трафик, кроме пакетов протоколов DNS и ARP.

            2. Фильтры отображения

Страница руководства: https://wiki.wireshark.org/DisplayFilters

Эти фильтры изменяют вывод в процессе анализа. Они используются по окончании перехвата, чтобы уменьшить количество пунктов в списке пакетов и упростить решение конкретной задачи.

Вот один из наиболее полезных фильтров:

ip.src==IP-address and ip.dst==IP-address

Он показывает пакеты, отправленные с одного узла (ip.src) другому (ip.dst). Можно также отображать пакеты, которые отправляет и принимает хост с указанным IP.

Также имеются следующие фильтры:

tcp.port eq 25: Показывает весь трафик на 25 порту - обычно это SMTP.

icmp: Показывает только трафик протокола ICMP - скорее всего это пинги.

ip.addr!=IP_address: показывает весь трафик, кроме входящего и исходящего на указанном адресе.

Аналитики даже создают фильтры для обнаружения определённых атак - например, этот фильтр используется для обнаружения червя Sasser:

ls_ads.opnum==0x09

    ▪ Дополнительные функции Wireshark

Помимо перехвата и фильтрации, у программы есть функции, которые могут упростить вам работу.

            1. Варианты выделения цветом

Wireshark  можно настроить, чтобы пакеты в списке выделялись определённым цветом в зависимости от фильтра. Примеры применения функции можно найти по ссылке: https://wiki.wireshark.org/ColoringRules    

            2. Promicuous mode (неразборчивый режим)

По умолчанию wireshark перехватывает только исходящие и входящие пакеты хоста, на котором он запущен. Поставив флаг promicuous mode в пункте меню capture settings, можно перехватывать почти весь трафик подсети.

            3. Командная строка wireshark

Страница руководства: https://www.wireshark.org/docs/wsug_html_chunked/ChCustCommandLine.html

Программа предоставляет интерфейс командной строки (CLI), если на вашей системе отсутствует графический интерфейс. Лучше всего использовать CLI для захвата и сохранения логов, а потом просмотреть их в графическом интерфейсе.

Команды wireshark:

    wireshark : запустить Wireshark в графическом режиме

    wireshark –h : показать доступные параметры команды wireshark

    wireshark –a duration:300 –i eth1 –w wireshark. : перехватывать трафик на проводном интерфейсе eth1 в течение пяти минут. -a означает автоматическое прекращение перехвата; -i указывает, на каком интерфейсе перехватывать.

            4. Метрики и статистика

В меню Statistics есть множество опций для просмотра подробностей перехвата.

Изображение: https://info.varonis.com/hubfs/using-wireshark-statistics-6@2x-png.png

свойства файла, куда сохранились перехваченные данные: https://info.varonis.com/hubfs/using-wireshark-capture-file-properties-7@2x-png.png

График ввода-вывода программы: https://info.varonis.com/hubfs/using-wireshark-io-graph-8@2x-png.png

    ▪ Дополнительные источники и руководства по Wireshark

Есть много руководств и видеороликов, показывающих, как использовать wireshark для определённых целей. Начать следует с сайта Wireshark, а потом продвигаться дальше. На сайте вы можете найти официальную документацию (https://www.wireshark.org/docs/wsug_html_chunked/index.html) и вики (https://wiki.wireshark.org/).    

Wireshark - прекрасный сниффер и инструмент анализа пакетов, но лучше всего пользоваться им, когда вы понимаете, что ищете. Программа не подойдёт для обнаружения новой проблемы, так как в сети слишком много шума. Инструменты Varonis и Edge помогут разобраться в ситуации и указать, какую угрозу искать, после чего можно использовать wireshark, для более глубокого анализа и определения угрозы, которую представляет собой тот или иной пакет.

Хорошим примером может служить случай, когда исследователи безопасности Varonis обнаружили криптомайнер Norman. Они получили с нескольких машин уведомления, указывавшие на подозрительную сетевую и файловую активность. При анализе криптомайнера специалисты использовали Wireshark для проверки подозрительных машин, и программа показала, что криптомайнер, названный Норманом, активно взаимодействовал с командно-контрольными серверами (С&C) через DuckDNS. С помощью Wireshark команда Varonis увидела все адреса C&C-серверов, используемых злоумышленниками, поэтому они смогли отрезать связь с ними и остановить атаку.


    

7 советов по безопасности беспроводных сетей. Как не стать лёгкой добычей хакеров

 оригинал:   https://www.varonis.com/blog/7-wi-fi-security-tips-avoid-being-easy-prey-for-hackers

Технология wi-fi даёт возможность подключаться к сети без проводов, но при этом имеет уязвимости, часто эксплуатируемые хакерами. Пользователю трудно понять, какие привычки подвергают его риску, если он не знаком с приёмами хакеров для атак на устройства беспроводной сети.

Wi-fi часто взламывают, используя небольшие промахи, допускаемые пользователем при подключении устройств к сети или при настройке роутера. Существует ряд простых мер предосторожности, которые позволят избежать самых грубых ошибок, уменьшить поверхность атаки и не стать жертвой наиболее распространённых видов атак.


          Риски беспроводной сети

Думая о хакерах в контексте Wi-fi, люди обычно представляют себе взлом их локальной беспроводной сети. Такое случается, но с помощью wi-fi также можно следить за пользователями, точнее за их устройствами; проводить фишинговые атаки для компрометации паролей, а также выяснить, где человек живёт и куда ездит.

Нацелившись на беспроводную сеть, взломщики могут атаковать как саму сеть, так и устройства, подключенные к ней. Это позволяет выявить слабые места, полагаясь на то, что цель совершит критическую ошибку, либо эксплуатировать любую удобную для этого уязвимость.

При использовании Wi-fi поверхность атаки следует за вами. Передвижения мобильных беспроводных устройств легко отслеживать; также они передают в открытом виде идентификаторы, которые могут нести информацию о личности пользователя. Для тех, кто не хочет, чтобы их устройство транслировало информацию о том, где они работают или где недавно были, это может быть проблемой как конфиденциальности, так и безопасности.

Чтобы снизить подобные риски, можно исключить действия, которые приводят к утечке конфиденциальной информации и/или делают устройства более уязвимыми. Предприняв следующие шаги, можно уменьшить поверхность атаки на беспроводную сеть дома или в дороге.

            1. Удалите ненужные сети из списка автоматического подключения.

Список предпочитаемых сетей (The Preferred Network List, PNL) - это идентификаторы сетей, к которым ваше устройство подключается автоматически, считая, что им можно доверять. В этот список попадают сети, к которым вы когда-либо подключались, но ваша система не различает разные точки доступа с одинаковыми идентификаторами и типом шифрования. Это значит, что соединившись с сетью Старбакс один раз, ваше устройство запоминает это подключение и пытается автоматически подключиться к любой открытой сети с таким именем.

Создание фальшивых точек доступа с именами, имитирующими идентификаторы обычных открытых беспроводных сетей - самый простой способ для хакеров отслеживать ближайшие устройства и проводить атаки "человек посередине". Если вы оставите свой смартфон с включенным wi-fi в общественном месте, то он без предупреждения автоматически подключится к открытой сети с идентификатором, который есть в списке предпочтений. Если не принять никаких мер предосторожности, хакер сможет загружать фишинговые страницы; отслеживать, какие сайты вы посещаете; узнает, какими приложениями вы пользуетесь.

В Windows удалять сети из списка предпочтений можно с помощью панели управления сетевыми соединениями: надо нажать forget(это забыть, но я не знаю, как это переведено в русскоязычной винде, у меня её нет) на всех именах сетей, к которым вы не хотите подключаться автоматически. Нужно удалить как минимум все открытые беспроводные сети из этого списка. Риск того, что ваше устройство подключится к фальшивой точке доступа, гораздо выше, чем риск столкнуться с вредоносной сетью с таким же идентификатором и паролем, как у тех, что хранятся в вашем списке предпочтений.

https://info.varonis.com/hubfs/Imported_Blog_Media/image4.png?hsLang=en

В примере по ссылке я с помощью микроконтроллера  esp8266 за 3 доллара создал около тысячи фальшивых сетей. Вокруг было много смартфонов, пытавшихся подключиться к сетям из своих списков предпочтений, раскрывая, каким сетям они доверяли. Если хакер узнает имя сети, которая фигурирует в списке предпочтений большого количества устройств, он может перехватить их подключение с помощью единственной фальшивой точки доступа. Если в списке вашего устройства есть похожие имена, немедленно удалите их.


            2. Пользуйтесь vpn для шифрования трафика

Одним из ключевых недостатков протокола WPA-2, который был исправлен в версии WPA-3, является отсутствие концепции совершенной прямой секретности. Это означает, что в стандарте WPA-3 записанный трафик не может быть расшифрован, даже если злоумышленник получит ключ. В случает стандарта WPA-2 это не так: трафик в локальной сети может прослушиваться как другими пользователями, так и злоумышленником, который может записать его и расшифровать после того, как узнает пароль.

Протокол HTTPS сделал интернет намного более безопасным и конфиденциальным для пользователей ненадёжных сетей wi-fi, а VPN принял эстафету и отрезал доступ к трафику неавторизованным пользователям. Он шифрует сообщения протокола DNS и другую информацию, которая может открыть дверь для фишинговых атак, не давая злоумышленнику просто так увидеть, чем цель занимается в сети, или перенаправить её на вредоносный сайт.

Большинство популярных vpn-сервисов предлагают достаточный уровень защиты, чтобы не стать лёгкой добычей злоумышленника. PIA, Mullvad, NordVPN делают ваш локальный трафик нечитаемым для хакера и обеспечивают совершенную прямую секретность, что не даст возможность расшифровать ваш трафик, даже если атакующий узнает пароль от вашей сети.

https://info.varonis.com/hubfs/Imported_Blog_Media/image1-1.png?hsLang=en


В примере по ссылке я отключил PIA и мониторил своё беспроводное соединение с другого компьютера с помощью Wireshark. Как только я отключил vpn, сразу же стало видно, что на телефоне был запущен мессенджер Signal, что устройство находилось в сети AT&T и в данный момент воспроизводило видео с Younube - это следовало из запросов DNS. Я даже мог идентифицировать vpn, который регистрировался на своём сервере обновлений. Всю эту информацию я узнал за несколько секунд прослушивания трафика без vpn. Если хотите узнать больше о том, как прослушивать трафик с помощью Wireshark, можете перейти по этой ссылке:  https://www.varonis.com/blog/how-to-use-wireshark/  .


            3. Запретите автоподключение к сети, прежде чем соединяться с ней

Очистив список доверенных сетей, вы получите неудобства: каждый раз при попытке соединения точка доступа будет запрашивать пароль, который придётся вводить вручную. Если вы часто подключаетесь к сети, это будет раздражать. Кроме того, список PNL придётся очищать после каждого соединения с сетью.

Для беспроводных сетей, к которым вы часто подключаетесь, есть способ сохранить пароль и при этом не создать риск автоматического подключения к вредоносным сетям с аналогичным идентификатором. Для этого при первом соединении с сетью надо снять флаг "разрешить автоподключение" или выставить флаг "запретить автоподключение" в интерфейсе сетевой службы (вкладка WI-FI). Тогда ваше устройство не будет пытаться соединиться с сетями с аналогичным названием и типом шифрования. При этом вам придётся каждый раз нажимать на название сети в списке, чтобы к ней подключиться, но не надо будет вводить пароль. Нажимая лишний раз на кнопку, вы избежите трансляции списка, к которым ваше устройство ранее подключалось, всем вокруг.

            4. Никогда не делайте свою сеть скрытой

Нормальная точка доступа рассылает "маяки" в которых указывает всю информацию, необходимую клиентам для подключения к ней, включая её SSID и тип шифрования. Скрытые точки не рассылают широковещательных пакетов для их обнаружения и вообще никак о себе не заявляют. Чтобы к ним подключиться, клиентское устройство должно быть в зоне покрытия и заранее знать об их существовании. То есть скрытые сети не будут фигурировать в списке ближайших точек доступа, что теоретически затрудняет злоумышленнику задачу их обнаружения.

Некоторые пользователи думают, что безопасность через неясность является хорошим способом скрыть их сеть от хакеров, но ирония заключается в том, что скрывая сеть, вы облегчаете отслеживание ваших умных устройств. Устройство, настроенное на подключение к скрытой сети, должно предполагать, что эта сеть может появиться поблизости в любой момент, так как сама точка доступа маяки не рассылает. На практике это означает, что ваше устройство будет постоянно вызывать эту сеть по названию, что позволит без труда его отслеживать, даже если вы используете рандомный MAC-адрес или другие предосторожности в целях анонимности. Это не только упрощает обман вашего устройства для подключения его к фальшивой точке доступа, но и позволяет всем желающим отслеживать, где вы находитесь, по радиосигналам probe request, которые будет постоянно рассылать ваше умное устройство.


Список доверенных сетей на смартфоне:  https://info.varonis.com/hubfs/Imported_Blog_Media/image7.png?hsLang=en


По ссылке вы увидите изображение того, что вышло, когда я добавил скрытую сеть в список предпочтений смартфона. С помощью wireshark можно легко отследить устройство, вызывающее скрытую сеть, причём не только идентифицировать сам смартфон, но и узнать идентификатор скрытой сети. Мы хотели скрыть нашу сеть, а вместо этого заставили клиентское устройство постоянно рассылать её название на всеобщее обозрение. Иногда, если SSID достаточно уникален, названия таких "скрытых сетей" можно даже найти на Wigle.net, что означает, что тот, кто прослушивает ваш беспроводной трафик, может даже узнать ваш рабочий или домашний адрес.


            5. Отключите на роутере поддержку wps

Сети с активированным WPS злоумышленники рассматривают как поднятый вверх большой палец. Хакер может одной командой просканировать пространство на наличие таких сетей, и они окажутся отличными целями для атак типа WPS-Pixie. Если сеть поддерживает какую-либо версию WPS, значит стоит проверить её инструментом вроде Airgeddon на предмет того, можно ли одержать лёгкую победу. Многие версии WPS уязвимы как к подбору пин-кода, так и атакам, эксплуатирующим уязвимость pixie dust. Последние позволяют злоумышленнику получить доступ к сети, в которой есть эта уязвимость, за 15 секунд.

Атаки на пин-код настройки WPS страшны тем, что если они удаются, то их влияние выходит за рамки изменения пароля. Если злоумышленник может получить пин-код настройки маршутизатора, воспользовавшись reaver или wps-pixie, то он получит ваш пароль вне зависимости от того, насколько он длинный, уникальный и безопасный. Причина этого в том, что пин-коды WPS создавались в первую очередь для восстановления забытых паролей, поэтому используя их, хакер получает такой же доступ к устройству, как и его владелец.

Чтобы избавиться от хакера, знающего пин-код WPS, недостаточно просто сменить пароль: надо запретить пин-коды маршрутизатора, а если хотите пользоваться пин-кодами, то, вероятно, придётся купить другой роутер. Многие маршрутизаторы не дают менять свой пин-код настройки, поэтому если хотите сохранить свой длинный и безопасный пароль в тайне, то обязательно отключите эту опцию в настройках роутера. Процедура может различаться на конкретных маршрутизаторах, но обычно надо войти в панель настроек роутера и снять флаг с названием типа "WPS PIN" или "WPS SETUP". На некоторых старых маршрутизаторах снятие флага не отключает опцию на самом деле, поэтому если хотите проверить, можно использовать команду "-wash" в Kali linux, чтобы увидеть ближайшие сети, использующие WPS. Если ваше устройство до сих пор использует WPS, лучше его заменить.

            6. Ни в коем случае не используйте пароли от wi-fi повторно

Один из самых больших недостатков WPA-2 - текущего стандарта wi-fi, заключается в том, что слабый пароль легко взломать. Если ваш пароль находится в списке среди примерно миллиона других неудачных паролей, то, скорее всего, хакер сможет взломать его за считанные минуты, потому что ему потребуется лишь перехватить рукопожатие при соединении клиента с точкой доступа, скормить его утилите вроде Hashcat и спокойно сидеть, пока она не переберёт все взломанные пароли из огромного файла.

В этом контексте важно считать пароль "сильным" на основании двух критериев: 1. Его должно быть трудно угадать; 2. Он должен быть уникальным. Это значит, что использование такого же или очень похожего пароля в других профилях может привести к тому, что этот пароль попадёт в список взломанных, которым хакеры пользуются при атаке методом перебора.

Как же сложные, длинные пароли, используемые в нескольких местах, попадают в общий доступ? Пароли от учётных записей в компаниях утекают постоянно, и одна из самых распространённых тактик - использовать эти пароли в других местах после их утечки. Взломщики беспроводных сетей знают, что пользователи любят копировать свои любимые "сильные" пароли из одной учётной записи в другую, что упрощает подбор пароля, который может и длинный, но не уникальный.

Чтобы узнать, какие из ваших любимых паролей, возможно, уже в открытом доступе, проверьте свой аккаунт на сайте  haveibeenpwned.com  и посмотрите, из каких компаний пароли к вашим аккаунтам могли утечь. Никогда не используйте для своей сети wi-fi пароль, который уже используется где-то в интернете, а тем более пароль, который уже был раскрыт другим сервисом.

            7. Создайте изолированные подсети для клиентов

Ошибка малых предприятий, предоставляющих посетителям wi-fi, которая может дорого стоить, заключается в том, что они не ограничивают гостей отдельной подсетью. Правильно спроектированная изолированная подсеть - это когда любой её клиент имеют связь только с маршрутизатором и не могжет свободно сканировать другие устройства или пытаться подключиться к открытым портам. В такой подсети сканирование утилитами Nmap или ARP-scan не показывает ничего либо показывает единственное устройство в сети - маршрутизатор. Более того, на маршрутизаторе не должно быть доступных портов с размещёнными на них интерфейсами администрирования или конфигурации гостевой сети, так как на таких страницах хакер найдёт информацию, которую сможет использовать для эксплуатации маршрутизатора.

https://info.varonis.com/hubfs/Imported_Blog_Media/image3-1.png?hsLang=en

На изображении по ссылке мы видим, что происходит в wi-fi сети малого предприятия, которое предоставляет клиентам услуги wi-fi, но не изолирует гостей в отдельные подсети. Без изоляции клиентов любой пользователь сети может видеть остальные подключенные к ней устройства и взаимодействовать с ними. В том числе он видит камеры слежения, видеорегистраторы, сам роутер, сетевые хранилища NAS или файловые серверы - все они будут напрямую доступны хакеру, как только он подключится к сети, что значительно упростит ему поиск слабого звена.

https://info.varonis.com/hubfs/Imported_Blog_Media/image5-e1568708858612.jpg?hsLang=en


На картинке по ссылке компания раскрыла сервер NAS своих камер слежения всем клиентам wi-fi сети с правами доступа по умолчанию, что позволяет хакерам видеть, что показывают камеры, или даже просматривать старые записи, хранящиеся на сервере. Часто компании настраивают беспроводную сеть и подключают к ней множество устройств, забывая сменить на них пароли по умолчанию, начиная с роутера и заканчивая принтерами. Если компания не меняет пароль на роутере и не создаёт виртуальную подсеть для каждого клиента, то вмешательство хакера в панель администрирования маршрутизатора - лишь вопрос времени. Когда гости сканируют сеть, они должны видеть только два устройства: шлюз и своё собственное.

Если оставить на маршрутизаторе пароль по умолчанию вроде "admin" или "password", хакер сможет загрузить на него вредоносное обновление прошивки, чтобы шпионить за пользователями или расплачиваться крадеными банковскими картами через этот маршрутизатор, используя его как свой личный vpn. Первый шаг к предотвращению подобных ситуаций - это в первую очередь ограничение ненужного доступа к устройствам сети.

           Беспроводная сеть будет безопасней, если принять основные меры предосторожности

В общем, лучше хранить поменьше доверенных сетей в списке своего устройства и запретить автоподключение. Если вы занимаете должность, подразумевающую доступ к конфиденциальной информации, и у вас на работе есть беспроводные сети с уникальными именами, то вы можете сливать их заинтересованным лицам, сами того не подозревая. Если сомневаетесь, лучше просто отключать wi-fi, когда вы им не пользуетесь - это предотвратит большинство атак.

Выполнив вышеуказанные меры,  вы снизите риск автоматического подключения своего устройства к вредоносной сети, отслеживания его местоположения или утечки персональных данных. Эти шаги не являются исчерпывающим руководством по безопасности беспроводных сетей, но они оградят вас от ряда самых простых хакерских атак.

Основные сведения о драйверах (не проприетарных) к видеокартам AMD, Intel и Nvidia.

Источник - портал OpenSUSE: https://forums.opensuse.org/t/amd-intel-nvidia-x-graphics-driver-primer-third-edition/148576

"Драйверы" к видеоадаптерам для X - как Xorg, так и Wayland - состоят из множества компонент или слоёв. Эта статья рассматривает только первые два слоя и только для видов FOSS (Free & Open-Source Software), включенных в репозитории и установочные носители Open SUSE.

Первый слой - kernel devise driver. В каждом ядре есть один или более модулей (драйверов) для видеокарт каждого из производителей. Для AMD это amdgpu для более новых устройств (APU, GPU, IGP) и radeon для старых. Для подавляющего большинства адаптеров Intel это i915, и для некоторых конфигураций SOC - gma500. Для NVidia - только nouveau. Эти модули ядра обеспечивают функциональность под названием Kernel ModeSetting (KMS), от которой всегда зависят драйверы дисплея для X.

Все оригинальные базовые драйверы дисплея для Х зависят от оборудования и поэтому называются DDX - Device Dependent X (display driver). Названия базовых драйверов: amdgpu (для новых карт amd), radeon (для старых); intel - для карт intel; nouveau -  для nvidia. Эти драйверы представлены пакетами xf86-video-*, установка которых опциональна. Однако, существует более новая технология универсального драйвера для Х - ей более восьми лет, - в которой драйвер работает так, будто зависит от устройства, но на самом деле поддерживает видеоадаптеры любого производителя. Эта технология называется modesetting. Драйвер modesetting не является опциональным, так как входит в пакет Х-сервера, а также является независимым от аппаратного обеспечения, т.е. DIX - Device Independent X. Так как он относительно новый, то не поддерживает старые GPU (примерно до 4 поколения карт intel  и карт других вендоров выпуска до 2007-2008 года).

Хотя modesetting является драйвером дисплея по умолчанию, и пакеты xf86-video-* необязательны, большинство установочных образов OpenSUSE содержат метапакет xorg-x11-driver-video, в который включены все драйверы типа xf86.... Благодаря наличию этого метапакета установочный носитель поддерживает старые видеокарты, для которых не подходит modesetting. Для таких устройств устанавливаются драйверы xf86-video-* вместо modesetting, и поэтому многие пользователи, говоря о графических драйверах, даже не знают о существовании modesetting DIX. А из-за схожести названий модулей ядра и драйверов дисплея при обсуждении графических "драйверов" часто происходит подмена термина: люди говорят о драйвере дисплея, а подразумевают модуль ядра, и наоборот. 

Если вы хотите использовать modesetting DIX, то вам проще всего будет удалить из системы метапакет xorg-x11-driver-video со всеми драйверами xf86-video-*. Какой из драйверов покажет лучшую производительность - modesetting или xf86, - можно определить только опытным путём. Тиринги и другие проблемы часто устраняются или смягчаются путём замены драйвера дисплея Х. 

Для Х-сервера существуют и другие драйверы, не зависящие от KMS и поддерживающие любое оборудование - это FBDEV и VESA. Но они обеспечивают ограниченную функциональность: не дают аппаратного ускорения, поддерживают ограниченное число разрешений экрана (обычно это 4:3, т.е. 1280х1024, 1600х1200, а чаще только 1024х768). Они подходят для действий по восстановлению системы или для серверов, где графическая оболочка почти не используется. Нередко они требуются при установке: если загрузка ядра сконфигурирована с параметром nomodeset. Этот параметр исключает использование всех FOSS драйверов дисплея, что приводит к сниженной производительности графики либо к чёрному экрану вместо графического окна входа в систему, что решается только удалением modeset из параметров загрузки.

Подводя итог, для корректной работы Х-сервера требуются следующие драйверы:

∙ amdgpu 

(kernel)+amdgpu (DDX) или modesetting (DIX) для новых устройств AMD.

∙ radeon 

(kernel)+radeon (DDX) или modesetting (DIX) для старых устройств AMD/ATI.

∙ gma500

(kernel) или i915 (kernel)+intel (DDX) или modesetting (DIX) для устройств Intel.

∙ nouveau 

(kernel)+nouveau (DDX) или modesetting (DIX) для устройств NVidia.