Теория

Самым «модным» алгоритмом является Bayesian algorithm. В двух словах об идее алгоритма в применении к сортировке электронной почты.

Пусть приходящие письма надо рассортировывать в две папки: «OK» и «Спам». Поначалу каждое приходящее письмо классифицируется вручную. При этом накапливается статистика о словах в той и в другой папках. Через некоторое время, когда информации становится достаточно, эта статистика может быть использована для автоматической классификации писем. Программа, используя формулу полной вероятности, рассчитывает вероятности того, что очередное пришедшее письмо попадет в папку «OK» или в «Спам». Если значения близки, то пользователю предлагается вручную уточнить, какой именно вариант следует выбрать, в противном случае письмо классифицируется автоматически, попадая в ту папку, для которой рассчитанное значение вероятности оказалось выше.

Побочным, но очень приятным эффектом данного алгоритма является возможность классификации почты по нескольким папкам. Для алгоритма то все равно, сколько их будет – две или больше. Это позволяет сортировать почту, без использования сложных фильтров.

Более подробно, на английском языке, теорию этого дела можно прочитать в известной статье A Plan for Spam.

Практика

Программ, реализующих описанный алгоритм, много. Лично я остановился на программе POPFile. Выбор был продиктован несколькими причинами:

• она попалась мне одной из первых и оказалось настолько хорошей, что желания попробовать что-то еще не возникло
• автор ведет активную работу, по ходу дела добавляя новые возможности. Живенький такой проектик, постоянно входящий в десятку самых активных на www.sourceforge.net
• программа написана на perl’е причем было приложены большие усилия для того, чтобы она была кросс-платформенной.

Видимо следует более детально объяснить, почему кросс-платформенное программирование – это хорошо. Для дома – было бы достаточно, чтобы программа работала под Win2K, а остальные платформы пусть горят синим пламенем. Зато на работе – совсем другое дело. На работе у меня под рукой сервер с установленной ОС Solaris, там подобной программе самое место, незачем мне на рабочую машину лишнюю «фенечку» навешивать, и так уже POP3 Catcher место в памяти кушает.

Итак, пользователи Windows качают «POPFile for Windows«, остальные – «POPFile Cross Platform«. Последний архив значительно меньше по размерам.

Что умеет POPFile:

• Работает как POP3-proxy. То есть почтовый клиент надо перенастроить на локальный адрес. По умолчанию это 127.0.0.1:110.
• Интерфейс – через браузер, по адресу http://127.0.0.1:8080 (порт, естественно, можно сменить).
• В заголовки письма вставляется строчка вида X-Text-Classification: имя_корзины, по которой и будет фильтровать непосредственно почтовый клиент.

Установка

Вся статья будет написана с расчетом на то, что POPFile устанавливается с настройками по умолчанию (адреса серверов, порты и т.п.). Этап установки я пропускаю, никаких особенностей там нет, переходим непосредственно к конфигурированию.

Вся работа с POPFile осуществляется через браузер. Если программа запущена, то, набрав в браузере http://127.0.0.1:8080, вы увидете страничку с большим количеством настроек. Вкратце о самом главном.

Отправляемся на http://127.0.0.1:8080/buckets и создаем («Create bucket with name») нужное количество «корзин» («Buckets») по которым будет распределяться приходящая почта. Обычно две – «ok» и «spam», но никто не мешает создать и больше, например, для каждого проекта, в котором вы принимаете участие. Как говорилось выше, алгоритм допускает использование любого количества корзин.

Теперь, что надо сделать, чтобы связка POPFile + The Bat! работала максимально эффективно и эффектно. Пусть изначально The Bat! был настроен так:

POP3 сервер: pop.yandex.ru
Имя пользователя: login
Пароль: password

Считая, что при установке POPFile были выбраны предлагаемые параметры, новые настройки будут выглядеть так:

Изменения коснулись только полей User и Mail Server

Следующий этап – создание фильтров. Тут все просто, вот как выглядит мой фильтр, переносящий весь спам в одноименную папку:

собственно, на этом – все, пора проводить испытания. Жмем «F2» и… Ах да, забыли этап тренировки. Опять идем сюда – http://127.0.0.1:8080 и каждому письму меняем папку на ту, которую оно заслуживает (столбец «Should be»). Примерно так:

Когда всем письмам соответствующие папки установлены, нажимаем кнопочку Reclassify в нижней части страницы. Первоначально, операцию придется проделать несколько раз, пока POPFile не наберет достаточное количество статистики, но затем, поверьте, все будет работать на полном автопилоте

А тут описано использование POPFile на почтовом сервере [12.01.2004]

Умелые ручки

Попользовавшись программой POPFile, как было описано выше, я понял, что меня раздражает. Время от времени приходят такие письма, в которых POPFile не может распознать спам. И для того, чтобы подкорректировать поведение, необходимо переклассифицировать письмо, указав ему правильную папку. При этом приходится проделать множество мелких операций:

• запустить браузер
• открыть страницу настроек
• найти ошибочно классифицированное письмо
• выбрать нужную папку
• нажать Reclassify

Сложнее всего для меня оказалось найти письмо. Как оказалось, POPFile прямо в тело письма вставляет нужную ссылку. С учетом этого последовательность операций видоизменяется:

• включить в The Bat! режим «показывать заголовки» («Shift-Ctrl-K»)
• найти в проблемном письме строчку «X-POPFile-Link:», кликнуть на URL
• выбрать нужную папку
• нажать Reclassify
• вернуться в The Bat! и отключить показ заголовков

Если у вас заголовки показываются всегда и пункты 1 и 5 для вас не нужны, то следующие несколько абзацев можете смело пропустить.

Тем же, кто предпочитает отключать заголовки, могу порекомендовать следующий трюк, идею которого подал добрый человек, Геннадий Свиридов.

Как известно, The Bat! умеет работать с полями, которые вставляют сервера почтовых конференций (yahoogroups, и т.п.) о чем свидетельствует меню Specials/Mailing list. Нас интересует операция просмотра архива («View archive»). По идее, при выборе данного пункта, The Bat! ищет в заголовке письма строчку «List-Archive:» и открывает в браузере указанный в ней URL. Это практически то, что нужно нам, за исключением того, что имя заголовка отличается от используемого программой POPFile.

Нам нужно добиться, чтобы вместо «X-POPFile-Link:» вставлялся «List-Archive:». Способов есть несколько. Я выбрал самый простой – заменил в файле «C:\Program Files\POPFile\Classifier\Bayes.pm» два вхождения строки «X-POPFile-Link:» соответственно на «List-Archive:».

После этого в The Bat! на пункт меню Special/View Archive повесил горячую клавишу (а вы знаете, что в новом «мыше» по нажатию «Alt-F12» выскакивает редактор горячих клавиш?).

Теперь, если какое-то письмо оказалось классифицировано неправильно, я жму «Alt-S» и сразу оказываюсь в нужном месте, остается только подправить папку и нажать Reclassify.

Бочка меда

Статистика за последние три месяца такова:

• Обработано писем – 13379
• Допущено ошибок – 24
• Точность – 99.82%
• В папку spam ушло 1423 письма

Отмечу, что ни одного «нормального» письма за все время в spam не попало. То есть все 24 ошибки – это «спам», умудрившийся проскочить через жесткое сито эвристики. Результат, с моей точки зрения, более чем достойный.

Поиски программ затянулись. Всеразличные MailWasher’ы и прочие SpamPal’ы не прижились. У каждой программы находились свои багофичи, которые делали работу с ней практически невозможной.

Хотелось же вот какого счастья:

• Программа должна быть маленькой, поскольку будет сидеть в памяти постоянно
• Точность опознания спама должна превышать 50%. Имитатор бросания монетки я и сам могу написать
• Самое главное – вероятность классификации корректного письма как «спам» должна быть сведена к минимуму. Желательно, чтобы и вовсе равнялась нулю. Ну не могу я себе позволить терять чьи бы то ни было письма!

Как отличают спам

Для начала небольшое лирическое отступление. Перед тем, как описывать программы, надо бы вообще понять, что они будут делать. Итак, вкратце, какие методы обнаружения спама существуют:

• «Черные списки» – в них заносятся адреса самых злостных спамеров. Один из таких списков валяется где-то на задворках www.exler.ru. Лично я убедился в бесполезности такого метода после трех месяцев использования. Список Экслера пополнился несколькими сотнями адресов, а спама меньше не стало. Хороший спамер (хороший спамер – мертвый спамер!) редко повторяется, постоянно меняя адреса. Резюме: плохой метод, неудачный.
• Списки открытых релеев. Открытый релей – это почтовый сервер, который позволяет рассылать почту без каких-либо ограничений. Нормальный же почтовый сервер должен проверить IP адрес клиентского компьютера и разрешить посылку письма только для «своих» диапазонов IP адресов. Почему плохи открытые релеи? Хотя бы потому, что вычислить и отключить спамера на них практически невозможно. Именно по этой причине в Интернете ведутся списки открытых релеев, которыми можно воспользоваться для проверки – не через такой ли сервер было послано пришедшее письмо. Если это так, то с вероятностью 99% к вам пришел спам. Резюме: 99% спама уходят в мусорную корзину, однако к ним присоединяется изрядная доля ваших респондентов, пользующихся бесплатной почтой. Без создания «белых списков» использование метода чревато потерей ваших знакомых
• Статистический анализ писем. Соответствующие алгоритмы позволят вычислить, какие из пришедших писем являются спамом. С одной стороны, этот метод практически не уменьшает трафик – письма все равно придется скачать и разобраться «на месте». С другой стороны, сортировка писем тоже очень полезная задача. Лично я получаю очень большое количество спама и ручная сортировка «спам – не спам», занимала приличное количество времени. Резюме: качество обнаружения спама зависит только лишь от используемого алгоритма.

POP3Catcher

Первым кандидатом на медаль оказался POP3Catcher. Программа существует в двух вариантах – полном (за деньги) и lite (за так). Фактически, можно брать lite – для домашнего употребления хватит за глаза.

POP3Catcher представляет собой POP3 сервер, который вытягивает почту с любого количества аккаунтов, при этом маркируя спам путем добавления соответствующего заголовка в письмо. Для определения спама используются следующие методы:

• Базы открытых релеев (одновременно можно использовать несколько штук)
• Черный список email-адресов
• Черный список IP-адресов (при этом можно отсекать целые диапазоны ненавистных вам IP)
• Настраиваемые фильтры, позволяющие, например, отказать письмам большого размера.

Очень важно, что POP3Catcher позволяет формировать «белые списки» email- и IP-адресов. При этом, если обнаруживается, что письмо попало в «белый список», то оно считается 100% «чистым» и никаких проверок не производится. Рекомендую сразу занести в «белый список» адрес вида «@вашафирма.ru», дабы важное письмо от шефа не попало в папку «Спам»

Впечатления от использования POP3Catcher остались только положительные – свою задачу он выполняет на 5+. У меня правильно определялся практически весь спам, прорываться умудрялись только письма начинающих спамеров, которые не стеснялись использовать почтовые сервера своего родного провайдера (не открытый релей). Одно-два письма в день - совсем не 30-50 за тот же срок.

Дополнительный бонус при использовании POP3Catcher – возможность установки плагинов. При этом можно взять несколько готовых с сайта автора, а можно попытаться написать самостоятельно, благо API открыт для всех.

Вживление POP3Catcher будем производить в несколько этапов. Пусть изначально почтовый клиент был настроен следующим образом:

POP3 сервер: pop.yandex.ru
Имя пользователя: vasja_p
Пароль: password

Теперь мы настраиваем POP3Catcher так, как раньше был настроен почтовый клиент:

Почтовый клиент (в данном случае The Bat!) перенастраивается на прием почты с локального mail-сервера (127.0.0.1). Обратите внимание на метаморфозу, произошедшую с именем пользователя (описано в файле «How to use.txt»):

Дело осталось за малым – создать фильтр, который будет перекладывать спам в отдельную папку. При этом под действие фильтра будут попадать письма, имеющие в заголовке поле «X-Spam-Mark», добавляемое POP3Catcher:

Собственно основная часть работы проделана. Можно продолжать пользоваться почтой, наслаждаясь чистотой папки Inbox и периодически поглядывая в Inbox\SPAM. Если в Inbox\SPAM обнаружится письмо, не являющееся спамом, то у вас есть выбор:

• Попросить автора этого письма сменить почтовый сервер на более приличный. Как ни странно, но этот совет окажется полезным для вас обоих. Дело в том, что подобного рода фильтрация по списку открытых релеев может проводиться автоматически на mail-сервере, дабы оградить пользователей сервера от спама. Целый ряд провайдеров делает это, впрочем, особо не афишируя сей факт. Так что, быть может, автор вышеупомянутого письма уже не раз удивлялся, почему отправленные им письма не доходят до адресатов. Успейте первым объяснить, что он делает не так
• Добавить автора в «белый список» email-адресов или добавить используемый им сервер (см. заголовки письма) в «белый список» IP-адресов.

Теперь разберемся, что делать, если письмо не попало в Inbox\SPAM, хотя должно было. И снова у вас есть выбор:

• Попросить автора больше так не делать
• Добавить email автора в «черный список»
• Посмотреть в заголовках письма IP адрес сервера и добавить его в «черный список» IP-адресов.

Могу заверить, что подобного рода операции будут очень редкими и предназначены только для того, чтобы первоначальную точность определения спама (вполне достойную) довести до 99,9%, а вероятность ошибочной трактовки корректного письма как «спам» свести к абсолютному нулю.

Мораль

POP3Catcher строго рекомендуется к установке как обладающая целым рядом полезных функций, количество которых увеличивается от версии к версии. При желании можно даже потратить немножко денег, получив эквивалентную отдачу в виде совсем уж полезных функций, как то: автоматический дозвон и скачивание почты по расписанию, раздача почты в локальной сети, предпросмотр писем с возможностью удаления прямо на сервере.

Элегантное решение, позволяющее знать все обо всем, называется Watznew. Эта небольшая программа с заданной периодичностью проверяет странички на предмет обновлений и, буде таковые случились, сигнализирует об этом.

Разумеется, не все изменения нас интересуют – мало кому нужно знать о появлении нового баннера на страничке. Выбрать интересующую часть можно с помощью довольно примитивного, но, тем не менее, эффективного механизма шаблонов. При этом программа не просто сигнализирует о случившихся изменениях, а выводит то, что вы захотите. Так для новостного сайта это может быть заголовок последней статьи, для сайта с метеосводкой – прогноз погоды на завтра и т.д. Иногда этого вполне достаточно и на сайт можно не ходить вовсе.

Начнем, как водится, с конца – с результатов:

Теперь расскажу о том, как я создал канал, транслирующий новости любимого сервера - http://www.rusc.ru. Первым делом File / Add New / Setup a new HTTP channel, в соответствующем месте вводим URL новостной странички - http://www.rusc.ru и указываем периодичность проверок – 3 часа. По большому счету этого уже достаточно. Как только страничка изменится, программа нам об этом сообщит.

Однако хочется, чтобы при этом выводились заголовки новостей. Откроем окно свойств созданного канала (Channel Properties / Search Pattern) и посмотрим HTML код страницы, нажав на :

... ерунда ...
Последние новости:</font></b></td></tr>
<tr><td><img src="/images/trans.gif" width=1 height=5></td></tr>
<tr bgcolor=#4D6473><td><b>
<a class=sref href="/cgi-bin/newslist.pl?day=21&year=2002&month=06"&gt;
21 Июня 2002 г.
</a></b></div></td></tr><tr bgcolor=#8F9EA7><td>
<a class=tref href="/cgi-bin/newslist.pl?day=21&year=2002&month=06#a1024682527">
<b>Apache vs. IIS</b></a></div></td></tr>
... тут еще куча новостей ...
<tr bgcolor=#8F9EA7><td>
<a class=tref href="/cgi-bin/newslist.pl?day=21&year=2002&month=06#a1024666252">
<b>Unreal Tournament 2003 build #927</b></a></div></td></tr>
<tr bgcolor=#8F9EA7><td>
<a class=tref href="/cgi-bin/newslist.pl?day=21&year=2002&month=06#a1024605903">
<b>Internet Zone 279</b></a></div></td></tr>
<tr><td><img src="/images/trans.gif" width=1 height=6></td></tr>
<tr bgcolor=#4D6473><td><b>
<a class=sref href="/cgi-bin/newslist.pl?day=20&year=2002&month=06">
... на этом месте новости заканчиваются ...

Особо мудрить не будем, просто на глазок прикинем, как можно найти начало и конец новостей. На приведенном куске HTML кода я выделил цветом эти «границы».

В языке шаблонов Watznew это может быть записано как:

Последние новости:{*}">{%}</a>{%}<a class=sref href="/cgi-bin/newslist.pl

Как вы можете догадаться, {%} обозначает текст, который нам интересен. Замечу, что использовать {%} можно не один раз, выкусывая из странички разную информацию. Первая такая последовательность при выводе сообщения будет обозначаться %1, вторая – %2 и т.д. В нашем случае %1 будет означать дату, взятую со странички, а %2 – текст новостей.

{} обозначает последовательность любых символов, которые нас не интересуют и будут проигнорированы. Полезно, если часть страницы может произвольным образом меняться. Я использовал {} для того, чтобы пропустить некоторое количество тегов, которые мне писать было лень, к тому же без них шаблон выглядит понятней.

Все остальные знаки в шаблоне обозначают сами себя.

После ввода шаблона еще раз жмем на изображение лупы, дабы убедиться, что все сделано правильно. В нижней половине окна будут показаны значения переменных %1, %2, и т.д.:

Теперь осталось перейти на закладку «Message Template» и сформулировать, что именно должна нам «сказать» программа при обновлении страницы. Приблизительно таким вот образом:

Новости за %1:\n
%2

Для самых ленивых

Я подозреваю, что большая часть моих читателей просто не захочет создавать каналы самостоятельно - лениво станет. Ну что ж, автор программы ведет целую библиотеку каналов. Там уже есть готовые каналы для большинства известных сайтов, остается их только скачать.

Для самых любопытных

Помимо вышесказанного WatzNew отслеживает появление писем в ваших почтовых ящиках, синхронизирует время со специально обученными серверами точного времени и умеет использовать Perl для выполнения особо хитрых вещей.

Кстати, если вы делаете свою страничку, то рекомендую выполнить следующий трюк – после создания канала укажите его в HTML коде, например, таким вот образом:

<title>Записки Занятых</title>


<!-- WatzNew channel
[Записки Занятых]
Type=HttpDocument
NotifyMethod=PopupWindow
NotifySoundOn=0
Host=notes.rusc.ru
SearchPattern=Последние записки</td><td class=menuhdr width=12>
</td></tr><tr valign=top><td width=12 class=menu>
<img src=/notes/images/menu-bullet.gif width=8 height=8 alt=''></td>
<td width=163 class=menu>{%}</td>
MsgTemplate=Новая записка: %1
Interval=3
IntervalUnit=1
ExtInterval=3
ExtIntervalUnit=1
-->

...

После этого, если кто-нибудь попытается создать канал для вашего сайта, то ему будет предложен именно ваш вариант – WatzNew проявляет интеллект.

Практически завершив очередную статью, я понял, что самое грустное и самое смешное едва не осталось за кадром.

Грустное и смешное

Грустное – программа далеко не бесплатна. А всем известно, что лекарства от жадности раздают тут. Однако асталависта сделала мне ручкой и сообщила, что версия 1.9 еще никем не сломана. Ожидать этого можно с минуты на минуту – выпущена она была не очень давно. Следовательно, появление лекарства от жадности следует поджидать совсем скоро. Вот для проверки, не появилось ли оно, и была приспособлена… программа watznew. Так сказать, с особой циничностью:

Пришлось честно ответить – мол, так и так, ZoneAlarm не держу, а с баннерами у меня разбирается более простая в настройке программа, называющаяся …

AdMuncher

Начнем с того, что размер файла, который предлагается скачать для установки, претендует на абсолютный рекорд – 70656 байт!

Тем не менее, несмотря на скромный размер, программа великолепно удаляет рекламу с посещаемых страниц, определяя их по:

• адресу;
• подписи (тэг alt);
• размеру;

Выглядит это примерно так:

оргинальный вариант

Те, кому не интересны 10 голых теток, прогулки Киселева и болтовня «последнего героя», увидят аккуратную страничку:

результат

Как видите, назойливая реклама была аккуратно заменена на [censored]. Фотография же нашей лыжницы, в блестящем стиле выигравшей золотую олимпийскую медаль, осталась в целости и сохранности.

Помимо баннеров AdMuncher успешно борется с:

• выскакивающими окнами (popups);
• музыкой на страницах;
• автоматически обновляющимися страницами;
• фоновыми картинками;
• скриптами, блокирующими правую кнопку мыши (поразительно как много людей боится, что код их странички могут посмотреть);
• скриптами, изменяющими состояние status bar’а (очень неприятно наводить курсор на ссылку и видеть вместо адреса что-нибудь вида «обязательно нажми сюда»).

Разумеется, все опционально и может быть настроено:

Установка очень проста – запускается программа инсталляции и через пару секунд все уже готово. Никаких дополнительных настроек не нужно, AdMuncher и без них успешно работает со всеми популярными браузерами. Хит однозначно! Все срочно качаем.

Что называется «срочно в номер». В номер, тема которого планировалась совсем иной. Однако не сложилось, ибо не смог удержаться. Просто обязан рассказать о мега-программе SequoiaView.

На описание этой программы я натыкался то там, то сям, но значения восторженным воплям о том, что программа позволила освободить половину винчестера, не придавал. Что там можно потерять на небольшом 6Гб диске, где каждый мегабайт на учете? Тем не менее, решил скачать и посмотреть.

После запуска SequoiaView показывает содержимое жесткого диска в виде разноцветных прямоугольников, группируя их по каталогам. Файлы разных типов раскрашиваются в разные цвета: архивы, mp3, программы, тексты и т.д. Казалось бы игрушка не более того. У меня была вот такая картинка (покрупнее, разумеется):

Что бросилось в глаза. Первое – в правом верхнем углу два одинаковых серых прямоугольника. Ага! Спасал ненароком убитый женой аккаунт в Outlook Express. Для этого создал новый аккаунт и в него импортировал сохранившиеся данные. Все восстановилось, но файлы убитого аккаунта удалить забыл.

С этого момента я уже заинтересовался. Буквально несколько секунд и плюс 70 мегабайт свободного места на диске.

Второе. Обратите внимание – на зеленом фоне (mp3-файлы) краснеет узенькая вертикальная полоса, которая «тянет» на 20 мегабайт. Каким образом этот zip-файл (а именно архивы раскрашиваются в такой цвет) затесался в каталог с музыкой я уже не помню, но точно знаю, что ему там не место.

А теперь грандиозный финал. Значительная часть диска занята библиотекой MSDN Library – серый прямоугольник в левой части картинки. Поверхностное изучение показало, что два самых больших файла имеют одно и то же имя! При внимательном рассмотрении имен каталогов оказалось, что у меня стоит аж две версии MSDN. Даже с учетом того, что обе они существенно обрезаны, каждая ее экземпляр занимает более 700 Мб.

Резюме

Пара минут разглядывания картинки, полученной с помощью SequoiaView, и я освободил 800 Мб на диске. Программа получает постоянную прописку, чего и вам желаю.

Удивленный, но довольный

Позанудстовав свое, перейдем к теме. Заметим, что подавляющему большинству популярных «тяжеловесных» программ можно найти значительно более «легкие» аналоги. При этом функциональность если и снижается, то в разумных пределах. Основные параметры, по которым мы собираемся получить выигрыш:

• время загрузки
  
• скорость работы
  
• память
  
• надежность
  

Насчет последнего пункта объяснение очень простое – чем проще программа, тем меньше в ней проблемных мест.

Итак, поехали…

ICQ vs Miranda

Небезызвестный интернет-пейджер, превратившийся со временем в монстра, поглощающего память, взамен предлагающего множество возможностей, большая часть которых уже давно не связана с первоначальной задачей – обменом коротенькими сообщениями. Что до меня, то всю эту псевдофункциональность я видал известно где и известно, в каких тапочках. А посему располневшей старушке ICQ было вежливо указано в Trash, а на ее место была поставлена молодая и стройная Miranda.

Это чудо было изначально спроектировано очень разумно. Есть ядро, к которому можно подключать те плагины, которые нужны. В результате программа становится настолько функциональной, насколько это требуется лично пользователю. Плагинов уже очень даже немало и умеют они делать почти все, от чего мы так лихо избавились, снеся ICQ

• SMS
  
• проверка почты
  
• поддержка протокола MSN Messenger
  
• и прочая, прочая, прочая…
  

В результате мы имеем выигрыш как минимум по первым трем пунктам. Что касается четвертого пункта, то тут не все так очевидно - как мне показалось, программа еще достаточно сыровата. Возможно, впрочем, что глюки не у нее, а лично у меня. В любом случае пара случайных падений не повод отказываться от программы, которая себя совершенно нормально чувствует на P-133. Пять баллов.

Email

Вторым кандидатом на «вынос» я бы назвал Outlook Express. Правда, тут надо сделать оговорку. Как email-клиент эта программа вполне меня бы устроила, если бы в свое время я не подсел на http://www.ritlabs.com/thebat/The Bat!. Как news-клиент Outlook Express для меня остается стандартом де-факто. Однако то, что постоянно запущенный Outlook Express отъедает «чистых» 6 мегабайт памяти не может не напрягать. Вот если бы можно было дешево и сердито узнавать, есть ли новые письма в ящике и только после этого запускать почтового клиента. И тут на помощь приходит целый класс программ - «email checkers». На www.tucows.com в этой категории можно скачать и попробовать не один десяток программ. Лично я с удовольствием попользовался программой Lydia 3.3.1. Занимает в памяти она около 300K, при этом с блеском выполняет свою задачу - проверку почтовых ящиков. Помимо этого можно:

• просмотреть заголовки пришедших писем (From, Subject, Date, Size)
• просмотреть первые N строк выбранных писем
• удалить ненужные письма прямо на сервере, не загружая их к себе
• написать новое письмо или написать ответ – простенький, но вполне функциональный email-клиент встроен в программу!
• запустить таки Outlook Express для скачивания и просмотра тех писем, которые остались в живых после первых 4 шагов

Выглядит это примерно так (на рисунке одно из писем помечено для удаления):

Маленькая ложка дегтя – с кодировкой KOI-8, программа, увы, не знакома, так что ее родной почтовый клиент может вам пригодиться только для переписки на тарабарском языке. В любом случае, мой P133 сделал еще один выдох, сбросив с плеч тяжкий груз в виде постоянно запущенной почтовой программы. Троекратное ура, товарищи!

продолжение следует …

Откуда у меня взялся сей музейный экспонат? Ха! Нашел. В буквальном смысле. Собрался он из запчастей, которые не стоили мне ни копейки. Технологию поиска пересказывать не буду – у вас не получится, поскольку ничего не осталось.

Что вышло. Pentium 133, памяти 32 мегабайта, 4 Гб диск, какая то видеокарточка S3, SoundBlaster 16, монитор на 15" ну и прочей мелочевки мешок. В принципе полный набор. Лет 5 назад просто предел мечтаний. А сегодня…

А что сегодня? Ну подумаешь на дворе XXI век. Будем затягивать гайки! Для начала разберемся с операционной системой. На винте имеется предустановленная ОС Windows 98. Менять на более шуструю 95 или переустанавливать с нуля 98 не хочется – слишком много уже поставлено предыдущим хозяином из того, что нужно лично мне для работы, а взять в общем-то не откуда. Значит будем разгребать мусор.

Windows

Что у нас лишнее? Сразу же – фоновый рисунок. Память пригодится для более полезных вещей. Следом деинсталлируется, стирается все, что не понадобится (мне не нужна программа для синхронизации с Palm’ом и ежедневник на корейском языке). При этом остается барахло в реестре и на диске в виде никому не нужных записей и неиспользуемых DLL соответственно. Тут все просто – есть целый ряд программ, которые помогают подмести мусор. О них и пойдет речь ниже.

Clean System Directory

Небольшая (архив – 70Kb) программа, позволяющая найти DLL, на которые никто не ссылается. Работает она очень просто – составляет список DLL и сканирует все файлы на диске на предмет наличия там имен из этого списка. Все, что никем не используется, перемещается в каталог C:\WINDOWS\SYSTEM\BKUPDLLS. После чего можно поработать денек-другой и снести оттуда все без каких бы то ни было угрызений совести. На этом этапе я лишился 4 Мб мусора о чем до сих пор не пожалел.

jv16 PowerTools

Эта программа позволит почистить реестр. В отличие от предыдущей с ней необходима осторожность, ибо снести что-нибудь полезное можно легким движением руки.

Вот как она выглядит:

Программа сканирует реестр. Все, что указывает на файлы, не существующие на диске, считается подлежащим удалению. Обращайте внимание – те ключики в реестре, которые отмечены зеленым цветом, можно удалять безболезненно:

Остальные желательно пробежать глазами на предмет проверки.

Кстати, программа на самом деле содержит массу других полезных возможностей: поиск дубликатов файлов, поиск файлов нулевой длины, поиск временных файлов и прочая, прочая, прочая. Рекомендовано к применению. Русский интерфейс имеет место быть.

MemGlance

С помощью данной программы мы можем внимательно изучить, какие программы съедают больше всего памяти:

Обратите внимание, что память, занимаемая программой, указана в двух столбцах. Первый столбец «Полный размер» включает в себя все используемые DLL. Однако поскольку большинство из них используется одновременно несколькими программами, то есть еще и второе значение занятой памяти, которое указано во втором столбце - «Чистый размер».

Ага. Обнаруживаем, что у нас тихо и незаметно грузится RealPlayer (на рисунке сей паразит не показан – скриншот снят много позже состоявшегося выноса тела). Очень полезная программа, но не в нашем случае, когда каждый килобайт на счету. Заходим в RealPlayer, отключаем автозагрузку, что освобождает нам пару мегабайт ценной памяти.

продолжение следует …

Развлекательная часть

Вот, например, что мне предлагает Word, встретив во фразе «то есть скрипты …» незнакомое слово «скрипты»:

крипты
скрипы
с крипты
скрип ты

Ну спасибо. Особенно за «скрип ты». Сам дурак.

Или вот еще перл, полученный на слово «медитирует»:

меди тирует

Кто такой «меди» и зачем он «тирует»? Ладно, «меди» еще понятно - родительный падеж слова «медь», но что такое «тирует»???

Да он не знает слово «интернет»! Предложение «скачивать из интернета …» вызвало негодование:

интерната
интернате

Причем предлагается скачать из интерната не абы что, предлагается именно исподнее белье. Не верите? Пожалуйста, – «качайте исходники мегабайтами»:

качайте исподники мегабайтами

Действительно, что еще можно найти в интернате, кроме исподников.

Очень серьезная часть

Самое неприятное в проверке HTML-страниц с помощью Word’а заключается в следующем. Он ругается на все тэги, как впрочем, и на все иностранные слова. Дело в том, что при импортиртировании страницы, всем словам выставляется один язык. В моем случае – русский. Затем Word пытается проверить орфографию по соответствующему словарю, обламывается и помечает слово, как неправильное.

Надоело это мне. К тому же, раз уж я пользуюсь Far’ом для редактирования страниц, то было бы неплохо научить оный и проверке орфографии. Делается это с помощью одного из трех плагинов - ArtN CS API Spell Checker, gSpell, raVen’s speller. Первый из них еще находится в стадии разработки, поэтому все его баги названы автором «фичами». Есть смысл использовать только последние два. Мне больше приглянулся gSpell, поскольку он умеет предлагать варианты для неверно написанных слов. При этом проверку английского языка можно отключить и мы получим то, что хотелось:

Чем не Word? Пока не хватает проверки грамматики. Запятые тоже надо уметь ставить в положенных местах. Есть у меня идейка, как научить Word проверять орфоргафию и грамматику, чтобы при этом не возникало проблем с английскими словами. Доведу вскорости до ума и поделюсь обязательно.

Есть такая вещь, которая называется Cygwin. Это – качественный порт под Win32 многих Unix’овых утилит. При этом достигается великолепная совместимость. То есть скрипты, написанные и отлаженные под Windows, с большой вероятностью будут работать под Unix и наоборот. Альтернативы Cygwin’у на данный момент практически нет, единственным соперником мог бы быть MKS Toolkit, но он продается за деньги, а нас такой вариант не устраивает. Идем качать и устанавливать Cygwin. (Тут вот проскочило некое подобие - GnuWin32. Фанаты могут посмотреть, мне – лень. 11.01.2004)

Стоп, а зачем он мне нужен?

Зачем он может пригодиться вам, я не знаю. Я могу только рассказать, зачем он нужен мне:

• Во-первых, так уж сложилось, что я пишу программы, которые будут использоваться, как на Windows, так и на unix-платформах. При этом приходится создавать служебные скрипты, которые, например, производят компиляцию всего проекта. Так вот с использованием Cygwin я могу написать скрипты, которые одинаково запускаются и работают под обеими платформами (Win/Solaris), мне не приходится делать отдельно bat и отдельно shell-скрипты. Это сильно экономит время в момент написания и, особенно, в момент модификации скриптов. Попробуйте параллельно править обе версии, в которых различий больше чем сходства.
• Во-вторых, я могу использовать gnumake. А это один из лучших make-ов, которые есть на данный момент. Кстати makefile будет одним и тем же для обеих платформ.
• В-третьих, мощи CMD.EXE, который входит в Windows NT, не хватает для написание серьезного скрипта. Есть, конечно, 4DOS и 4NT, но это все равно не то. Одни регулярные выражения чего стоят (тут автор мечтательно закатывает глаза и медитирует 5 минут).
• В-четвертых. Вам никогда не приходилось скачивать из интернета исходные тексты программ? Ага… Быть может и расширения вроде .tar.gz для вас не пустой звук? Тем, кто по молодости да по неопытности с этим никогда не сталкивался, поясню, – есть такая традиция у «юниксоидов» делать архивы с помощью двух программ – tar и gzip. Первая соединяет все нужные файлы в один, а вторая их сжимает. Степень сжатия при этом выше, чем, если сжимать все файлы по отдельности. Очень похожим образом, кстати, работает WinRar с его solid-сжатием. И все бы было хорошо, если бы не было так плохо в Windows с tar’ом и gzip’ом. А в Cygwin’е есть и tar и gzip. Все работает, все счастливы. Качайте исходники мегабайтами, учитесь.
• В-пятых, в-шестых, …

Э-э-э, ты мне пример реального использования покажи…

Хотите примеры? Пожалуйста. Последний пример из реальной жизни.

Писал я плагин для Far’а. Причем писал на Visual C++. При этом нужно было получить список экспортируемых плагином функций. То есть из:

UpAndDown.cpp


void WINAPI _export SetStartupInfo(struct PluginStartupInfo *psi){
    ...
}

void WINAPI _export GetPluginInfo(struct PluginInfo *pi){
    ...
}

HANDLE WINAPI _export OpenPlugin(int OpenFrom,int item){
    ...
}

нужно получить:

UpAndDown.def


EXPORTS
; Список функций
  SetStartupInfo
  GetPluginInfo
  OpenPlugin

Это что ж получается – добавлю я еще одну экспортируемую функцию и мне надо не забыть еще и def-файл параллельно править? Дудки. Смотрю на свои исходники, – все экспортируемые функции выглядят очень и очень похоже, как бы их имена выдрать из исходников?

Решение программиста:

Кусок из makefile


$(DEF): $(OBJS)
  echo EXPORTS > $(DEF)
  echo ; This file was created by makefile >> $(DEF)
  cat .cpp | grep _export | sed "s/. (.)(./  \1/" >> $(DEF)

Как это работает. Программа cat «передает по цепочке» текст всех файлов с расширением cpp программе grep. Та оставляет только строки, в которых присутствует ключевое слово _export и эти строки отдает sed’у:

void WINAPI _export SetStartupInfo(struct PluginStartupInfo *psi){
void WINAPI _export GetPluginInfo(struct PluginInfo *pi){
HANDLE WINAPI _export OpenPlugin(int OpenFrom,int item){

Дальше – сложнее, дальше регулярные выражения. Я минут 10 пытался описать это простенькое в сущности регулярное выражение, но потом понял, что тем, кто с ними еще не знаком, мне не удастся в двух словах изложить материал. Поверьте на слово, что эта последовательность «скобочек и палочек» берет со стандартного входа строку и заменяет ее словом, «которое идет после пробела и за которым стоит открывающая круглая скобка», то есть на выходе конвейера мы получаем только имена экспортируемых функций из всех файлов, текущего каталога, что и требовалось! Они перенаправляются в def-файл, а я про него могу забыть и не вспоминать, он сам создается, сам модифицируется при необходимости.

Резюме

Лень – двигатель прогресса. Скачав и установив себе Cygwin, вы сможете написать скрипт do_all, который будет делать за вас все, причем сразу и на Solaris’е и Windows. Вам остается только курить и мечтательно плевать в потолок. Кстати, хорошая идея…

Для тех, кому уже исполнилось 6 лет, но еще не исполнилось 7, объясняю на пальцах. Есть у нас последовательность клавиш, которую мы часто используем. Длинная последовательность. Очень длинная. А мы берем и назначаем эту длинную последовательность одной клавише. Вот это и есть макрос.

Ниже я обязательно перечислю те макросы, которые использую сам, но для начала поговорим о том, как они вообще создаются и редактируются.

Создание и редактирование макросов

Стандартный вариант, который предлагается Far’ом, состоит в следующем – мы нажимаем «Ctrl-.» (при этом в левом верхнем углу появится буква R – запись, record), затем последовательность клавиш, затем опять «Ctrl-.», после чего Far предложит назначить клавишу введенной последовательности.

Описанный метод вполне пригоден для задания коротких макросов, но длинные задавать таким способом крайне неудобно. Фактически это делается вслепую. Более того, отредактировать макропоследовательность и вовсе не удастся – придется повторить всю операцию с самого начала и быть при этом более внимательным.

Однако есть альтернативный вариант, который я упомянул в записке, посвященной плагинам. Альтернативный вариант носит название Macro View. При вызове Macro View вы увидите все определенные на данный момент макрокоманды, например вот такие:

Built-in viewer: "AltF6" │ Калькулятор
Built-in viewer: "AltF7" │ Find All
File panels:     "AltF6" │ Калькулятор
File panels:     "Ctrl," │ Вызов проводника в текущем каталоге
Text editor:     "AltF6" │ Калькулятор
Text editor:     "AltD"  │ Вставить дату
Text editor:     "AltT"  │ Вставить время

Кстати, обратите внимание, что в данном случае клавиша «Alt-F6» задана целых три раза – для редактирования (Text editor), для просмотра (Built-in viewer) и для файловых панелей (File panels). Помимо этого еще бывают следующие состояния: диалоговые окна (Dialogue windows), меню дисков (Disks menu), главное меню (Main menu), окно быстрого поиска (Quick search files) и загадочные «Other areas». Это говорит о том, что одной и той же клавише в различных ситуациях могут соответствовать разные макропоследовательности.

Любой макрос можно удалить клавишей «Del», добавить клавишей «Ins» или отредактировать - «Enter». При этом, в отличии от стандартного варианта, вы визуально можете наблюдать редактируемую макрокоманду:

F11 l Enter

Макросы записываются в реестр, как, впрочем, и все, что касается конфигурации Far’а. Поэтому их можно экспортировать в отдельный reg-файл (клавиша «F2» в Macro View). Получается нечто похожее на:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Viewer\AltF6]
"Sequence"="F11 l Enter"
"Description"="Калькулятор"
"DisableOutput"=dword:00000001

Обратная процедура импортирования из reg-файла производится программой regedit:

regedit AltF6.reg

Примеры макрокоманд, сохраненных в виде reg-файлов, вы можете найти в каталоге C:\Program Files\Far\Addons\Macros. Там лежит примерно 25 примеров макросов.

Для чего они нужны?

Думаю, что пора ответить на главный вопрос, – в каких ситуациях могут пригодиться макросы? В общих чертах понятно, но, думаю, стоит поподробней. Давайте загибать пальцы.

Для сокращения ввода

Длинная последовательность нажатий заменяется одним. Выходит короче, а, следовательно, меньше вероятность сделать ошибку. Лично я использую следующие макросы:

«Ctrl-,» – вставляет в текущее место редактора заготовку для тэга – две угловые скобки, после чего помещает курсор между ними.

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\Ctrl,]
"Sequence"="< > Left"
"DisableOutput"=dword:00000001
"Description"="Вставить тэг"

«Ctrl-/» – все то же самое для закрывающего тэга.

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\Ctrl/]
"Sequence"="< / > Left"
"DisableOutput"=dword:00000001
"Description"="Вставить закрывающий тэг"

Для быстрого вызова плагинов

Дело в том, что большинство плагинов вызываются через меню, вызываемое нажатием «F11», после чего еще, как минимум, следует нажатие «горячей клавиши». Хочу, заметить, что со многими плагинами дело этим не ограничивается – у них есть еще свои подменю. В общем, пока доберешься, до нужного места, рабочий день заканчивается. А если все это, начиная с «F11» повесить на какую-то удобную клавишу (только не «Reset»!), то есть шанс добраться до плагина уже к обеду.

Я использую следующие макросы (будьте внимательны, у вас «горячие клавиши» для плагинов почти наверняка отличаются, не забудьте подправить!):

«Alt-F6» – калькулятор. Как видите, калькулятор можно позвать в момент редактирования, просмотра, а также просто находясь в обычном состоянии, наблюдая синие панели:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Viewer\AltF6]
"Sequence"="F11 l Enter"
"Description"="Калькулятор"
"DisableOutput"=dword:00000001

[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\AltF6]
"Sequence"="F11 l Enter "
"Description"="Калькулятор"
"DisableOutput"=dword:00000001

[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\AltF6]
"Sequence"="F11 l Enter"
"DisableOutput"=dword:00000001
"Description"="Калькулятор"

Alt-D» – вставить дату в редакторе (используется плагин Date-n-Time). Лично мне дату удобней всего наблюдать в виде ДД.ММ.ГГ, а поскольку каждый раз задавать формат лениво, то вот вам макрос:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\AltD]
@=""
"Sequence"="F11 D T 0 % d . % m . % y Down Down Down Space Enter"
"Description"="Вставить дату"
"DisableOutput"=dword:00000001

«Alt-T» – тот же плагин, на этот раз вставляется время в формате ЧЧ:ММ:СС

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\AltT]
@=""
"Sequence"="F11 D T 0 % H : % M : % S Down Down Down Space Enter"
"DisableOutput"=dword:00000001
"Description"="Вставить время"

«Alt-H» – вызов плагина Branch. Навеяно сходной клавишей в DN. При нажатии показывает файлы из всех подкаталогов текущего каталога. Макрос сам по себе очень простой, экономия мизерная, но как бы то ни было, руки уже привыкли, и переучить их оказалось сложнее, чем написать макрос:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\AltH]
"Sequence"="F11 h"
"Description"="Ветка каталогов"

«Alt-F9» – у меня Far запускается в оконном режиме и переключение 25/50 строк становится излишним. Даже более того – оно мешает. Таким образом, убивая сразу двух зайцев, вешаю на «Alt-F9» вызов конфигурации плагинов:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\AltF9]
"Sequence"="F9 o u"
"DisableOutput"=dword:00000001
"Description"=""

Для замены клавиш, используемых по умолчанию

Далеко не всем клавиши, используемые в Far’е, кажутся удобными и интуитивно понятными. И именно макросы могут помочь. Тут мы сильно выигрываем, не тратя время на то, чтобы вспомнить, какую же именно клавишу надо нажать.

Что пользую я:

Парочка макросов, взятых из стандартной поставки (Del.reg и Esc.reg) – ссылок не даю, учитесь искать сами и, как говорится, RTFM.

Клавиши «Alt-0», «Alt-1», «…», «Alt-9» используются вместо «RCtrl-0», «RCtrl-1», «…», «RCtrl-9». Последние используются для быстрого перехода по каталогам. Но, как мне кажется, это не самый удобный вариант, поскольку нужны обе руки, правая для «Ctrl», а левая для цифр. Вариант, который «намакросил» я, более эргономичный:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\Alt0]
"Sequence"="RCtrl0"
"Description"="Каталог 0"
"DisableOutput"=dword:00000001

[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\Alt1]
"Sequence"="RCtrl1"
"Description"="Каталог 1"
"DisableOutput"=dword:00000001

...

Для создания новых функций

Вам чего-то не хватает? Подумайте, а не спасут ли макросы? Зачастую ими можно удовлетворить почти все потребности.

Например:

«Alt-Q» – нечто вроде блокнота, позволяющего делать записи. Для каждой записи ставится дата и время создания. Выглядит это примерно так:

03.06.01 02:54:00
выбросить вконец испорченный и
купить новый диск


03.06.01 02:53:44
восстановить данные после форматирования

03.06.01 02:53:23
отформатировать диск

А сам макрос вот (требуется плагин Date-n-Time):

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\AltQ]
"Sequence"="ShiftF4 c : BackSlash n o t e b o o k . t m p
            Enter CtrlHome F11 D T 0 % d . % m . % y Down
            Down Down Space Enter Space
            F11 D T 0 % H : % M : % S
            Down Down Down Space Enter Enter Enter Up"
"DisableOutput"=dword:00000001
"Description"="Блокнот"

«Ctrl-Enter» – в редакторе используется для дублирования текущей строки. Уже не помню, с какого редактора это повелось, но эту функцию я просто обожаю и использую где можно и где нельзя:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\CtrlEnter]
"Sequence"="Home ShiftDown CtrlIns ShiftIns ShiftIns Up Up"
"DisableOutput"=dword:00000001
"Description"="Удвоить строку"

«Ctrl-,» – вам никогда не приходилось вызывать explorer из Far’а? У меня иногда возникает такая необходимость. Причем чаще всего нужно, чтобы explorer сразу попал в текущий каталог. Вот этим и занимается следующий макрос (заметьте, что опять используется «Ctrl-,», но теперь уже в панелях):

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Shell\Ctrl,]
"Sequence"="CtrlG e x p l o r e r Space . Enter"
"DisableOutput"=dword:00000001
"Description"="Вызов проводника в текущем каталоге"

Рутине – нет!

Пожалуй, пора и закругляться. Напоследок хочу еще отметить одно применение для макросов. Скажем, имеется файл вида:

слово 1
слово 2
слово 3
слово 4
слово 5
слово 6
...

А надо получить файл:

слово 1 слово 3
слово 4 слово 6
...

Как видим, некоторые слова удаляются, некоторые объединяются в одну строку. Разумеется, если первый файл состоит из 100000 строк, то без программы не обойтись. Если же в нем 100 строк, то быстрее окажется создать макрос!

Макрос временно будет «повешен» на любую свободную клавишу, например, на «Ctrl-R»:

REGEDIT4


[HKEY_CURRENT_USER\Software\Far\KeyMacros\Editor\CtrlR]
"Sequence"="End Enter CtrlY CtrlY BS Space Home Down"
"DisableOutput"=dword:00000001

Теперь, после создания макроса, установите курсор на первую строку и нажмите «Ctrl-R»:

слово1 слово3
слово4
слово5
слово6
слово7
...

Теперь еще разок «Ctrl-R»:

слово1 слово3
слово4 слово6
слово7
...

То, что надо! А теперь финал – нажмите «Ctrl-R» и не отпускайте. Текст в редакторе начнет форматироваться так, как и было заказано.

Кстати, макрос был написан достаточно аккуратно, и если вы на самой последней строке лишний раз нажмете «Ctrl-R», то ничего не случится. Эффект «последней строки» обязательно надо учитывать при написании такого рода макрокоманд.

Не забудьте удалить макрос после использования, чтобы не удивляться на следующий день, неожиданному форматированию исходников вашей программы при случайном нажатии «Ctrl-R».

Заключение

Макросы, как и плагины, существенно расширяют возможности Far’а. Если вы хотите работать комфортно, то они вам обязательно пригодятся. В моей коллекции есть еще десятка два макросов, однако они уже настолько специфичны, что приводить их я не рискнул. Те же макросы, которые были упомянуты в данной записке, вы можете скачать одним zip-файлом. Рад был помочь.