Тема Технології SPF Навчальний посібник Internet для користувача частина 2, НУДПСУ

3.3.2. Технології SPF

Загальні принципи

Технологія верифікації відправника "Sender Permitted From" була запропонована в 2003 році. Специфікації кілька разів змінювалися, останній варіант опублікований 11 липня 2004 року. Разом із специфікаціями мінялася і назва, так що зараз технологія називається "Sender Policy Framework".

Суть технології

- Адміністратор (власник) домена публікує дані, що описують можливі джерела електронної пошти з адресами відправника з цього домена.

- Поштовий сервер, що приймає E-mail з адресою відправника з даного домена, може зіставити реальне джерело повідомлення (IP-адреса сторони, що посилає пошту) з даними, які опублікував власник домена. Якщо IP-адреса посилаючої сторони знаходиться в списку рекомендованих, то E-mail повідомлення рекомендований приймати, інакше - не приймати.

Опубліковані власником домена дані далі називатимуться SPF-записом або SPF-політикою (оскільки власник домена фактично публікує рекомендовану їм політику поводження з E-mail залежно від IP-адреси посилаючої повідомлення сторони). Передбачалось, що безпосереднє використання поштовими службами оголошеної SPF-політики домена допоможе, щонайменше, не приймати листи з підробленою адресою доменів, які підтримали SPF.

Недоліки використання SPF у вигялді "білого списку"

Як випливає з схеми роботи SPF, E-mail повідомлення рекомендовано приймати, якщо в SPF-політиці вказано, що з даної IP-адреси можлива посилка повідомлення з зворотньою адресою відправника. Якщо ж така схема буде ким-небудь реалізована, то можливі наступні прийоми її несумлінного використовування:

- Реєстрація великого числа доменів з коректними SPF-записами які дозволяють безлімітний обсяг пошти, її безлімітне відправлення по всім можливим адресам та розсилку спаму з цих доменів. При поточних розцінках на спам-розсилки, дана схема економічно виправдана навіть при відносно невеликих об'ємах розсилки - декілька мільйонів повідомлень на новий домен (домен коштує $10-15, а розсилка - приблизно $100 за мільйон повідомлень). Окрім платних доменів 2-го рівня можуть бути також використані безкоштовні (3-го і більш рівнів).

- Використання спамерами для фальсифікації адреси відправника існуючих чужих доменів з ліберальною SPF-політикою, в якій вказано що можна проводити безлімітну розсилку.

Таким чином, приймати на віру чужу дозвільну SPF-політику ніяк не можна (особливо, якщо в ній визнаені достатньо ліберальні правила).

З другого боку, наявність оголошеної SPF-політики у відомих поштових серверів (наприклад, таких як AOL, Hotmail, Rambler або UkrNet) може сильно допомогти відрізнити "справжню" пошту цих систем від "підробленої". Отже, чужі SPF-політики доведеться використовувати вибірково (AOL використовуємо, а super-puper-spamer.da.ru - не використовуємо).

Недоліки використання SPF як "чорного списку"

Використання забороняючих SPF-політик  веде до зменшення кількості пошти, що приймається (інакше, в чому тоді полягає заборона?). Серед неприйнятої пошти обов'язково буде спам, а значить - кількість дійшовшого до одержувачів спаму зменшиться. В той же час, втрати пошти в даній схемі пересилки можливі і обов'язково будуть. Іншими словами, жорсткі SPF-політики можна використовувати, тільки якщо є абсолютна впевненість в відсутності пересилок пошти або в тому, що всі транзитні системи підтримують SPF в тому або іншому вигляді (підміна відправника, розширення SMTP-протоколу).

Проблеми продуктивності технології SPF.

Кожна перевірка SPF-запису - це як мінімум одне звернення до системи DNS, а при використовуванні допоміжних механізмів виникає додатковий обіг. Специфікація SPF явно вказує, що гранична кількість обігу при перевірці одного повідомлення не повинна перевищувати 20. При цьому,  з досвіду експлуатації RBL (які теж реалізовані поверх механізму DNS), в умовах високого завантаження поштової системи додавання кожного нового RBL-сервісу (тобто додаткового DNS-запиту на кожне повідомлення) помітно погіршує ситуацію. Великі поштові системи вимушені експлуатувати локальні копії баз даних RBL, бо додатковий DNS-обіг стає неприйнятним з точки зору навантаження. Якщо ж деякий DNS-сервер не відповідає, то це може означати зупинку проходження пошти. DNS-таймаут може складати 75-90 секунд, а таке очікування при потоці пошти в сотні повідомлень за секунду абсолютно неприйнятне. При цьому, самостійне створення системними адміністраторами всього світу локальних копій SPF-записів для всіх наявних доменів представляється абсолютно нереальним. Звичайно, дуже велика частка пошти приходить з великих поштових серверів і з великих компаній, тому DNS-запити до SPF повторюватимуться, а значить, ситуація декілька полегшиться за рахунок кешування відповідей DNS.  В той же час, при використованні специфічних механізмів, кожен новий лист може породжувати унікальне ім'я домена і відповідно - запит, який не був збережений в DNS-cache раніше.

В міру розповсюдження SPF в світі проблема кількості DNS-запитів посилюватиметься. В граничному випадку, кожне повідомлення, що приймається і відправляється, викликатиме DNS-запити до SPF-політики.  Швидка відповідь на ці запити, на великих поштових системах і у великих корпораціях, потребує установки великої кількості  додаткового апаратного забезпечення. По цій причині розповсюдження SPF-технології блокується із економічних міркувань.

На сьогоднішній день ринок анти-спам рішень є дуже насиченим і на ньому не існує явних лідерів (жоден з великих постачальників не займає більше ніж 10% ринку). Тому вибір потрібного і якісного програмного продукту є складним. При цьому, на погляд авторів, слід користуватись такими критеріями вибору як надійність, вартість, ергономічність, комплексність захисту та потребуємі ресурси  комп'ютерної системи. Виходячи з вказаних критеріїв можливо рекомендувати такі системи захисту від спаму як Agnitum Spam Terrier, та антиспамові модулі що входять до комплексних ситсем захисту Kaspersky Internet Security та Norton Internet Security.

3.3.1. Система захисту пошти від спаму Agnitum Spam Terrier

Система захисту Agnitum Spam Terrier представляє собою безкоштовну програму, розроблену компанією Agnitum Ltd., визнаному лідеру в області створення програмних засобів для захисту корпоративних і домашніх комп'ютерів.

Загальні дані

Spam Terrier від Agnitum - це потужний самонавчальний фільтр спаму для поштових клієнтів Outlook і Outlook Express. Він автоматично визначає і сортує спам, позбавляючи користувачів від необхідності вручну переглядати і відсівати непотрібні листи. Він економить час і захищає користувачів від потенційно небезпечного вмісту.

 Spam Terrier є безкоштовною і вимагає мінімальних ресурсів комп'ютера. Основні можливості Agnitum Spam Terrier включають:

• Самонавчання фільтру спаму.

• Простий у використанні інтерфейс, інтегрований в MS Outlook або MS Outlook Express.

• Проста процедура установки/знищення.

• Безкоштовність програмного продукту.

Ядром програми являється статистичний метод Байеса. Фільтр працює незалежно від протоколу передачі повідомлень, оцінюючи листи вже отримані поштовим клієнтом. Обробляється не тільки вміст кожного листа, але також і інші метадані, такі як вкладення і їх розмір, час доставки, "сміття" в HTML-форматованих повідомленнях і т.і., що робить алгоритм ще ефективнішим.

Перевага байесовського спам-фільтру Agnitum Spam Terrier полягає в тому, що він може бути навчений індивідуально для кожного користувача. Спам, який отримує користувач, часто характерний для мережевої активності і інтересів тільки даного користувача. Спамові вірогідності слів, які містяться в листах, що отримуються користувачем, унікальні для кожного користувача і можуть змінюватися з часом, завдяки коректуючому навчанню у випадках, коли фільтр невірно оцінює лист. Таким чином, байесовській фільтр визначає спамову вірогідність слів і повідомлень на основі даних, індивідуальних кожного для користувача.

В результаті точність байесовський фільтрації спаму після навчання часто перевершує фільтрацію за допомогою правил і вимагає мінімальних витрат з боку користувача.

Для кожного вхідного повідомлення Spam Terrier обчислює "спамову оцінку", від якої залежить, до якої категорії буде віднесено повідомлення - "не спам", "можливий спам", "спам". Користувач можете змінити значення порогів відповідно до вимог.

При обробці повідомлень Spam Terrier не обмежується використанням білого або чорного списків відправників (відповідно списку  дозволених та заборонених відправників). Користувачі також можуть створювати спеціальні правила, використовуючи ряд параметрів: наприклад, вміст тіла листа, вміст заголовка або тема повідомлення. Електронні адреси з адресної книги користувача автоматично додаються в список довірених відправників.

Підозрювані на приналежність до спаму листи потрапляють в спеціальну теку, яку можна проглядати у будь-який час, щоб відновити невірно визначені як спам листи. Вибравши будь-яке повідомлення в будь-якій теці і подивившись на його спамову оцінку, користувачі можуть побачити, з якою вірогідністю дане повідомлення є спамом. Таким чином користувачі можуть оцінити, як ця оцінка працює на практиці.

Самонавчальний алгоритм Spam Terrier, який навчається в постійному режимі, гарантує, що вхідні листи автоматично аналізуються детекторами програми для визначення їхньої легітимності. Підозріла пошта ізолюється для подальшого перегляду.Оскільки Spam Terrier постійно сканує нову пошту на предмет наявності спаму і оновлює свою базу даних, то точність розпізнавання постійно збільшується, а кількість помилкових спрацьовувань зменшується.

Spam Terrier вміє перевіряти на наявність спаму існуючі теки з листами. Така перевірка на вимогу очищає від спаму вказані теки гарантує чистоту поштової скриньки. Spam Terrier доступний на англійській, німецькій, іспанській, французькій і російських мовах.

Системні вимоги:

-  Підтримувані ОС: Windows 98, Me, 2000, XP;

- Апаратні ресурси: 128 Mb RAM, 300 Mhz або вище x86-совместімий CPU (AMD, Intel chip), 100 Mb дискового простору;

- Підтримувані поштові клієнти: Microsoft Outlook 2000, 2002, 2003 і 2007. Microsoft Outlook Express 5.0, 5.5, і 6.0;

- Підтримувані протоколи і програмне забезпечення: Pop3, SSL Pop3, IMAP, HTTP, Exchange.

Налаштування і навчання програми

Даний продукт дозволяє навчання за допомогою двох методів: ручного та автоматичного.  

Ручний метод навчання

Полягає у використанні кнопок Спам і Не спам (показані на рис. 3.9) ,  які з'являються після інсталяції Spam Terrier,  на панелі інструментів поштового клієнту. При отриманні спаму, слід відзначити його, натиснувши кнопку Спам. Таким чином, лист попадає на обробку фільтра.

Даний метод досить повільний, оскільки листи обробляються при отриманні. Але після закінчення деякого часу, фільтр складе статистичну базу, достатню для досить точного виявлення спаму без помилкових спрацьовувань.

Варто відзначити, що під час ручного навчання не обов'язково позначати всі вхідні повідомлення. Але позначати повідомлення, некоректно оброблені програмою, необхідно. Фільтр ставить внутрішні позначки на всі вхідні повідомлення (або "спам", або "не спам"). Тому якщо оцінка, яку він привласнює листу, вірна (тобто він виявив небажаний лист або коректно розпізнав потрібний), то лист вже виявляється правильно поміченим і не потрібно робити ніяких дій. Але якщо Spam Terrier помилився і не був виправлений, то вірогідність подібних помилок в майбутньому істотно збільшиться.

Під час навчання (особливо в самому його початку, коли зібрана статистики мало), рекомендується періодично перевіряти теку з небажаними повідомленнями і при виявленні помилково поміченого як "спам" листа, варто помітити його знову як "не спам" за допомогою кнопки Не спам на панелі інструментів.

Автоматичне навчання

Другий спосіб навчання - автоматичний. Якщо вже є достатня кількість спаму і легітимних повідомлень, можна використовувати Майстер навчання для обробки цих листів з метою накопичення фільтром статистики для бази знань. Вікно Майстер навчання показане на рис. 3.10. Щоб запустити майстер, потрібно натиснути кнопку з написом Agnitum Spam Terrier на панелі інструментів і вибрати у випадаючому меню рядок Навчання.

На першому кроці майстер запропонує додати зібрану інформацію в існуючу базу знань, або створити повністю нову базу. Після вибору дії, буде показане дерево папок серед яких варто відзначити ті, в яких знаходяться листи зі спамом. Ці повідомлення будуть оброблені фільтром з метою збору статистики за спамовими словами і їх вірогідністю для подальшої фільтрації спаму.

Наступний крок дозволяє вибрати папки з листами, що не належать до спаму. Вони будуть використані для збору статистики за повідомленнями, які вважаться ціловими.

Для створення ефективної бази даних, потрібно обробити як спам, так цільові листи. Рекомендується, щоб число листів в одній категорії не перевищувало число листів в іншій категорії більш ніж в 10 разів. Коли статистична база досить велика, цей дисбаланс не грає істотної ролі. Але для невеликої бази (для автоматичного навчання) або на першій стадії використання Spam Terrier (у разі ручного навчання) баланс між кількістю обробленого спаму і хороших листів украй важливий. Наприклад, якщо навчати фільтр, використовуючи 1000 спамових повідомлень і всього лише 10 цільових, фільтр буде відмінно "знати", що вважається спамом, але "не знати", що таке цільова пошта. Це буде причиною помилок - фільтр помилково оцінюватиме цілові листи як "спам".

Установка рівня фільтрації

Рівень фільтрації визначає наскільки "агресивний" Spam Terrier при виявленні спаму. Для  встановлення рівня фільтрації в вікні Параметри на вкладці Общие (показана на рис. 3.11), слід вибрати однин з трьох можливих рівнів фільтрації:

Високий. Забезпечує найбільш агресивну фільтрацію і мінімальну вірогідність пропуску спаму, але можливе значне число помилкових спрацьовувань (цілових повідомлень, прийнятих за спам).

Звичайний. Оптимальна фільтрація, виявляється більшість спаму з мінімальним числом помилкових спрацьовувань.

Низький. Забезпечує легкий рівень фільтрації з рідкісними помилковими спрацьовуваннями, але пропускає деякі небажані повідомлення у поштову скриньку.

Щоб чутливість фільтру краще задовольняла вимогам, можна гнучкіше управляти рівнем фільтрації, натиснувши кнопку Настройка. У новому вікні Рівень фільтрації спаму можливовстановити точне значення оцінки відповідно до якого повинен фільтруватися спам. Для цього можливо використати відповідний повзуноки.

Настройка "білого" і "чорного" списків

Основне призначення списків - автоматична корекція поведінки байесовського методу в тому випадку, якщо він видає систематичну помилку на певному виді листів. В цьому випадку можна вручну створити відповідне правило "білого" або "чорного" списку, і при одержанні чергового "важкого" листа воно буде оцінено і помічене саме відповідно до цього правила.

"Облікова" фільтрація має вищий пріоритет, ніж метод Байеса. Це означає, що якщо лист задовольняє одному із заданих правил будь-якого із списків, то воно буде оцінено саме так, як наказує правило, незалежно від оцінки Байеса. При цьому Spam Terrier автоматично помітить лист як "спам" або "не спам" залежно від цієї оцінки.

Білий і чорний списки допомагають запобігти випадковим помилковим спрацьовуванням системи.  

Правила білого списку призначені для тих листів, які не являються спамом. Будь-яке повідомлення, що задовольняє умовам одного з правил білого списку (наприклад, співпадає електронна адреса, IP-адреса, доменне ім'я або лист містить вказане ключове слово), буде однозначно помічено як "не спам" і завжди буде пропущено у поштову скриньку. Правила білого списку мають пріоритет над правилами чорного списку. Для вводу правил слід використати вкладку Білий список вікна Параметри.

Чорний список дозволяє створювати правила для повідомлень, які не слід отримувати. Будь-яке повідомлення, що задовольняє умовам одного з правил чорного списку (наприклад, співпадає електронна адреса, IP-адресу або доменне ім'я або лист містить вказане ключове слово), буде автоматично помічено як "спам" і переміщено в теку Спам, а Spam Terrier навчиться на цьому листі (інформація додається в базу). Для вводу правил слід використати вкладку Чорний список вікна Параметри.

Настройка і редагування обох списків абсолютно однакова. Щоб додати нове правило слід натиснути кнопку Додати. У вікні Правило слідвказати наступні параметри і умови правила:

1. Ім'я правила.

2. Виберіть поле.

За допомогою списку Виберіть поле вказується поле повідомлення, в якому винен проводиться пошук. Доступні поля:

Скрізь– сканується весь лист цілком.

Заголовок– скануються тільки службові заголовки листа.

Тема, Відправник, Одержувач, Копія, Прихована копія– сканується тільки вміст однойменних полів листа.

Тіло– сканується все тіло листа, виключаючи заголовки.

3. Виберіть умову.

За допомогою списку Виберіть умовувказується спосіб збігу вказаного тексту з вмістом вибраного поля. Для того, щоб пошук вказаного тексту виконувався з урахуванням регістра, слід ввімкнути перемикач Враховувати регістр. Доступні наступні умови збігу:

- Містить/не містить- просто шукає потрібний рядок в заданій області пошуку.

- Починається на/не починається на- перевіряє збіг шуканого рядка з початком заданої області пошуку.

- Закінчується на/не закінчується на- перевіряє збіг шуканого рядка з кінцем заданої області пошуку.

- Співпадає з/не співпадає з- перевіряє шуканий рядок на предмет повної ідентичності із заданою областю пошуку.

- Задовольняє умові/не задовольняє умові- вважає шуканий рядок регулярним виразом і перевіряє задану область пошуку на відповідність цьому виразу.

4. Вкажіть текст для пошуку у вказаному полі

Вкажіть рядок для пошуку. Це може бути як електронна адреса, так і просте ключове слово, що міститься в повідомленні, або регулярний вираз (якщо вибрана одна з умов Співпадає с/не співпадає з…).

Дані правила можна редагувати, копіювати та знищувати. Існує, також, можливість вказати адресатів і адреси із списку Контактівпоштового клієнта як довірені. Для цього на вкладці Білий список, слід вибрати Автоматично дозволяти листи від тих, кому я пишу і/або Автоматично дозволяти лист, якщо відправник в списку моїх контактіві система Spam Terrier автоматично дозволятиме повідомлення, отримані з цих адрес.

Таким чином,  програма Agnitum Spam Terrier  дозволяє навіть недосдівченому користувачу достатньо просто налаштувати поштову програму для якісної фільтрації всіх вхідних листів від спаму.

З повагою ІЦ “KURSOVIKS”!