Добро пожаловать, гость
:: алгоритмы  и методы :: :: олимпиадные задачи :: :: связь :: :: о сайте :: :: форум ::

Форум работает в режиме архива, только для чтения и поиска.
Архив 2004 Архив 2007 Архив 2013

 
 
Опции темы Поиск в этой теме Опции просмотра
  #11  
Старый 02.03.2010, 20:17
гость

 
Сообщений: n/a

AVI 100 метров
8-bit: 98.9%
Chi^2: 84560.4689
DW/2: 0.8588
16-bit: 93.7%
Chi^2: 31493.9199
DW/2: 0.9028

RAR
8-bit: 100.0%
Chi^2: 442.2204
DW/2: 0.9897
16-bit: 100.0%
Chi^2: 6.7374
DW/2: 0.9948

RAR с паролем
8-bit: 100.0%
Chi^2: 0.9949
DW/2: 1.0002
16-bit: 100.0%
Chi^2: 1.0009
DW/2: 0.9998

Это получилось у меня для 100 метрового AVI и его архивов.

Про хи2 наверное нужно уточнить, что должен быть не строго равен 1, а 1.2 и меньше, 0.8 например если выпадет то тоже будет хорошо (в отличие от ДВ).

Какие есть еще интересные программы и критерии?
  #12  
Старый 03.03.2010, 11:14
Новичок

Отправить личное сообщение для astramax Посмотреть профиль Найти все сообщения от astramax
 
Регистрация: 01.03.2010
Сообщений: 8

Сообщение от гость Посмотреть сообщение
Про хи2 наверное нужно уточнить, что должен быть не строго равен 1, а 1.2 и меньше, 0.8 например если выпадет то тоже будет хорошо (в отличие от ДВ).
Откуда такие значения? Для интерпретации хи2 нужно знать (1) закон распределения, на соответствие которому проверяется СВ, (2) кол-во степеней свободы, (3) уровень значимости и (4) таблицу распределения квантилей для хи-квадрат

(1) предположим, что проверяемая гипотеза звучит так "распределение СВ в исследуемой выборке подчинено равномерному закону" (хотя алгоритм программы неизвестен)
(2) 1 (если анализировать только отдельные биты), 3 (пары бит), 7 (тройки), 15 (полубайты) ...
(3) ну, скажем 1%
(4) например, здесь

В данном эксперименте мы не знаем количество классов в выборке СВ (алгоритм программы не известен - побитово, побайтово она считает или как?), значит кол-во степеней свободы тоже неизвестно. А без этого невозможно установить истинность выдвинутой гипотезы.
  #13  
Старый 03.03.2010, 13:24
гость

 
Сообщений: n/a

Сообщение от astramax Посмотреть сообщение
алгоритм программы не известен - побитово, побайтово она считает или как
побайтово и повордово =)))

Есть большая разница между практикой и академической теорвером. Например, вместо распределения Стьюдента берут плюс/минус стандартное отклонение и баста. С хи2 примерно также, какие-то площадки под квинтелями по табулированным интегралам никто не смотрит, есть простые методы, ведь единица там получается НЕСПРОСТА ?!! Работает и ладна... Предложите-ка иной лучший метод для различения простых архивов и шифрованный o:
  #14  
Старый 03.03.2010, 13:48
Новичок

Отправить личное сообщение для alexanderwdark Посмотреть профиль Найти все сообщения от alexanderwdark
 
Регистрация: 20.02.2009
Адрес: РФ
Сообщений: 3

Посмотрите здесь консольный тестер. Сыроват, но работает и нормально определяет как просто хорошо сжатые файлы с высокой энтропией, но непроходящие остальные тесты, так и слабые шифры, проходящие не все тесты.
  #15  
Старый 03.03.2010, 15:01
гость

 
Сообщений: n/a

ЭНТ программа хорошая, в исходных кодах, может быть настроена на 7-битные данные к примеру и т.д.
Есть еще DieHARD на фортране вроде и статья о нем в Вики...
А теперь вопрос, что еще стоило бы вставить в прогу persicum'а, чтобы это подкупало своей простотой и доходчивостью и помогало бы практически различать шифрованные данные от просто кодированных или сжатых? Сомневаюсь, что всякие обезьяньи тесты или вычисление знаков ПИ могло бы помочь...
  #16  
Старый 22.04.2010, 13:19
Новичок

Отправить личное сообщение для astramax Посмотреть профиль Найти все сообщения от astramax
 
Регистрация: 01.03.2010
Сообщений: 8

Вот здесь я выложил свою поделку.

Программа использует ряд тестов из набора nist. Ограничения для этой версии - размер входного файла до 5 МБ, пауза 10 сек в конце, загрубленный порог срабатывания.

Выводит 2 результата: для всего файла как единого целого (integral) и для метода "скользящего окна" (sliding window). Интересный результат на pgp-дисках: первый тест говорит, что файл открытый, а второй - что шифрованный. Сказывается наличие в криптоконтейнере открытого заголовка и хвоста.
Еще интересный результат на 7z архивах. Даже без шифрования их трудно отличить от шифрованных за счет ВЫСОЧАЙШЕЙ степени сжатия. Автор алгоритма Игорь Павлов создал архиватор по характеристикам близкий к идеальному - респект.
  #17  
Старый 09.05.2010, 12:54
_persicum_

 
Сообщений: n/a

Сообщение от astramax Посмотреть сообщение
Вот здесь
Еще интересный результат на 7z архивах. Даже без шифрования их трудно отличить от шифрованных за счет ВЫСОЧАЙШЕЙ степени сжатия. Автор алгоритма Игорь Павлов создал архиватор по характеристикам близкий к идеальному - респект.
Проверил статистику 7z. Действительно, результат в точности как у шифровок... Но я думаю врядли LZW может такое дать, очевидно игорь павлов кидает понты и просто накладывает гамму на свои архивы.

Как я уже писал, я реализовал хи2, энтропию и DW. Что еще может быть полезно с практической точки зрения, именно с практической, так как разных критериев существует вагон. См: Вики, Тестирование псевдослучайных последовательностей
 


Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра