СеминарКак компьютер читает файлЕ.А. Еремин, Окончание. См. № 17/2006 Несколько экспериментовСогласно старой доброй школьной традиции, после изучения теоретического материала полезно для закрепления знаний попытаться применить их на практике. Предлагается не нарушать традиции и проделать несколько экспериментов, непосредственно иллюстрирующих материалы статьи. В качестве среды для экспериментов используется распространенная в образовании система программирования Delphi. Автор предполагает наличие некоторых практических навыков по работе с системой (помещение компонентов на форму, изменение их размера, установка значений свойств), а также начальное знакомство с основными операторами Паскаля. Глубоких знаний языка программирования не требуется, несмотря на неочевидность некоторых обсуждаемых в статье приемов. Эксперимент 1. Чтение файла Для более детального знакомства с процессом чтения файла посмотрим, как данное действие может программироваться в системе Delphi. Предлагается испробовать три варианта, демонстрирующие различные по степени подробности и сложности способы. В качестве общей ко всем вариантам подготовительной работы проделаем следующее. Запустим Delphi и стандартным образом создадим на автоматически сгенерированной форме Form1 несколько простых компонентов. Начнем с многострочного поля редактирования Memo1, которое предназначено для отображения прочитанного текстового файла. Для инициирования процесса чтения установим кнопку Button1. Наконец завершим подготовительную часть добавлением на форму диалога открытия файла OpenDialog1. Заметим, что данный весьма полезный для программирования обмена с диском компонент находится на вкладке Dialogs (найдите соответствующую закладку на палитре компонентов). Кроме того, данный компонент не является визуальным, так что помещаемый на форму квадратик с символической пиктограммой после запуска программы отображаться не будет, следовательно, его местоположение на форме не имеет никакого значения. Далее создадим обработчик кнопки Button1. Для этого, согласно принятым в Delphi “сокращенным” приемам работы, достаточно дважды щелкнуть по ее изображению левой кнопкой мыши. В ответ на наши действия система создаст пустое тело обработчика главного события для выбранного компонента: в данном случае Button1Click. Набираемый текст обработчика будет разный для каждого из вариантов. Вариант A. Чтение файла целиком В данном случае файл читается максимально просто — целиком. Обработчик состоит из одного оператора IF и имеет вид procedure TForm1.Button1Click(Sender: TObject); begin IF OpenDialog1.Execute THEN Memo1.Lines.LoadFromFile(OpenDialog1.FileName) end; (здесь и далее в листингах жирным шрифтом выделен набираемый текст; остальную часть программы система генерирует автоматически). Программа работает следующим образом. При нажатии кнопки Button1 для компонента OpenDialog1 вызывается метод Execute1, который рисует на экране стандартный диалог Windows и отслеживает все манипуляции пользователя по выбору файла. Оператор IF требуется потому, что человек, вообще говоря, может отменить диалог, ничего не выбрав, так что загрузка файла не потребуется. Для поддержки такой возможности метод Execute, являясь функцией, возвращает логическое значение true только тогда, когда выбор был сделан. В этом случае и производится чтение файла: для текстовых строк Lines компонента Memo1 вызывается метод LoadFromFile, который обеспечивает считывание с диска необходимого файла. Его имя передается из свойства FileName компонента OpenDialog1 в качестве параметра. В приведенном примере мы видим, что Delphi обеспечивает чтение файла по заданному имени и, строго говоря, по адресу ОЗУ (последний определяется местом хранения текста внутри компонента Memo1). Доступ к файлу выглядит совершенно “по-пользовательски”: указали имя и получили полный текст из файла; совсем как в Блокноте или любом другом текстовом редакторе. Вариант B. Чтение файла по строкам Теперь рассмотрим классический вариант чтения файла с использованием вызовов стандартных дисковых процедур. С этой целью для того же самого события Button1Click наберем более сложный обработчик. procedure TForm1.Button1Click(Sender: TObject); VAR f: TextFile; s: string; begin IF OpenDialog1.Execute THEN BEGIN AssignFile(f, OpenDialog1.FileName); Reset(f); WHILE NOT EOF(f) DO BEGIN Readln(f, s); Memo1.Lines.Add(s) END; CloseFile(f); END end; Обработчик устроен аналогично предыдущему варианту, но в данном примере расположенная после THEN условно выполняемая часть является более подробной. Она состоит из вызова нескольких стандартных функций и показывает, как раньше программировалось поэлементное (в нашем случае построчное) чтение файла. Разберем текст программы более детально. Процедура AssignFile устанавливает связь между файловой переменной f и реальным файлом на диске. В дальнейшем все дисковые операции уже будут выполняться путем обращения к этой переменной без упоминания имени файла. Затем процедурой Reset подготавливается чтение файла. Система при этом проверяет наличие указанного файла на диске и, если его находит, то инициализирует канал обмена и выделяет в ОЗУ все необходимые служебные области; в противном случае на экран выводится сообщение об ошибке и обработчик аварийно завершается. Далее следует цикл до конца файла (EOF — End Of File), который с помощью процедуры Readln построчно читает текст. Прочитанная строка заносится в переменную s, которая благодаря методу Add добавляется в Memo1. Процедура Close служит для корректного завершения работы с файлом. В случае чтения ее вызов необязателен (мы рискуем лишь напрасно оставить занятой служебную область, выделенную в ОЗУ); в случае записи без данной процедуры файл будет иметь нулевую длину, и система не сможет с ним в дальнейшем работать. На примере рассмотренного варианта мы видели типичную картину работы с файлом: он открывается (подготавливается к обмену), производится чтение и файл закрывается (происходит корректное завершение обмена). Именно в таком стиле традиционно работают с файлами программисты. Обратим внимание, что и при таком подходе никакие технические особенности не видны: все они скрыты в дисковых процедурах Reset, Read, Close и др. Вариант C. Блочное чтение файла Наконец, рассмотрим еще один вариант чтения файла. Он интересен с той точки зрения, что позволяет имитировать (именно имитировать!) чтение содержимого файла по секторам. В Паскале предусмотрены специальные процедуры для работы с блоками данных, которые рассматривают содержимое файла как последовательность байт, лишенную какого-либо конкретного содержания. Иными словами, их можно одинаковым образом применять не только к текстовым, но и к числовым, графическим и всем прочим файлам. Данный режим чтения хорошо иллюстрирует, как работает с файлами операционная система; в самом деле, при копировании файлов она не делает никакой разницы между текстовыми и музыкальными файлами. Размер блока может быть задан произвольным количеством байт, начиная от одного, но с позиций нашей статьи наиболее интересно установить его равным 512 байтам — тогда читаемый логический блок будет эквивалентен реальному сектору. Обработчик для варианта C будет следующим. procedure TForm1.Button1Click(Sender: TObject); const r = 512; {размер блока 512 байт} var f: File; buf: array[1..r] of Char; i, NumRead: Integer; begin IF OpenDialog1.Execute THEN BEGIN AssignFile(f, OpenDialog1.FileName); Reset(f,r); REPEAT FOR i := 1 to 512 DO buf[i] := CHR(0); BlockRead(f, buf, 1, NumRead); Memo1.Lines.Add(buf); {Memo1.Lines.Add("===========");} UNTIL NumRead = 0; CloseFile(f); END end; Программа во многом похожа на предыдущую, но имеет целый ряд особенностей. Во-первых, обратите внимание на то, что файловая переменная f теперь объявлена как файл, лишенный конкретного типа; его называют еще нетипизированным файлом. Во-вторых, в процедуре Reset для такого файла задается второй параметр (константа r = 512), определяющий размер блока. Наконец, в переменной buf для чтения блока организуется буфер необходимого размера. Далее в цикле Repeat производится чтение блоков. Оно начинается с очистки буфера, что оказывается полезным при чтении последнего неполного блока. Собственно чтение осуществляется с помощью специальной процедуры BlockRead, при обращении к которой указывается 4 параметра: файловая переменная, буфер для чтения, количество читаемых блоков и переменная, в которую система возвратит количество действительно прочитанных блоков. Благодаря последнему параметру удается распознать окончание цикла: когда файл закончится, в качестве значения результата будет возвращен 0. Подчеркнем, что блочное чтение является файловой процедурой, т.е. она не может выйти за пределы файла. Поэтому с ее помощью нельзя увидеть те байты последнего сектора, которые хранятся на диске после байтов, реально входящих в файл. Это единственное отличие функционирования данной программы от чтения реальных секторов. Прочитанные блоки, длина которых совпадает с длиной секторов, попадают в переменную buf и затем добавляются в компонент Memo1. Строка в фигурных скобках в приведенной программе является комментарием и компилятором игнорируется. Если же убрать скобки, то в программу вставится оператор, разделяющий двойной линией между собой текст разных секторов. Эксперимент 2. Чтение каталогов и отслеживание путей Цель данного эксперимента — научиться читать различные каталоги с тем, чтобы проверить теоретические сведения, изложенные на этапе 2, в частности, отследить логику, изображенную на рис. 6 (см. № 17). Для решения поставленной задачи создадим на форме следующие компоненты (см. рис. 9). В качестве органа ввода, в который будем набирать интересующий нас путь, добавим компонент Edit1. Для отображения информации о каталоге поместим на форму таблицу StringGrid1 (см. вкладку компонентов Additional), где количество столбцов (свойство ColCount) установим равным трем. Наконец, как и в предыдущих экспериментах, создадим пусковую кнопку Button1. Придадим окну нашего приложения эстетически приятный вид, например, такой, как на рис. 9.
Рис. 9. Вид окна программы для эксперимента 2 Теперь создадим обработчик нажатия кнопки согласно процедуре, описанной ранее в эксперименте 1, и наберем текст обработчика, добавив к нему процедуру под названием analiz для отображения информации об одной записи каталога. procedure analiz(sr: TSearchRec); var s: string; begin with Form1.StringGrid1 do begin Cells[1,RowCount-1] := sr.Name; Cells[2,RowCount-1] := IntToStr(sr.Size); s := ''; if (sr.Attr and faReadOnly) <> 0 then s := s + 'Read Only; '; if (sr.Attr and faHidden) <> 0 then s := s + 'Hidden; '; if (sr.Attr and faSysFile) <> 0 then s := s + 'System; '; if (sr.Attr and faVolumeID) <> 0 then s := s + 'Label; '; if (sr.Attr and faDirectory) <> 0 then s := s + 'DIR '; if (sr.Attr and faArchive) <> 0 then s := s + 'Archive; '; Cells[3,RowCount-1] := s; end; end; procedure TForm1.Button1Click(Sender: TObject); var sr: TSearchRec; FileAttrs: Integer; begin with StringGrid1 do begin RowCount := 1; Cells[1,0] := ''; Cells[2,0] := ''; Cells[3,0] := ''; end; FileAttrs := faAnyFile; if FindFirst(Edit1.Text, FileAttrs, sr) = 0 then begin with StringGrid1 do begin analiz(sr); while FindNext(sr) = 0 do begin RowCount := RowCount + 1; analiz(sr); end; FindClose(sr); end; end; end; Проследим за работой программы. Сначала обработчик очищает таблицу, предварительно сделав ее однострочной (заранее неизвестно, сколько именно строк потребуется). Переменной FileAttr, отвечающей за атрибуты интересующих нас файлов, присваивается значение faAnyFile, указывая тем самым, что нас интересует любой файл. Затем начинается анализ каталога. Для поиска в каталоге по шаблону в ОС, начиная с CP/M, предусмотрены две функции: FindFirst — поиск первого вхождения и FindNext — поиск следующего вхождения. Сначала применяется первая, а затем циклически вызывается вторая. Признаком того, что поиск не увенчался успехом, является возврат функциями ненулевого значения в качестве результата. При обращении к функции FindFirst задаются следующие параметры: шаблон для поиска (у нас он берется из поля ввода Edit1), атрибуты искомого файла (у нас любой) и переменная особого типа TSearchRecord, в которую будет возвращена структурированная определенным образом информация об очередном найденном объекте, удовлетворяющем шаблону. При повторном обращении, производимом с помощью функции FindNext, задание первых двух параметров становится ненужным. Итак, когда мы набрали шаблон, например, C:\*.*, т.е. любой файл с диска C:, и нажали кнопку, обработчик сперва обращается к функции FindFirst и, если поиск был успешным, о чем свидетельствует нулевое возвращаемое значение, начинает отображение каталога. Для вывода информации о полученной строке каталога в таблицу используется процедура analiz, которую мы разберем чуть позднее. После ее вызова следует циклическое обращение к функции FindNext. Если он успешен, то увеличением свойства RowCount к таблице добавляется еще одна строка и снова вызывается процедура analiz. Когда поиск станет безрезультатным, следует вызвать процедуру FindClose для завершения поиска и освобождения использовавшегося ОЗУ. Процедура analiz достаточно проста. Она обращается к полученной из каталога записи и, преобразовав содержимое ее компонентов в необходимую текстовую форму, заносит в таблицу. Текстовое поле sr.Name с именем при этом просто копируется, а sr.Size, отвечающее за размер, предварительно преобразуется из числовой формы в строковую. Несколько сложнее обстоит дело с числовым полем sr.Attr, каждый бит которого отвечает за отдельный признак (атрибут) файла. Поэтому биты последовательно выделяются с помощью операции and с соответствующей константой файлового атрибута (ниже приводится их таблица, взятая из файла помощи Delphi). Если соответствующий бит не равен 0, то файл данный статус имеет и к строковой переменной s добавляется соответствующий текст.
Таблица в особом переводе не нуждается, ибо все слова в ней компьютерно грамотному человеку известны. Видно, что все шестнадцатеричные (об основании говорит символ ‘$’) константы в ней, за исключением последней, являются степенями двойки, т.е. их двоичное значение содержит только один установленный бит; именно он и будет выделен операцией “И”. Что касается последней записи, то она, напротив, содержит единицы во всех используемых для представления атрибутов младших разрядах, так что применение такой битовой маски не повлияет ни на один из битов. Строго говоря, обо всех этих бинарных деталях можно было и не рассказывать, но подобные методы работы с битовыми полями в Паскале распространены настолько широко, что просто жаль пройти мимо… При анализе получаемых результатов советуем обратить внимание на следующие детали. Все каталоги (они помечены в таблице надписью DIR) формально имеют нулевую длину. Так сделано, чтобы их нельзя было прочитать с помощью стандартных дисковых функций. Добавим, что большинство системных файлов являются скрытыми (Hidden), т.е. при стандартных настройках не отображаются. Некоторые (например, MSDOS.SYS и каталог Program Files) при этом защищены от удаления (Read Only). Изучив имеющиеся в корневом каталоге файлы, попробуйте пройти цепочку каталогов, изображенную на рис. 6, для некоторого выбранного вами файла. Надеюсь, данный эксперимент позволит вам на практике закрепить полученные при чтении статьи теоретические знания. Эксперимент 3. Чтение логических секторов средствами Windows В последнее время в разговорной речи часто приходится слышать фразу “это отдельная песня”. Так вот, чтение сектора дискеты средствами Windows — это даже не отдельная песня, а, наверное, что-то вроде оперной арии. Проблема заключается в следующем. В любом IBM-совместимом компьютере в ROM BIOS имеется2 готовая программа чтения секторов дискеты, иначе как обеспечить загрузку с данного устройства? ОС MS-DOS, оперируя логическим секторами, производит пересчет их номеров и затем обращается к BIOS (см. описание этапов 5 и 6). Любой программе в этой ОС также разрешено напрямую читать сектора, используя BIOS. Что касается Windows, то в более новой ОС приложениям DOS ради преемственности разрешено работать с диском напрямую, но для Windows-приложений “из соображений безопасности” это запрещается. Ситуация во многом напоминает попытку наложить штраф на гражданина, который выносит из леса зеленую веточку ели, подобранную им на месте незаконной вырубки леса! Поэтому, хотя приведенная в описании этапа 6 программа превосходно работает в “досовском” окне Turbo Pascal, она безнадежно не исполняется в Delphi. Какие же средства рекомендует Windows взамен тех, которые теперь запрещены? Обращение через его штатные драйверы устройств. На первый взгляд все не так плохо: вместо попыток, близких к хакерским, обратиться к “железу” предлагается воспользоваться более удобными “цивилизованными” средствами. Но только на первый взгляд. А на второй и все последующие ситуация не столь радужная. Вместо массы доступных и проверенных временем книг классиков типа Питера Нортона — куцая, без единого примера англоязычная помощь (причем для тех, кто заранее знает точные названия требуемых ему функций!) и безбрежный хаотический Интернет3. Но и это еще не все. В разных версиях Windows обращения к драйверам осуществляются по-разному, т.е. программа для Windows 9X далеко не всегда работает в NT и наоборот! А про то, что программы, которые все же удается где-то разыскать, написаны почти всегда на Си (а не на Паскале) и существенно используют специфические библиотеки этого языка, и говорить не приходится… Введение получилось чересчур длинным, но иначе читатель не сможет по достоинству оценить ту короткую программу, которая сейчас будет предложена, а также понять, почему ему объяснили не все многочисленные параметры со значением nil, как, впрочем, и некоторые другие. Итак, для того чтобы прочитать сектор с дискеты согласно штатной философии Windows, нам предлагается открыть дискету как некий огромный файл, состоящий из последовательности секторов. Те, кто внимательно прочел статью, немедленно поймут, почему такой доступ назван в заголовке логическим. Далее остается просто позиционировать указатель файла на нужное место и читать очередные 512 байт. Плохая наглядность такого подхода будет отчетливо видна, когда используемые функции потребуют от нас задавать все величины в байтах (а не секторах!). Следовательно, подобные действия по своей сути скорее являются некоторой разновидностью блочного чтения (см. вариант C эксперимента 1), чем чтением секторов реального физического устройства. Приступим к разработке простейшего Windows-приложения в среде Delphi. Прежде всего создадим несколько визуальных компонентов для ввода и вывода информации: однострочное поле Edit1 для ввода номера логического сектора, кнопка Button1 для инициирования чтения, многострочное поле Memo1 для отображения прочитанного содержимого сектора в текстовом виде и метка Label1 для индикации количества прочитанных байт. Вариант возможного оформления окна показан на рис. 10.
Рис. 10. Вид окна программы для эксперимента 3 Примечание. Очень полезно свойство
Default кнопки установить в true, тогда после ввода
номера сектора можно будет просто нажимать Далее создаем стандартным способом обработчик кнопки Button1 и вписываем в него следующую программу. procedure TForm1.Button1Click(Sender: TObject); VAR h: THandle; buf: array [1..512] of char; nb: dword; sector, i: integer; s: string; begin sector := StrToInt(Edit1.Text); nb := 0; h := CreateFile('\\.\A:', GENERIC_READ, FILE_SHARE_READ, nil, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, 0); IF h <> INVALID_HANDLE_VALUE THEN BEGIN SetFilePointer(h, 512*sector, nil, FILE_BEGIN); ReadFile(h, buf, 512, nb, nil); CloseHandle(h); Memo1.Lines.Clear; s := ''; FOR i := 1 TO 512 DO IF buf[i]<>CHR(0) THEN s := s + buf[i]; Memo1.Lines.Add(s); END; Label1.Caption := 'Прочитано байт: '+IntToStr(nb); end; С помощью функции CreateFile устанавливается связь с дискетой. Странная запись имени дисковода A: со всевозможными дополнительными служебными символами впереди не должна вас смущать: будучи универсальной функцией, CreateFile умеет работать даже с сетевыми адресами, так что все “излишества”, видимо, есть не что иное, как “заготовки” для таких адресов. Всевозможные параметры чтения в скобках при первом знакомстве лучше принять как “научно-медицинский факт”, ибо для обсуждения их смысла и возможных значений потребуется самостоятельная статья, которую, кстати, автор писать не возьмется. Примечание. Значения с длинными английскими именами типа GENERIC_READ — это битовые флаги, о которых подробно рассказывалось в описании предыдущего эксперимента. Важным результатом выполнения функции является возвращение указателя (handle) на “файл”; с помощью значения, лежащего в переменной h, будут осуществляться все последующие дисковые операции. На случай, если дисковод “открыть не удалось”, поставлена проверка на недопустимость полученного “хандлера” (invalid в компьютерном словаре имеет значение “недопустимый, ошибочный”). Следующая функция, которая вступает в работу, называется SetFilePointer, или по-русски “установить указатель файла”. Она должна установить виртуальный указатель файла-дисковода на нужный байт, пропустив все те, которые входят в предыдущие сектора. Учитывая, что логическая нумерация секторов начинается от 0, то для вычисления смещения достаточно перемножить номер сектора и его размер — 512 байт. Теперь остается прочитать очередные 512 байт файла. Для этого используется функция ReadFile, которая сильно напоминает BlockRead (см. эксперимент 1, вариант C). Дополнительный (последний) параметр тоже установим в nil, ибо детище Microsoft в нашей задаче прекрасно обходится без него. Вот, собственно, и все — сектор, наконец, прочитан в буфер buf и можно завершить работу с дисководом с помощью функции CloseHandle. Остается вывести содержимое буфера в отображаемое на экране поле Memo1. Прежде всего оно очищается от старого содержимого с помощью метода clear. Далее в строковую переменную s заносятся все ненулевые байты; такая дополнительная обработка требуется потому, что все компоненты типа TMemo используют нулевой байт как признак окончания текста и игнорируют все последующее. Сформированная в переменной строка добавляется к отображаемому тексту. Последняя строчка обработчика отображает количество прочитанных байт: при нормальном завершении процесса чтения оно всегда равно 512. Подчеркнем, что описанная программа может быть названа приложением, т.е. настоящей программой, с огромной натяжкой. Она не производит проверку корректности вводимого номера сектора, не выводит, как это обычно делается в подобных программах, шестнадцатеричные коды байтов и, наверно, не лишена еще кое-каких недостатков. Инициативные читатели, взяв опубликованный вариант за основу, могут самостоятельно усовершенствовать его в соответствии со своими вкусами и потребностями. Стоит обязательно подчеркнуть, что приведенная программа работоспособна только в Windows NT, 2000 и XP, но в версиях 9X и ME работать не будет. Если приводимые в статье эксперименты показались вам интересными, можно обратиться к книге [10] и провести следующие дополнительные эксперименты: 5.6.1 — логический доступ к сектору дискеты; 5.6.2 — физический доступ к сектору дискеты; 5.6.3 — чтение секторов CD; 5.6.4 — форматирование дискеты; 7.10.2 — определение размера кластера; 7.10.3 — несколько экспериментов с именами файлов; 7.10.4 — изучение расположения файлов на дискете. Некоторые полезные, по мнению автора, дополнительные материалы по поводу многослойного устройства операционной системы можно также найти в статье [11]. Литература 1. Олифер В.Г., Олифер Н.А. Сетевые операционные системы. СПб.: Питер, 2002, 544 с. 2. Таненбаум Э. Современные операционные системы. СПб.: Питер, 2004, 1040 с. 3. Немет Э., Снайдер Г., Хейн Т. Руководство администратора Linux. М.: Издательский дом “Вильямс”, 2004, 880 с. 4. Гринзоу Л. Философия программирования для Windows 95/NT. СПб.: Символ-Плюс, 1997, 640 с. 5. Нортон П. ПК фирмы IBM и операционная система MS-DOS. М.: Радио и связь, 1992, 416 с. 6. Гук М. Аппаратные средства IBM PC. Энциклопедия. СПб.: Питер, 2003, 923 с. 7. Гук М. Дисковая подсистема ПК. СПб.: Питер, 2001, 336 с. 8. Джордейн Р. Справочник программиста персональных компьютеров типа IBM PC, XT, AT. М.: Финансы и статистика, 1992, 554 с. 9. Нортон П., Джордейн Р. Работа с жестким диском IBM PC. М.: Мир, 1992, 560 с. 10. Еремин Е.А. Популярные лекции об устройстве компьютера. СПб.: BHV-Петербург, 2003, 272 с. 11. Еремин Е.А. Коллективное проектирование имитатора операционной системы. / Информатика и образование, 2005, № 7, с. 85–90. |