Сколько равен один бит

Сколько равен один бит

То, что не влезает в твиттер

Один бит – сколько это?

Все просто, один бит – это количество информации, передаваемое одним бинарным сообщением, то есть одним сообщением из двух возможных. Например, ответ да/нет, 0/1 или влево/вправо.

Но не на столько просто. Важно, чтобы соблюдались два условия: третий варианта ответа невозможен и у вас до этого не было никакой информации о заданном вопросе. То есть, если вы спрашиваете у вашей новой знакомой, замужем ли она, то ее ответ почти никогда не будет содержать ровно один бит инормации. И не только потому, что кроме ответов да/нет она может ответить “не ваше дело” или “раведена”, но еще и потому что вы заранее можете оценить вероятность того, что она замужем: по ее возрасту, по поведению или по кольцу на пальце.

Хорошо, дальше все легко, два бита – это в два раза больше, чем один. Но что именно означает “в два раза больше”?

Во-первых, для простоты давайте абстрагируемся от формы ответа и будем считать, что один из двух возможных ответов всегда 0, а другой – 1: нет – 0, да – 1 или влево – 0, вправо – 1 и т. д.

Итак, двумя битами можно, например, представить информацию о маршруте, на котором есть две развикли, то есть всего четыре маршрута: дважды влево, влево-вправо, вправо-влево и дважды вправо. Нетрудно посчитать, что если маршрутов восемь, то для выбора одного из них, нужно три бита. А в общем случае, для кодирования одного из N состояний (о которых у нас нет предварительной информации), требуется log2 N бит.

На этом все. Теперь вы знаете все о том, как измеряется количество информации.

На самом деле нет. Жизнь была бы слишком простой.

Где-то в этих рассуждениях есть фундаментальная ошибка. В самом деле, посмотрите на следующие два сообщение, где каждый бит закодирован цифрами 0 и 1:

Забудьте все, что я вам сказал до этого и, основываясь только на интуиции, ответьте на вопрос, в каком сообщении больше информации.

М-да. Что же делать? Не то, чтобы предыдущее определение было полностью неверным, но оно не соответствует нашему интуитивному пониманию информации.

Интуитивно, в первом сообщении больше информации, потому что оно выглядит более случайным. А еще важнее то, что если вы захотите продиктовать обе последовательности по телефону, то в первом случае трудно придумать что-то более оптимальное, чем просто проговаривание цифр одна за другой, в то время как для передачи второго, можно просто сказать “восемнадцать раз 01”.

Может быть правильно было посчитать сколько информации в сообщении “восемнадцать раз” и добавить два? Это можно попытаться сделать: записать восемнадать в двоичной системе – 10010, а потом закодировать понятие “раз”: запишем 0, если следующие цифры – непосредственно само сообщение, и 1, если используется формулировка “N раз M”, где M – сообщение, которое предполагается повторить N раз. Саму формулировку “N раз M” запишем так: сначала N в двоичной системе, причем каждую цифру запишем дважды (00111100 вместо 0110), затем цифры 01, а затем сообщение M. Цифры числа N будем дублировать, чтобы было понятно, когда заканчивается N и начинается M, 01 будет играть роль разделителя, ведь если его пропутить, то если M начинается с двух одинаковых цифр, то будет непонятно, это окончание N или начало M.

Этот нехитрый трюк позволяет записать исходное сообщение из 18 пар 01 строкой 111000011000101, а это всего 15 бит. Правда сообщения из цифр, в которых нет повторяющихся последовательностей, придется записывать по-прежнему полностью, да еще и в придачу приписывать ко всем 0, чтобы отличить их от закодированных.

Зачем все это? Ах да, мы хотели оценить количество информации в сообщении таким образом, чтобы чтобы это больше соответствовало нашему интуитивному понятию информации. Получается в нашем исходном первом сообщении 19 бит информации, а во втором – 15. Что ж, это уже лучше. Немного смущает тот факт, что в первом сообщении мы теперь считаем один “лишний” бит, но зато наша оценка больше соответствует нашей интуиции: во втором сообщении информации меньше.

Ну как, удалось ли мне вас убедить, то такая оценка лучше, чем простой подсчет цифр?

Но нельзя сказать, что идея совсем безнадежна. Не будем ее отбрасывать, а вместо этого попробуем ее немного улучшить.

Читайте также:  Выбрать мелодию для звонка на телефон

Во-первых, смущает то, что ко всем сообщениям без повторений мы приписывам 0, а во вторых даже если повторения есть, иногда закодировав сообщение вышеописанным способом, цифр становится больше а не меньше.

Но если подумать, первый недостаток не так уж и важен при оценке очень длинных сообщений, а от второго недостатка можно избавиться, если для таких сообщений не использовать кодирование, а записывать их как есть.

Более фундаментальную проблему мы увидим, если попытаемся оценивать количество инофрмации в таких сообщениях, где нет повторений, а вместо этого угадывается другая регулярность. Например, интуиция подсказывае, что во втором сообщении меньше информации:

Потому что, опять же, если представить, что мы заходим его продиктовать по телефону, скорее всего мы скажем что-то вроде “восемь единиц, разделенных нулями, причем количество нулей увеличивается каждый раз на один, то есть один, ноль, один, два нуля, один, три нуля и т. д.”

Эта формулировка кажется длинной и запутанной, и возможно на практике некоторые предпочтут проговорить все цифры как есть, но я готов поспорить, что если бы эта последовательность состояла из миллиона цифр, то вы бы поменяли свое мнение.

Тогда можно действовать по старому плану: придумать как закодировать нулями и единицами фразы типа “N единиц, разделенных нулями. ” и т. д.

Ну а теперь, я бы хотел спросить как на счет строки 1000000000000000000000000001, но боюсь, что вы начнете в меня кидать тухлыми помидорами, ведь примеров строк с различными регуляностями бесконечно много. И даже если согласиться, что оценка, использующая то или иное кодирование, имеет некоторый смысл, она никогда не будет идиальной, потому что всегда найдется регулярность, для которой мы еще не придумали способ кодирования.

А кроме того, как быть, если одну и ту же строку можно закодировать несколькими способами?

На этот вопрос есть простой ответ, который предложил Рей Соломонофф в 1960 году.

Вместо придумывания разных способов кодирования регулярных (в каком бы то ни было смысле) строк, мы воспользуемся какой-нибудь универсальной алогритмической моделью, например универсальной машиной Тьюринга. То есть, для оценки количества информации в строке, мы выпишем все возможные описания машин Тьюринга вместе с исходными состояниями ленты такие, что при после окончании работы машины, на ленте будет записана наша исходная строка. Из всех этих описаний мы выберем самое короткое. Именно его длинну мы и возьмем за меру количества информации.

Нет? Давайте по-порядку. Универсальная машина Тьюрига – это открытие, которое сделал Тьюринг в 1936 году. Оно описано в статье под названием “О вычислимых числах с приложением к проблеме разрешимости” на 36 страницах.

В статье описывается построение машины Тьюринга, которая является универсальной в том смысле, что она выполняет не заранее заданный алгоритм, а алгоритм, который записан на ленте в качестве входных данных. Причем этот алгоритм записывается в виде описания машины Тьюрига. То есть показывается по крайней мере теоретическая возможность создания машины, которая может выполнять любой алгоритм, неизвестный заранее в момент конструирования машины.

Сегодня этим вряд ли кого-то удивишь. Все современные, и не очень, компьютеры обладают этим свойством. Вы покупаете компьютер не под конкретную задачу, а универсальный. Какую задачу он будет решать, зависит от того, какую программу вы на нем запустите. Но в 1936 году это было фундаментальное открытие. До Тьюрига все создаваемые машины проектировались для выполнения одного конеретного алгоритма.

Если вы заинтересовались, я рекомендую прочитать книгу Пецольда “Annotated Turing”, в которой подробно, абзац за абзацем, разбирается работа Тюринга 1936 года. Ну а самые стойкие могут прочитать оригинальную статью.

В любом случае, какое отношение это имеет к нашей оценке информации? Универсальная машина Тьюрига – это, по просту говоря, компьютер с бесконечной памятью. Он считывает программу, записанную в памяти (в МТ – на ленте), и выполняет ее. Входные данные берутся тоже из памяти (записаны рядом на ленте).

Так вот, для оценки количества информации в сообщении, мы выпишем все возможные программы и их входные данные, такие, что результатом работы этих программ является наше сообщение. Самую короткую их этих программ (и ее иходные данные) мы и будем считать самым лучшим представлением сообщения, а ее длинну, опять включая входные данные, – количеством информации в нем.

Читайте также:  Лучший гироскутер 10 дюймов

Естественно, перебрать все возможные программы, не так-то просто. На самом деле, дела обстоят еще хуже – это сделать в общем случае невозможно. Если вам интересен этот вопрос, я рекомендую книгу Майкла Сипсера, в которой очень понятным языком описываются техники доказательства теорем о вычислительной неразрешимости различных проблем. Но для наших целей это не так уж и важно.

В самом деле, не всегда важно знать точное количество информации в сообщении, если есть возможность ее оценивать прибилизительно или сравнивать различные сообщения “по информативности” между собой.

Но если вы думаете, что такое определение имеет слишком ограниченную сферу применения, вы совершенно правы. Настолько правы, что никто на практике им не пользуется, а вместо этого по-старинке называет количеством информации число нулей и единиц в сообщении, каким бы простым и регулярным оно ни было.

А то, что я описал, называют дискриптивной сложностью, или просто сложностью. В некоторых источниках ее еще называют сложностью Колмогорова-Хайтина, а также алгоритмической энтропией, а также другими очень умными, но мало о чем говорящими, словами.

Бит (англ. Bit) – это единица измерения количества информации, которая равна одному разряду в двоичной системе счисления. Обозначается по ГОСТ 8.417-2002. Для образования кратных единиц применяется с приставками СИ и с двоичными приставками. Перевод единицы бит: 1 бит = 0.125 байт.

Прописная кириллическая буква «М»
в кодировке ISO 8859-5 кодируется 8 битами 10111100 <displaystyle 10111100>

Бит (русское обозначение: бит; международное: bit; от англ. binary digit — двоичное число; также игра слов: англ. bit — кусочек, частица) — единица измерения количества информации. 1 бит информации — символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль).

В Российской Федерации обозначения бита, а также правила его применения и написания установлены «Положением о единицах величин, допускаемых к применению». В соответствии с данным положением бит относится к числу внесистемных единиц величин с областью применения «информационные технологии, связь» и неограниченным сроком действия [1] . Ранее обозначения бита устанавливались также в ГОСТ 8.417-2002 [2] . Для образования кратных единиц применяется с приставками СИ и с двоичными приставками.

Содержание

История [ править | править код ]

  • В 1703 году в работе «Объяснение двоичной арифметики» [3]Лейбниц пишет, что двоичная система счисления была описана китайским королём (императором) и философом по имени Фу Си, который жил более, чем за 4000 лет до Лейбница. Краткого современного англосаксонского [прояснить] названия китайский Liangyi (инь-ян («0»-«1»), китайский двоичный разряд, китайский бит) в то время пока ещё не имел. Китайский двубит — «сы-сян», образующий четыре диграммы, и китайский трибит — «ба-гуа», образующий восемь преднебесных и посленебесных триграмм, в современной англосаксонской [прояснить] терминологии собственных названий до сих пор не имеют.
  • В 1948 году Клод Шеннон впервые использовал слово «bit» для обозначения наименьшей единицы количества информации в статье «Математическая теория связи». Происхождение этого слова он приписывал Джону Тьюки, использовавшему сокращение «bit» вместо слов «binary digit» в заметке лаборатории Белла от 9 января 1947 года.

Определения и свойства [ править | править код ]

В зависимости от области применения (математика, электроника, цифровая техника, вычислительная техника, теория информации и др.), бит может определяться следующими способами:

1.1. Бит — это один разряд двоичного кода (двоичная цифра). Может принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0», «включено» или «выключено», и т. п.

1.2. Соответствует одному числовому разряду в двоичной системе счисления, принимающему значение «0» или «1» («ложь» или «истина») [4] .

2.1. Одному биту (одному двоичному разряду) соответствует один двоичный триггер (триггер, имеющий два взаимоисключающих возможных устойчивых состояния) или один разряд двоичной памяти.

Для перехода от количества возможных состояний (возможных значений) к количеству бит можно воспользоваться формулой

log 2 ⁡ ( m <displaystyle log _<2>(m> [возможных состояний] ) <displaystyle )> = n <displaystyle =n> [битов].

Следовательно, для одного двоичного разряда (триггера)

Для перехода от количества битов к количеству возможных состояний (возможных значений) можно воспользоваться формулой

Читайте также:  Как проставить нумерацию страниц в excel

I = log 2 ⁡ N = n log 2 ⁡ m , <displaystyle I=log _<2>N=nlog _<2>m,>

I <displaystyle I> — количество информации, бит; N = m n <displaystyle N=m^> — возможное количество различных сообщений (количество возможных состояний n-разрядного регистра), шт; m <displaystyle m> — количество букв в алфавите (количество возможных состояний одного разряда (триггера) регистра, в двоичной системе равно 2 («0» и «1»)), шт; n <displaystyle n> — количество букв в сообщении (количество разрядов (триггеров) в регистре), шт.

Применяется для измерения объёмов запоминающих устройств и объёмов цифровых данных.

3.1. Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода; см. информационная энтропия. Это тождественно количеству информации в ответе на вопрос, допускающий ответ «да» или «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).

3.2. Один бит равен количеству информации, получаемой в результате осуществления одного из двух равновероятных событий [5] .

3.3. Бит — двоичный логарифм вероятности равновероятных событий или сумма произведений вероятности на двоичный логарифм вероятности при равновероятных событиях; см. информационная энтропия.

Применяется для измерения информационной энтропии. Отличается от бита для измерения объёмов запоминающих устройств и объёмов цифровых данных, так как большой по объёму массив данных может иметь очень малую информационную энтропию, то есть энтропийно может быть почти пустым.

Физические реализации [ править | править код ]

В цифровой технике бит (один двоичный разряд) реализуется триггером или одним двоичным разрядом памяти.

Возможны две физические (в частности электронные) реализации бита (одного двоичного разряда):

  1. однофазный («однопроводный») бит (двоичный разряд). Используется один выход двоичного триггера. Нулевой уровень обозначает либо сигнал логического «0», либо неисправность схемы. Высокий уровень обозначает либо сигнал логической «1», либо исправность схемы. Дешевле двухфазной реализации, но менее надёжен;
  2. двухфазный (парафазный, «двухпроводный») бит (двоичный разряд). Используются оба выхода двоичного триггера. При исправной схеме один из двух уровней высокий, другой — низкий. Неисправность схемы опознаётся либо высоким уровнем на обоих проводах (на обеих фазах), либо низким уровнем на обоих проводах (на обеих фазах). Дороже однофазной реализации, но более надёжен.

В вычислительной технике и сетях передачи данных значения «0» и «1» обычно передаются различными уровнями либо напряжения, либо тока. Например, в микросхемах на основе транзисторно-транзисторной логики значение «0» представляется напряжением в диапазоне от +0 до +0,8 В, а значение «1» — напряжением в диапазоне от +2,4 до +5,0 В.

Обозначения [ править | править код ]

В вычислительной технике, особенно в документации и стандартах, слово «бит» часто применяется в значении «двоичный разряд». Например: старший бит — старший двоичный разряд байта или слова.

Использование прописной буквы «Б» для обозначения байта соответствует требованиям ГОСТ и позволяет избежать путаницы между сокращениями от «байт» и «бит». Однако, следует учитывать, что в стандарте нет сокращения для «бит», поэтому использование записи «Гб» как синонима для «Гбит» неверно.

В международном стандарте МЭК (IEC) 60027-2 2005 года [6] для применения в электротехнической и электронной областях рекомендуются обозначения:

  • «bit» для обозначения бита;
  • «o» или «B» для обозначения октета или байта. «о» — единственное указанное обозначение во французском языке.

Аналогом бита в квантовых компьютерах является кубит (q-бит; «q» от англ. quantum , квант).

Двоичные логарифмы других оснований [ править | править код ]

Замена логарифмируемого числа с 2 на e, 3, 4, 8, 10, 16, 27 и др. приводит соответственно к битовым (двоичным) эквивалентам редко употребляемых единиц нат, трит, тетрит (tetrittetral digit) (двубит), октит (octitoctal digit) (трибит), Харт (дит (ditdecimal digit), бан, децит (decitdecimal digit)), ниббл (гексадецит, четырёхбит), гептакозаит и др., равных соответственно:

1 nat = log 2 ⁡ e = 1 , 44. <displaystyle 1 < ext>=log _<2>e=1,44. > бита, 1 trit = log 2 ⁡ 3 = 1 , 58. <displaystyle 1 < ext>=log _<2>3=1,58. > бита, 1 двубит = 1 tetrit = log 2 ⁡ 4 = 2 <displaystyle 1 < ext>=log _<2>4=2> бита, 1 трибит = 1 octit = log 2 ⁡ 8 = 3 <displaystyle 1 < ext>=log _<2>8=3> бита, 1 hart ( dit, ban, decit ) = log 2 ⁡ 10 = 3 , 32. <displaystyle 1 < ext> (< ext>)=log _<2>10=3,32. > бита, 1 четырёхбит = 1 nibble ( hexadecit ) = log 2 ⁡ 16 = 4 <displaystyle 1 < ext> (< ext>)=log _<2>16=4> бита, 1 heptacosait = log 2 ⁡ 27 = 4 , 75. <displaystyle 1 < ext>=log _<2>27=4,75. > бита.

Ссылка на основную публикацию
Системная плата ecs mcp61m m3
Средняя цена по России, руб: 3 877 Общие характеристики Производитель Фирма, которая произвела данную материнскую плату. ECS Форм-фактор Форм-фактор –...
Самые популярные модели в инстаграм
К ендалл Дженнер в этом году не было среди ангелов на Victoria’s Secret Fashion Show и не зря! Мало того,...
Самодельная подставка для ноутбука с охлаждением
Всем добрый вечер! Сегодня я снова пишу в Блог а не в Бортовой Журнал машины, лишь потому, что с машиной...
Системное администрирование windows 10
Наверняка вы уже слышали, что сегодня официально выходит Windows 10 Creators Update. В этой статье мы решили быть на шаг...
Adblock detector