Аксиоматический подход к колмогоровской сложности, основанный на аксиомах Блума (1967), был введен М. Алгоритмическая теория информации — это области компьютерной науки, изучающая колмогоровскую сложность и другие сложные меры для строк (или других структур данных). Сложность — характеристика, отражающая степень трудности для понимания, создания и верификации системы или элемента системы1; степень трудности понимания и решения проблемы, задачи. Сложность системы или элемента системы может быть выражена через сложность соответствующих проблем и задач их понимания, создания и верификации.
Некоторые полагают, что название «колмогоровская сложность» — это пример эффекта Матфея7. Эта таблица содержит 55 синонимов к слову «сложность», расположенных в порядке убывания оценки и частоты использования. В таблице указаны синонимы, их начальные формы, оценки пользователей и количество лайков. Частота использования основана на периодичности использования лексемы в текстах.
Теорема Хайтина о неполноте
Систему упорядоченной сложности можно понять по её свойствам (поведению) посредством моделирования и симуляции, в частности, компьютерного моделирования. Примером упорядоченной сложности является городской квартал как живой механизм, с его жителями как частями системы8. Ярким примером неупорядоченной сложности являются молекулы газа в контейнере. Некоторые предполагают, что систему неупорядоченной сложности можно сравнить с (относительной) простотой планетных орбит — последние можно предсказать, применив законы движения Ньютона.
- Первая строка имеет простое описание на естественном языке, а именно ab 32 раза, состоящее из 10 символов.
- С помощью принципа Дирихле легко показать, что для любой универсальной машины существуют алгоритмически случайные строки любой длины, однако свойство строки быть алгоритмически случайной зависит от выбора универсальной машины.
- Принцип минимальной длины сообщения в статистическом и индуктивном выводе и машинном обучении был разработан Уоллесом (англ. C. S. Wallace) и Болтоном (англ. D. M. Boulton) в 1968 году.
- Одна из таких междисциплинарных групп областей — теории реляционного порядкаангл..
Нил Джонсонангл. утверждает, что «даже среди ученых нет единого определения сложности — и это научное понятие традиционно объяснялось на конкретных примерах». В конечном итоге Джонсон принимает определение «науки о сложности», как науки, «изучающей явления, возникающие в результате взаимодействия совокупности объектов»5. Существуют некоторые другие варианты колмогоровской сложности или алгоритмической информации. Один из наиболее широко используемых основан на самоограниченных программах и в основном связывается с Л.
- Термин «сложный» часто путают с термином «запутанный».
- В таблице указаны синонимы, их начальные формы, оценки пользователей и количество лайков.
- Характеристики случаев, которые могли быть классифицированы неправильно, затем измеряются на основе «показателей трудности».
- Список дополняет основной перечень, представленный ранее.
- В теории информации алгоритмическая теория информации занимается сложностью строк данных.
Невычислимость колмогоровской сложности
Можно сказать, что упорядоченный аспект этой системы «возникает» без какой-либо «направляющей руки». Согласно энциклопедии Британника, научная теория сложности направлена на изучение таких поведенческих явлений некоторых систем, которые невозможно объяснить посредством анализа элементов этих систем. «Сложность» обычно используется для характеристики эмерджентного поведения систем2. При этом сложность поведения системы может значительно, полиномиально с высокой степенью и выше, превосходить сумму сложностей поведения входящих в систему элементов3.
Источником неупорядоченной сложности является большое количество частей в системе и отсутствие корреляции между её элементами. Первая строка имеет простое описание на естественном языке, а именно ab 32 раза, состоящее из 10 символов. Вторая строка не имеет очевидного простого описания с использованием того же набора символов, кроме собственно самой этой строки, длина которой составляет 64 символа. В алгоритмической теории информации колмогоровская сложность объекта (такого, как текст) есть мера вычислительных ресурсов, необходимых для точного определения этого объекта.
Конечно, большинство реальных систем, включая планетные орбиты, в конечном итоге становятся теоретически непредсказуемыми даже с использованием ньютоновской динамики, как обнаружено современной теорией хаоса. Можно показать12, что колмогоровская сложность результата работы марковского источника информации связана с его энтропией. Более точно, колмогоровская сложность результата работы марковского источника информации, нормализованная на длины результата, сходится почти всегда к энтропии источника. Упорядоченная сложность, с точки зрения Уивера, заключается в неслучайном или коррелированном взаимодействии между частями. Эти коррелированные взаимодействия создают скоординированную структуру, которая как система может взаимодействовать с другими системами. Скоординированная система проявляет свойства, не характерные для её частей.
Карта слов и выражений русского языка
Одна из таких междисциплинарных групп областей — теории реляционного порядкаангл.. Уивер решал эту проблему тем, что проводил различие между неупорядоченной и упорядоченной сложностью. По состоянию на 2010 год используются несколько подходов к характеристике понятия сложности4.
Когда Колмогоров узнал о работе Соломоноффа, он признал его приоритет6. Несколько лет работа Соломоноффа была более известна в СССР, чем на Западе. Существует ещё одна форма сложности, которая называется иерархическойангл..
Информационная энтропия также иногда используется в теории информации как показатель сложности, но энтропия также высока, когда речь идёт не о сложности, а о случайности. В теории информации случайность не рассматривается как вид сложности и её определение сложности полезно во многих приложениях. Сложность всегда была частью нашей окружающей среды, и поэтому многие области науки имеют дело со сложными системами и явлениями. С одной стороны, то, что в какой-то степени сложно — отображение вариаций без случайности — представляет наибольший интерес, учитывая результаты, найденные в ходе исследований. Количество частей не должно быть очень большим, чтобы конкретная система имела эмерджентные свойства.
Системы
В сообществе программистов существует следствие, известное как теорема о полном использовании, утверждающая, что нет компилятора с совершенной оптимизацией по размеру. Колмогоровская сложность также известна как описательная сложность, сложность Колмогорова — Хайтина, стохастическая сложность, алгоритмическая энтропия или алгоритмическая сложность. Трудность, осложняющееобстоятельство.
Более формально, сложность строки — это длина описания этой строки на некотором универсальном языке описания. Способность сложности к изменению относительно выбора языка описания обсуждается ниже. Колмогоровская сложность любой строки не может быть более, чем на несколько байт больше, чем длина самой этой строки, так как программа сложность майнинга bitcoin может выглядеть как одна команда “напечатать строку”, где строка указана в явном виде. Строки, чья колмогоровская сложность слабо зависит от размера самой строки, не считаются сложными.
Принцип МДС является байесовским (включает априорные вероятности) и информационно-теоретическим. Уоллес и Доу (англ. D. L. Dowe) показали формальную связь между принципом МДС и алгоритмической теорией информации (или колмогоровской сложностью). По мнению Уивера, неупорядоченная сложность возникает из-за того, что конкретная система имеет очень большое количество частей. Хотя взаимодействия частей в ситуации неупорядоченной сложности можно рассматривать как в значительной степени случайные, свойства системы в целом можно понять с помощью вероятностных и статистических методов. Он дал более полное описание в своих публикациях «A Formal Theory of Inductive Inference», часть 1 и 2 в журнале «Information and Control»23, сделанных в 1964 году. В теории информации алгоритмическая теория информации занимается сложностью строк данных.
Теорема Хайтина о неполноте
• В общей сложности — принимая во внимание всё, в итоге, в сумме, в целом. В общей сложности, работы осталось еще на две недели. В общей сложности он прожил за границей семь лет.
Цепное правило для колмогоровской сложности
Согласно определению колмогоровской случайности (также алгоритмической случайности) строка называется случайной тогда и только тогда, когда она короче любой компьютерной программы, способной её воспроизвести. Чтобы сделать это определение точным, нужно зафиксировать универсальный компьютер (или универсальную машину Тьюринга), так что «компьютерная программа» будет обозначать программу для этой универсальной машины. Случайная в этом смысле строка будет «несжимаемой». С помощью принципа Дирихле легко показать, что для любой универсальной машины существуют алгоритмически случайные строки любой длины, однако свойство строки быть алгоритмически случайной зависит от выбора универсальной машины. Принцип минимальной длины сообщения в статистическом и индуктивном выводе и машинном обучении был разработан Уоллесом (англ. C. S. Wallace) и Болтоном (англ. D. M. Boulton) в 1968 году.