min-co

A word is written as ROOTS | form. Before the bar is the meaning: the head root and up to two modifying roots, each with a value on its axis when needed: GOOD(=+3) (fairly good), TIME(=-2) (recently), MANY(=-5) (none at all). No value written means the value is unspecified. Each next root refines everything before it: GRAIN(=0) THING(=-5) PART(=-5) — “loose crumbs of stone” (sand).

After the bar comes the part of speech — o thing, i action, a property, e circumstance — then, for a noun, an optional role like the Esperanto suffixes -ist, -il, -aĵ, -ec: agent the one who does it or a person of that field (ART(=+5) | o agent artist), tool, result, quality; and the form labels below: SAY | i T-2 M-5 — “did not say”. Roots without an axis () take no value.

Quotes are used only for numbers, proper names and specific members of a family in Latin or international form: a species "Canis", a substance "iodine", an organ "hepar", a celestial body "Luna", a game "chess", a narrow term "enzyme". The category itself is built from roots: organ — BODY INSIDE(=+5) PART(=-2) | o, star — HEAT(=+5) ABOVE(=+5) PART(=-2) | o. If a word has a recipe, no quotes are needed.

Слово записывается как КОРНИ | форма. До черты — смысл: главный корень и до двух уточняющих, у каждого при необходимости значение его оси: GOOD(=+3) (скорее хороший), TIME(=-2) (недавно), MANY(=-5) (ни одного). Ось не написана — значение не указано. Каждый следующий корень уточняет всё, что стоит перед ним: GRAIN(=0) THING(=-5) PART(=-5) — «сыпучие крошки камня» (песок).

После черты — часть речи: o предмет, i действие, a признак, e обстоятельство, у имени — необязательная роль, как суффиксы эсперанто -ist, -il, -aĵ, -ec: agent тот, кто делает, или человек этой области (ART(=+5) | o agent художник), tool орудие, result результат, quality свойство; и метки формы ниже: SAY | i T-2 M-5 — «не сказал». Корни без оси () значений не берут.

В кавычках пишутся только числа, имена собственные и конкретные члены семейства в латинской или международной форме: вид "Canis", вещество "iodine", орган "hepar", светило "Luna", игра "chess", узкий термин "enzyme". Сама категория строится из корней: орган — BODY INSIDE(=+5) PART(=-2) | o, звезда — HEAT(=+5) ABOVE(=+5) PART(=-2) | o. Если для слова есть рецепт, кавычки не нужны.

Switch it on under the input field: every code gets a line with its pronunciation. Not checked by ear yet; the source is phonetics.yaml.

• A root is a Toki Pona word where one fits (pona GOOD, suli BIG, sona KNOW, moku CONSUME), and the word itself never changes — the head of a word is always the plain Toki Pona word. The value on its axis is a suffix of syllables that Toki Pona forbids, so it cannot be mistaken for a word: ti positive, wu negative, repeated |v| times; an explicit (=0) is a short y (Russian ы, as in Polish); nothing written means no value. Roots without an axis take no suffix (SEE lukin, DO pali, TEXT lipu).
• Examples: GOOD is pona, GOOD(=+3) is ponatititi, GOOD(=-2) is ponawuwu, GOOD(=0) is ponay.
• Word = root blocks joined with -, then ' and the vowel of the part of speech, then the role and labels after · (ul il aj ec for agent, tool, result, quality; a label is a vowel and a consonant: at T+, ad T−, an T0).
• Particles all start with h: he E, hi PI, ha LA, hu AND, hen FROM, hon FOR, hin LIKE, ho PE; hem … hom are the brackets, hum is ;. Quoted names are read in their own language.

In the Roots tab the sounds of each root show next to its name.

Включается под полем ввода: у каждого кода появляется строка с произношением. На слух ещё не проверено; источник — phonetics.yaml.

• Корень — токипонское слово, где оно подходит (pona GOOD, suli BIG, sona KNOW, moku CONSUME); само слово не меняется, голова слова — всегда обычное токипонское слово. Значение оси — суффикс из слогов, которые запрещает токипонская фонотактика, поэтому он не спутается со словом: ti — положительное, wu — отрицательное, повторённые |v| раз; явный (=0) — короткое y (ы, как в польском); ничего не названо — значения нет. У корней без оси суффикса нет (SEE — lukin, DO — pali, TEXT — lipu).
• Примеры: GOOD — pona, GOOD(=+3) — ponatititi, GOOD(=-2) — ponawuwu, GOOD(=0) — ponay.
• Слово = блоки корней через -, затем ' и гласная части речи, затем роль и метки после · (ul il aj ec — agent, tool, result, quality; метка — гласная и согласный: at — T+, ad — T−, an — T0).
• Частицы все начинаются на h: he E, hi PI, ha LA, hu AND, hen FROM, hon FOR, hin LIKE, ho PE; hem … hom — скобки, hum — ;. Имена в кавычках читаются на своём языке.

В таблице «Корни» рядом с каждым корнем показано его звучание.

Method

The main question: is meaning preserved along the chain text → code → text? The check is blind:

1. The encoder sees only the language description and the text, and writes the code.
2. The decoder, a separate instance, sees only the description and the code, and restores the text.
3. The judge (another, stronger model) sees the original and the shuffled variants and scores 0–3: 3 the same meaning, 2 the gist kept, 1 only the topic, 0 off.
4. Differences between variants come with a 95% bootstrap interval over sentences. The language is changed only if the interval excludes zero.

Results

Math without a model

The right column in “Try it” encodes a word without a language model: the word vector (ConceptNet Numberbatch) is approximated by a sum of at most three roots with integer axis values, by trying all variants. A root is a “center” (what the axis is about) plus an axis direction, built from pole words in roots.yaml. The root directions are then fitted on 70% of frequent words, with the condition that each stays close to the original (cos ≥ 0.85). Decoding: a word must be close to each root of the code separately, and hub words that are close to any code are penalized.

What it gives: on the math's own codes (2000 words of the site dictionary) the word is restored first in 46–51% of cases and in the top ten in 91–93%. But people and models hardly read the math's codes (1–3 of 24 in an earlier blind test). So it serves as an analysis tool — finding missing roots, checking axis poles, finding duplicate roots (this is how MATTER and GRAIN were merged) — not as a translator. Details: docs/math.md (in Russian).

Honest caveats

• Absolute accuracy is modest: on encyclopedic sentences the average score is about 1.2–1.4 of 3. The language carries the topic and the main relations, not the details.
• The encoder, decoder and judge are models of one family; there are no people and no other languages in the check. Two encoders per variant, 40–60 sentences, noise around ±0.3.
• The first run of the “toki” notation was inflated: the encoders inserted ordinary English words in quotes. The loophole was closed and the run repeated; the result above is after the fix.
• Roots and axes were tuned on development sets, so the final numbers come from a held-out set of fresh articles.

Protocol and scripts: scripts/eval; results: data/translation_test.

Методология

Главный вопрос: сохраняется ли смысл при цепочке текст → код → текст. Проверка слепая:

1. Кодировщик видит только описание языка и текст и пишет код.
2. Декодер — отдельный экземпляр — видит только описание и код и восстанавливает текст.
3. Судья (другая, более сильная модель) видит оригинал и перемешанные варианты и ставит 0–3: 3 тот же смысл, 2 главное сохранено, 1 только тема, 0 мимо.
4. Разницу между вариантами считаем с 95%-ным бутстреп-интервалом по предложениям. Меняем язык, только если интервал не содержит нуля.

Что получилось

Математика без модели

Правая колонка на «Пробе» кодирует слово без языковой модели: вектор слова (ConceptNet Numberbatch) приближается суммой не больше трёх корней с целыми значениями осей, перебором всех вариантов. Корень — это «центр» (о чём ось) плюс направление оси, построенные из слов-полюсов в roots.yaml. Направления корней затем подогнаны по 70% частых слов с условием, что каждый остаётся похож на исходный (cos ≥ 0,85). Раскодирование: слово должно быть близко к каждому корню кода по отдельности, а слова-хабы, близкие к любому коду, штрафуются.

Что это даёт: на собственных кодах математики (2000 слов словаря сайта) слово восстанавливается первым в 46–51% случаев и в первой десятке в 91–93%. Но люди и модели коды математики почти не читают (1–3 из 24 в прежнем слепом тесте). Поэтому она служит инструментом анализа — искать недостающие корни, проверять полюса осей, находить корни-дубли (так слиты MATTER и GRAIN), — а не переводчиком. Подробно: docs/math.md.

Честные оговорки

• Абсолютная точность невысока: на энциклопедических предложениях средняя оценка около 1,2–1,4 из 3. Язык пока передаёт тему и главные связи, но не детали.
• Кодировщик, декодер и судья — модели одной семьи; людей и других языков в проверке нет. Кодировщиков по два на вариант, предложений 40–60, шум порядка ±0,3.
• Первый прогон записи «токи» оказался раздутым: кодировщики вставляли обычные английские слова в кавычках. Лазейку закрыли и повторили, результат выше — после исправления.
• Корни и оси подбирались на настроечных наборах; поэтому итоговые цифры берём с отложенного набора свежих статей.

Протокол и скрипты: scripts/eval; результаты: data/translation_test.