← webmarka.kz: зерттеудің барлық материалы
Лонгрид · ашық жиынтық

Тек дұрыс көрінетін мәтін: қазақ тіліне неге өз корректоры керек

kk-redkollegiya — қазақша мәтіннен көзге көрінбейтін қателерді іздейтін және аударманы орыс түпнұсқасымен салыстыратын шағын бағдарламалар жиынтығы. Бағдарламалар ештеңені үнсіз түзетпейді және автордың орнына жазбайды: тазалау журнал қалдырады, әр ескерту дәл дәйексөзімен келеді, ал шешім қазақша оқитын адамда қалады.

Жиынтықтың қажет болу себебі мынада: цифрлық әлемде қазақ мәтінінің бір ерекше қиындығы бар — сөз мінсіз көрінгенімен, басқа таңбалармен терілуі мүмкін. Көз оларды айырмайды, ал машина әрдайым айырады — сонда іздеу, сұрыптау, емле тексеру бұзылады. Төменде бұл қиындықтардың не екені, жиынтықтың олармен қалай күресетіні және нені істей алмайтыны жайлы айтылады.

2026 жылғы 14 қазанда жаңартылды · жиынтық v0.10.1 · GPL-3.0-or-later · Бұл қазақша нұсқа — қазақ тілін жетік білетін адам әлі тексермеген аударма; түзетулер қабылданады.

0«Қара сөздер» басылымының бірінде ауыстырылған «ә»
77–79 %Есенберлин сөздерін сөздік қайта кодтаудан кейін таниды
69,0 %түпнұсқамен салыстырғанда алшақтығы жоқ «жазба — жазба» жұптары
0 мыңқолданыс негізделген корпоративтік корпустағы сөздер
0үлгі глоссарийдегі жазбалар: 42-сі қолданыс бойынша шешілген

01 / 12Бұл не

Үш идея

Бұл — қазақ тіліндегі мәтіндерді тексеретін ашық бағдарламалар жиынтығы: GPL-3.0 лицензиясы, бастапқы коды GitHub-та, сипаттамасы орыс, ағылшын және қазақ тілдерінде. Атауы екі бөліктен тұрады. «kk» — ISO 639-1 стандартындағы қазақ тілінің екі әріптік коды; ол локаль идентификаторларында кездеседі, мысалы Joomla тіл бумаларындағы kk-KZ. «redkollegiya» — жиынтық үлгі етіп алған жобаның аты.

Үлгі — redkollegiya, Claude Code үшін орыс мәтінін редакциялау жүйесі. Оның идеясы қарапайым: мәтінді бірнеше бөлек кезеңнен өткізеді, әрқайсысы өз түріндегі кемшіліктерді іздейді — техникалық, мағыналық, стильдік. Қазақ мәтініне мақсатты тілге арналған өз кезеңі керек; ол осында жасалған.

Жиынтықтың құрылымында үш негізгі идея бар.

  • Дәйексөзі бар ескерту. Бағдарлама мәтінді қайта жазбайды. Ол былай хабарлайды: мынау үзінді, мынау оның ақауы, мынаған ауыстыруға болады. Түзетуді дәйексөз бойынша бөлек бағдарлама, apply.py, енгізеді, сондықтан көрші сөздерге тиіспейді.
  • Ескертулердің үш деңгейі. «» — жариялауға болмайды; «түзетілетін» — мәтінге бірден енгізіледі; «автордың қалауына қалдырылған» — мәтінге мүлде енгізілмейді. Таласты жағдай әрдайым адамға беріледі.
  • Соңғы сөз — қазақша оқитын адамда. Бағдарлама өлшеуге болатынды ұстайды; талғам, мағына және әдеп адамдарда қалады.

02 / 12Неге керек: көзге көрінбейтін қателер

Қазақ мәтінінің алты ақауы

Қазақша мәтіндегі қателер екі түрлі болады. Біреулерін көз мүлде көрмейді — бұл әріптердің ақаулары. Басқаларын көз көреді, бірақ ұзақ салыстырусыз аңғара алмайды — бұл аударманың ақаулары. Оларды ретімен қарастырайық.

1Егіздер: өз сөзіндегі бөтен әріп

кестесінде әр таңбаның өз нөмірі бар. Кирилл «а» (U+0430) мен латын «a» (U+0061) — екі түрлі таңба, бірақ бірдей сызылған. Егер «қорықса» сөзінің соңғы екі әрпі латынмен терілсе, көз ештеңе байқамайды, ал іздеу, сұрыптау және емле тексеру бірден байқайды: олар үшін бұл басқа сөз.

Анықтама: Юникод және омоглиф

«Юникод» (Unicode) атауы біртұтас әмбебап кодтауға меңзейді: «бірегей, біріккен, әмбебап». «Омоглиф» сөзі грек homós — «бірдей» және glyphḗ — «ойып жасалған таңба» сөздерінен құралған; ол сырт көрінісі басқа таңбадан айырылмайтын таңбаны білдіреді. Қауіпсіздікте дәл осындай егіздер мекенжайларды жалғандау үшін қолданылады: аты латын «а» әрпімен жазылған сайт шынайы көрінеді, ал мүлде басқа жаққа апарады.

Қазақ тілі үшін бұл әсіресе қауіпті: оның өз әріптері — ә, і, ө, ү, ұ, қ, ғ, ң, һ — көзге көрінетін егіздерге ие. Латын «i» қазақ «і» әрпіне, латын «ə» — «ә» әрпіне ұқсайды. Екінші жұп ең қауіптісі: Юникодта екі таңба да «» деп аталады, бірақ олар әртүрлі таңбалар (U+0259 және U+04D9). «Қара сөздер» кітабының бір электрондық басылымында ауыстырылған «ә» әріптері 1 085 болып шықты.

Анықтама: schwa

ə таңбасының атауы — «schwa» (орысша «шва» немесе «схва») — көне еврей жазуында қысқа анық емес дауысты дыбысты немесе дауыстының жоқтығын белгілеген белгінің атауынан шыққан. Қазір бұл сөзбен дыбыстың өзін де, оның таңбасын да атайды.

Кім кім: көз айырмайтын жұптар

қҡU+049B · U+04A1
әəU+04D9 · U+0259
ңӊU+04A3 · U+04CA
өɵU+04E9 · U+0275
іiU+0456 · U+0069
аaU+0430 · U+0061
сcU+0441 · U+0063
рpU+0440 · U+0070
Әр таңбаның Юникодта өз нөмірі бар. Сол жақта нағыз қазақ әрпі, оң жақта оның егізі; машина үшін бұл әртүрлі сөздер.

Егіздер лупасы

Мәтінді қойыңыз немесе үлгіні таңдаңыз: жиынтық қазақ әріптері болып көрінетін таңбаларды көрсетеді. Барлығы браузеріңізде есептеледі, мәтін ешқайда жіберілмейді.

0 ескерту

    Түзеткеннен кейін

    2Ескі кодтаулар: әріптер өз орнында жатпайды

    Юникод кеңінен тарағанға дейін қазақ кітаптары мен газеттері арнайы қаріптермен терілді. Мұндай қаріп қ немесе ғ әрпін басқа бір таңбаның орнына — айталық, екпінді латын әрпінің орнына — салатын. Экранда бәрі оқылатын, ал файлда бөтен кодтар жататын. Осындай PDF-тен мәтінді алсаңыз — «мектеп» орнына «ìåêòåï» аласыз.

    Жиынтық мұндай кодтауды өзі анықтап, әріптерді өз орнына қайтарады. Романның PDF-тен алынған үш томында қайта кодтаудан кейін сөздік сөздердің 77–79 пайызын таниды; одан бұрын мәтінді оқу мүмкін емес еді.

    Анықтама: кодтау

    «Код» сөзі латын codex — «діңгек, жазуға арналған ағаш тақтайша», кейін «кітап, заңдар жинағы» сөзінен шыққан. Кодтау — нөмірлерге таңбалар сәйкес келетін кесте; ескі қазақ қаріптері бөтен кестелерді өзінше пайдаланған.

    Бір файл, екі оқылым

    Файлда
    ìåêòåï
    →
    Қайта кодтаудан кейін
    мектеп
    Ескі қаріп қазақ әріптерін бөтен таңбалардың орнына салатын: экранда оқылады, ал файлда бөтен кодтар жатады.

    3Алмастырулар: әріптің орнында басқару таңбасы

    Бұдан да нашар болады. PDF-тен мәтін алғанда кейбір қазақ әріптері көрінбейтін басқару таңбаларына немесе латын әріптеріне айналады. Бір кітапта мұндай таңбалар шамамен 760 болды. 602 сөздің түзетілуін сөздік растады, тағы 154 сөз контекст бойынша шығарылды. Сөздік растамағанның бәрін жиынтық болжам деп белгілеп, адамға береді.

    Қазақ әріптері жоқ тану қабаты

    Қабатта
    жацеырыеу
    →
    Бетте
    жаңғырығу
    «Ң» «Ц» болды, «Ғ» — «Е». Мұны сөздікпен түзету мүмкін емес: беттерді қазақ моделімен қайта оқыдық.

    4Қазақ әріптерінсіз терілген мәтін

    Көпшілік қазақша орыс пернетақтасымен теріп, ерекше әріптерді қоймайды: «Қазақстан» орнына «Казакстан». Адамға түсінікті, іздеуге — жоқ. Таза мәтіндерде үйретілген символдық модель түзетуді ұсынады: өзі көрмеген кітаптарда сөздердің 90,1 пайызы бірінші талпыныста дұрыс шығады. Бірақ тұтас сөйлемдерде дұрыс ұсыныстар 69–77 пайыз, ал тиіспеген сөйлемдердің 4–13 пайызында жалған ұсыныстар кездеседі. Сондықтан ұсыныс ұсыныс күйінде қалады: оны үнсіз енгізуге болмайды.

    Әріптерді қайтару

    Сөз қазақ әріптерінсіз терілген. Модель ауыстыруды ұсынады, ал сөздік оны растайды.

    →
    Ұсыныс ұсыныс күйінде қалады: тұтас сөйлемдерде 69–77 пайыз дұрыс, сондықтан адамсыз енгізу тек қазақ әріптерінсіз терілген мәтінге ғана рұқсат.

    5Калькалар: қазақ сөзіндегі орыс қаңқасы

    Орыс тілінен аудару із қалдырады. Сөздер қазақша, ал айналым орысша: «сонымен қатар» («наряду с этим»), «аясында» («в рамках»), «атап өту» («отметить»), «жүзеге асыру» («осуществить»). 100 мың сөзге шаққанда мұндай айналымдар корпоративтік мәтіндерде 80-нен 120-ға дейін, кеңестік прозада екіден аз, классикада — бірде-бір рет кездеспейді. Бұл әрдайым қате емес: баспасөз хабарламасы жанрының өз тілі бар. Бірақ мұндай айналымдардың көптігі аударылған мәтінді әшкерелейді, жиынтық оны санайды, тыйым салмайды.

    Анықтама: калька

    Сөз француз calque — «калька, яғни мөлдір қағаз арқылы алынған көшірме» сөзінен келген. Тіл білімінде калька деп бөтен тілден бөлшектеп аударылған, бөтен құрылымы сақталған айналымды атайды.

    «сонымен қатар» айналымы, 100 мың сөзге

    Классика0
    Кеңестік проза0,9
    Қазіргі проза15,3
    Корпоративтік мәтіндер116,7
    Баспасөз хабарламасы үшін бұл жанрдың тілі, ал проза үшін — орысшадан аударма екенінің белгісі. Жиынтық мұндай айналымдарды санайды, тыйым салмайды.

    6Сандар мен атаулар аударма кезінде

    Қазақ мәтіні аударма болғанда мынадай сұрақ туады: бәрі жетті ме. Екі тілді корпоративтік арнадағы «қазақша жазба — орысша жазба» 1 516 жұбында жиынтық сандарды, күндерді және латын атауларын салыстырды. Жұптардың 69,0 пайызында алшақтық табылмады. Сандар 26 жұпта (1,7 пайыз) ажырады; мұндай қателерді — «15,8» орнына «15,3» — жиынтық блоктаушы деп санайды. Жұптардың 11,5 пайызында латын атауы немесе қысқарту жоғалған.

    Аудармадағы санды әдетте көзбен тексереді, бұл бағдарламамен салыстырудан ұзағырақ әрі сенімсізірек.

    Санды түпнұсқамен салыстыру

    Орыс түпнұсқасы
    Выручка составила 15,8 млрд тенге.
    ⇄
    Қазақша нұсқа
    Түсім 15,3 млрд теңге болды.

    PR02 блоктаушы ескертуі: сан өзгерген

    Тірі аудармашы санды кейде сөзбен жазады, сондықтан салыстырудың бес ережесінің ішінде тек осы ғана блоктаушы болып қалады.

    03 / 12Кейстер

    Іс жүзінде қалай болды

    Жиынтықпен жұмыстан жеті оқиға: не көрдік, не істедік, немен аяқталды. Толығырақ оқу үшін карточканы ашыңыз.

    Кодтау

    Абай: болмаған 1 085 «ә»

    «Қара сөздер» электрондық басылымында «ә» әрпі латын схвасы болып шықты: іздеу сөздерді таппады, сөздік оларды танымады.

    Толығырақ
    Көрдік
    U+0259 таңбасы «ә» (U+04D9) әрпінен айырылмайды, бірақ ол басқа таңба.
    Істедік
    kk_clean мен H02 ережесі схваны бүкіл мәтінде ауыстырды, әр ауыстыру журналға жазылды.
    Нәтиже
    Мәтіндегі латын «ə»: 1 085 → 0.
    Кодтау

    Есенберлин: кракозябрадан үш том

    Ескі қаріппен терілген роман файлда «мектеп» орнына «ìåêòåï» болып көрінді.

    Толығырақ
    Көрдік
    Қаріп қазақ әріптерін бөтен таңбалардың орнында сақтаған.
    Істедік
    0xB0–0xBF ұяларында қазақ әріптері бар Windows-1251 декодері.
    Нәтиже
    Оқылмайтын мәтіннің орнына сөздер 77–79 пайызы танылады.
    Аударма

    Жолда өзгерген сан

    Нәтиже туралы жазбада «15,8» қазақша нұсқада «15,3» болды, көз оны байқамады.

    Толығырақ
    Көрдік
    Абзацта бірдей сан жоғалып, қосылған.
    Істедік
    PR02 ережесі блоктаушы ескерту қояды.
    Нәтиже
    1 516 жұптың 26-сында сандар ажырайды (1,7 пайыз); оларды адам қарайды.
    Пікір

    «Торап» — «сайт» емес

    Пайдаланушылар жиынтық «санитарлық торапты» «сайтқа» ауыстыратынын хабарлады. Корпуста «торап» көбіне «түйін» дегенді білдіреді.

    Толығырақ
    Көрдік
    Глоссарийдегі тыйым екі мағынасы бар сөзге сүйенген.
    Істедік
    Тыйым алынды; глоссарий жазбасына ерекшеліктер (avoid_exclude) қосылды, «НИИ проект» сияқты атауларға ереже енді тиіспейді.
    Нәтиже
    Төрт жалған іске қосылу v0.9.0 нұсқасында жабылды.
    Сөздіктер

    Қайта оқуға тура келген сөздік

    Сөздік сканінде бірде-бір қазақ әрпі болмады: «жаңғырығу» орнына «жацеырыеу».

    Толығырақ
    Көрдік
    Тану қабаты түгелдей бүлінген.
    Істедік
    Беттер қазақ моделімен танылды, артық бас сөздер әріп моделімен сүзілді.
    Нәтиже
    Ақ тізім hunspell танымайтын 13 049 сөзге дейін өсті.
    Қолданыс

    Қолданысқа қарсы автор шешімі

    «Приложение» үшін корпус «қолданбаны» 21, «мобильді қосымшаны» 15 рет береді; автор орныққан «мобильді қосымшаны» таңдады.

    Толығырақ
    Көрдік
    Екі форма шамалас, ал жаңа сөз әрдайым орныққаннан артық емес.
    Істедік
    Author мәртебесі бар жазба екі санды да сақтайды және таңдауды түсіндіреді; «қолданба» синоним ретінде рұқсат етіледі.
    Нәтиже
    Автор шешімі корпус бойынша қайта есептегенде өшпейді.
    Әдіс

    «Үнсіз» қателескенде

    Үміткерлер кестесі «газопроводты» үнсіз деп атады: сөздіктегі «г аз құбыры» формасы корпуста жоқ.

    Толығырақ
    Көрдік
    Сөздік тану қатесін берді, ал тірі форма басқа.
    Істедік
    Тірі формалар тексерілді: «газ құбыры» 27 рет кездеседі.
    Нәтиже
    Алғашқы 50 жолдың 21-інде «үнсіздік» жалған болып шықты.

    04 / 12Не үшін және кімге

    Кім және қалай пайдаланады

    Жиынтық қазақша мәтін туатын немесе цифрлық қолдардан өтетін, ал қате қымбатқа түсетін жерде қажет. Қос тілді ортада мұндай мәтін көбіне орыс тілінен аударма ретінде туады, сонда әріптер ақауларына салыстыру ақаулары қосылады.

    • Баспасөз қызметтері мен редакциялар. Шығарар алдында мәтінді жиынтықтан өткізеді: ол көрінбейтін кемшіліктерді алады, сандар мен атауларды орыс түпнұсқасымен салыстырады және сіздің ортада қандай сөздерді қалай жазу қабылданғанын еске салады.
    • Аудармашылар. Салыстыру жоғалған сандар мен атауларды ұстайды; терминдер аудармасын бірізді етеді; айналымдарды санағыш аударманың орыс мәтініне тым ұқсайтын жерін көрсетеді.
    • Бағдарламашылар мен локализаторлар. Joomla — ашық кодты сайт басқару жүйесі, оның интерфейсін %s сияқты толтырғыштары бар жолдар бумасымен аударады (толтырғыш — бағдарлама орнына санды немесе сөзді қоятын белгі). Жоғалған толтырғыш бетті бұзады. ini профилі мұндай жоғалтуды ұстап, қате коды қайтарады, сондықтан тексеруді сайтты құрастыруға қосуға болады.
    • Зерттеушілер мен кітапханалар. Цифрланған кітаптар мен PDF-тен алынған мәтіндер кодтаумен және алмастырулармен бүлінген болады. Тазартылған тілді зерттейтін немесе модельдерді тексеретін әркімге қажет: лас мәтіндерде қорытындылар да лас.

    Қарапайым емле тексеру неге жеткіліксіз? Ол «сөз жоқ» дейді, бірақ неге екенін түсіндірмейді, ал белгісіз сөздер ағынында — есімдерде, терминдерде, жаңа сөздерде — мұндай хабар көміліп кетеді. Ол сандарды түпнұсқамен салыстырмайды және сізде жазу қалай қабылданғанын білмейді. Жиынтық сөздікті алмастырмайды, оған сүйеніп, қалғанын қосады.

    05 / 12Қалай құрылған

    Есімдері бар қабаттар

    Жиынтық бір конвейер бойына орналасқан жеті шағын бағдарламадан тұрады. Мәтін үш тексеру қабатынан өтеді; әр қабат дайын түзетулерді емес, ескертулерді береді. Содан кейін түзетілетіні мәтінге енгізіледі, ал таласты жағдай адамға беріледі.

    Бірінші қабат — гигиена (Алтынсарин). Оның міндеті — мәтінді кез келген кейінгі жұмысқа жарамды ету. kk_clean кодтауды, алмастыруларды және егіздерді түзетіп, түзетілген көшірмені және әр түзетудің журналын жазады; kk_restore қазақ әріптерін қайтаруды ұсынады; kk_lint — — басқа кемшіліктерді іздейді: латын «ə», бос жақшалар, жоғалған толтырғыштар, сөздікте жоқ сөздер.

    Анықтама: линтер

    Сөз 1970 жылдардың соңында Bell Labs зертханаларында C тіліндегі бағдарламаларды тексеру үшін жазылған lint бағдарламасынан шыққан. Ағылшынша lint — «түк, мамық»: бағдарлама кодтан түктерді, киімді тазалағандай, тазалайды. Қазір линтер деп мәтіннен күмәнді жерлерді іздейтін, оны орындамайтын да, өзгертпейтін де кез келген бағдарламаны атайды.

    Екінші қабат — салыстыру (Уәлиханов). Қазақ мәтінінің орыс түпнұсқасы болса, kk_parity сандарды, күндерді, санау сөздерін («мың», «млн», «млрд») және латын атауларын салыстырады. kk_pairs мұндай жұптарды екі тілді Telegram-арнаның экспортынан жинап, онда сөздердің қалай аударылатынын айта алады.

    Үшінші қабат — терминдер (Шәкәрім). kk_usage корпус бойынша сөздің екі формасының қайсысын жазуды шешеді, ал глоссарий осы шешімдерді сақтайды. Толығырақ — келесі бөлімде.

    Анықтама: корпус және глоссарий

    «Корпус» — латын corpus, «дене» сөзінен: тіл мамандары тілді зерттеу үшін іріктелген мәтіндер жиынтығын осылай атайды. «Глоссарий» грек glôssa — «тіл, түсіндіруді қажет ететін қараңғы сөз» сөзінен шыққан: алғашында көне қолжазбалардағы түсініксіз сөздерге берілген түсіндірмелер тізімін осылай атаған, қазір — қабылданған аудармасы бар терминдер тізімі.

    Түзетулерді енгізу. Ескертулерді redkollegiya жобасындағы apply.py алады: ол әр дәйексөзді мәтіннен тауып, егер ол жалғыз болса, ауыстырады. Дәйексөзден басқа ештеңеге тиіспейді. Ескертулер деңгейлерін — блоктаушы, түзетілетін, автордың қалауына қалдырылған — ол өзі ажыратады.

    Қабаттардың есімдері. Орыс Редколлегиясында қабаттар өз кәсібінде сөзі өлшем саналатын адамдардың — Чуковскийдің, Аграновскийдің, Розенталь мен Мильчиннің — есімін иеленеді. Мұнда да сол дәстүр. Гигиена — Алтынсарин: ол 1879 жылғы «Қырғыз хрестоматиясын» (ол кезде қазақтарды «қырғыз» деп атаған) құрастырды, қазақша кирилл жазуымен басылған алғашқы кітаптардың бірі. Түпнұсқамен салыстыру — Шоқан Уәлиханов, қазақтар туралы орысша жазған ғалым: екі мәтін арасындағы тірі көпір. Терминдер — Шәкәрім: «Үш анықта» қазақша сөз болмаған жерде «атом» мен «мадда» сөздерін алады, біздің саясат дәл осы. Болашақ қабаттардың да есімдері бар: мағына мен тірі сөйлеу — Мұхтар Әуезов, оның «Абай жолы» тілі қазақ прозасының үлгісі; норма — Ахмет Байтұрсынұлы, қазақ тіл білімінің негізін салушы; машиналық жазу іздері — «Слопотрон-kk», орыс отбасынан мұраға қалған әзіл-атау.

    Мәтін үш тексеруден өтеді, ал соңғы сөз адамда қаладыҚазақшамәтінОрыс түпнұсқасыегер бар болсаАлтынсарингигиенаkk_clean · kk_restorekk_lint (линтер)Уәлихановтүпнұсқамен салыстыруkk_parity · kk_pairsсандар, күндер, атауларШәкәрімтерминдерkk_usage · глоссарийкорпус қолданысыДәйексөзі бар ескертулер: әрқайсысының өз деңгейі барБлоктаушыжариялауға болмайдықайтару коды 2Түзетілетінapply.py мәтінгедәйексөзбен енгізедіАдам шешедімәтінге енгізілмейдіқазақша оқитын адам
    Блокты басыңыз: сызбаның астында түсініктеме шығады.

    Мұндай сызбаны былай оқу керек: солдан оңға қарай мәтін жүреді, әр қадамда одан ескертулер алынады, ал адам тек соңында пайда болады. Қазақша оқитын адам бүкіл мәтінді қайта көрмейді, тек оның сөзі ең қажет жерлердің қысқа тізімін көреді.

    Алты қабат, үшеуі жұмыс істеп тұр

    Алтынсарин
    жұмыс істейді

    Алтынсарин · гигиена және типография

    Таңбалардың көрінгендей болуын қадағалайды. Орыс баламасы — Мильчин.

    kk_clean · kk_restore · kk_lint

    Уәлиханов
    жұмыс істейді

    Уәлиханов · түпнұсқамен салыстыру

    Сандар, күндер және атаулар аудармада жоғалмауы керек. Баламасы — Аграновский.

    kk_parity · kk_pairs

    Шәкәрім
    жұмыс істейді

    Шәкәрім · терминдер

    Сөзді корпус қолданысы бойынша таңдайды, ал халықаралығын — қолданыс үнсіз жерде.

    kk_usage · глоссарий

    Байтұрсынұлы
    жоспарда

    Байтұрсынұлы · норма

    Емле, тыныс белгілері, үйлесім. Баламасы — Розенталь.

    S01, P02, P05, C01 ережелері

    Әуезов
    жоспарда

    Әуезов · мағына және тірі сөйлеу

    Калькалар, сөз тәртібі, меңгеру. Баламасы — Чуковский.

    meaning-kk кезеңі

    Слопотрон-kk
    жоспарда

    Слопотрон-kk · машиналық жазу іздері

    Орыс отбасынан мұраға қалған әзіл-атау.

    ai-markers-kk кезеңі

    06 / 12Қолданыс, сән емес: жиынтық терминдермен қалай жұмыс істейді

    Жиынтық сөзді қалай таңдайды

    Қазақ тіліне жаңа ұғымдарға сөз керек, және мұнда екі азғыру кездеседі. Біреуі — әрбір бөтен ұғымға өз сөзіңді ойлап табу, орыс тіліндегі «мокроступы» («калош» орнына) туралы әзіл сияқты. Екіншісі — бөтенді талғамсыз алу. Жиынтық екеуінің арасынан өзі таңдамайды: ол қарайды.

    Анықтама: қолданыс және новояз

    «Қолданыс» (узус) — латын usus, «қолдану, әдет» сөзінен: тіл мамандары тірі сөйлеуде қалыптасқанды, ережемен белгіленгеннен ажырату үшін осылай атайды. «Новоязбен» күштеп енгізілген жаңа сөздерді атайды; бұл тіркестің өзі — Оруэллдің «1984» романындағы ағылшын newspeak сөзінің орысша калькасы.

    Мұндай көзқарас жаңа емес. Шәкәрім «Үш анықта» дәл солай пайымдайды: ұғымның қазақша аты жоқ болса, дайынын алады — «атом» мен арабша «мадда» — және неге екенін ашық айтады.

    Жиынтық ережесі: корпус қолданысы — бірінші; халықаралық сөз — қолданыс үнсіз жерде ғана. «Халықаралық форма — қазақ формасы» әр жұбы үшін бағдарлама қазақша мәтіндегі кездесулерді санайды. Егер бір форма кездесулердің кемінде 70 пайызын алса (он және одан көп кездесуде), сол жеңеді. Егер кездесу онға жетпесе, қолданыс үнсіз, және халықаралық форма алынады. Егер үлестер 30 мен 70 пайыздың арасында жатса, жағдай таласты, шешімді автор қабылдайды.

    840 мың сөздік корпустан мысалдар: «цифрлық» 98 пайыз жағдайда кездеседі, ал «сандық» — 2 пайыз; «жасанды интеллект» — 225 рет, «жасанды зерде» — бірде-бір рет. Тірі сөйлеу қазақ сөзін таңдаған жерде жиынтық соған ілеседі: «жоба» «проект» формасына қарсы кездесулердің 92 пайызын алады.

    Ереже адамға қызмет етеді, керісінше емес. Автор өз шешімін бекіте алады, ол қолданыстың үстінен тұрады. Төрт сөз халықаралық қалдырылған:

    • объект және субъект — аударылмайды: бұл халықаралық терминдер. Корпус «нысанды» артық көреді (84 пайыз), бірақ автордың шешімі маңыздырақ;
    • концепция — халықаралық сөз болып қалады. «Тұжырымдама» синоним ретінде рұқсат етіледі, бірақ міндетті емес: «концепция» негізгі ұғымды, түп негізде жатқанды білдіреді;
    • партнер — аударылмайды: сөзде ресми, іскерлік қатынас реңкі бар. «Серіктес» мағынасы жағынан әріптеске, жолдасқа, кейде досқа жақынырақ; жолдаспен жан сырын айтуға болады, партнермен — болмайды.

    Автор халықаралық сөзді емес, орныққан тіркесті таңдаған жұп та бар: «приложение» үшін негізгі жұп «мобильді қосымша» болды, ал «қолданба» синоним ретінде рұқсат етіледі. Корпуста «қолданба» жиірек кездеседі (21-ге қарсы 15), бірақ автор шешімі қолданыстан жоғары тұрады.

    Қолданыс па, халықаралық сөз бе?

    Алғашқы үлгі глоссарийдің жиырма бес жұбы. Жолақ жұптың 840 мың сөздік корпустағы кездесулері ішіндегі қазақ формасының үлесін көрсетеді.

    Ереже калькуляторы

    Әр форманың корпуста неше рет кездескенін енгізіңіз.

    Көк жолақтар — корпус қазақ формасын жақтаған, бірақ автор халықаралығын қалдырған сөздер. Таласты аймақта екі жұп жатыр: «НПЗ» — «МӨЗ» және «мобильді қосымша» — «қолданба»; олар бойынша автор «МӨЗ» пен «мобильді қосымшаны» таңдады. Нөлге жақын үш жұп — тірі сөйлеудің өзі халықаралық сөзді таңдаған жерлер: «цифрлық», «сайт», «жасанды интеллект».

    Жалпы ескертпе де бар. Корпус қолданысы — онда жазғандардың қолданысы, ал олардың арасында аудармашылар көп, сондықтан ол да бекітіп жіберуі мүмкін. Сондықтан жиынтық шешімдерді ұсыныс ретінде қолданады: жеңілген форма тіл иелерінде тіршілік етеді және атауларда тұр, сондықтан оны үнсіз ауыстыруға болмайды.

    07 / 12Нені өлшедік

    Сандар және олардың шегі

    Барлық өлшемдер автордың жеке корпустарында жасалды — кітаптар, газеттер және екі тілді корпоративтік арна; мәтіндердің өзі жарияланбайды. Сандар жиынтықтың осы мәтіндерде өзін қалай көрсеткенін білдіреді, кез келген басқа мәтінде де солай болады деп уәде бермейді.

    Ескі қаріптерді қайта кодтау

    сөздік сөздердің 77–79 пайызын таниды; бұған дейін мәтін оқылмайтын
    PDF-тен алынған романның үш томы

    Әріптерді алмастыру

    602 сөзді сөздік растады, 154 сөз контекст бойынша шығарылды
    PDF кітап, шамамен 760 таңба

    Қазақ әріптерін қайтару

    сөздердің 90,1 пайызы бірінші талпыныста дұрыс; сөйлемдерде 69–77 пайыз; тиіспеген сөйлемдердің 4–13 пайызында жалған ұсыныс
    модель көрмеген кітаптар

    Түпнұсқамен салыстыру

    жұптардың 69,0 пайызында алшақтық жоқ; сандар 1,7 пайызында ажырайды
    1 516 жұп «қазақша жазба — орысша жазба»

    Терминдер саясаты

    алғашқы 25 жұптың 20-сі қолданыс бойынша шешілген, 5-еуі автор шешімімен бекітілген
    шамамен 840 мың сөздік корпус

    Глоссарий

    63 жұп бойынша 71 жазба: 42-сі қолданыс бойынша шешілген, 26-сы автор шешімімен бекітілген, 3-еуі мәртебесіз
    шамамен 840 мың сөздік корпус

    Бұл өлшемдер тәуелсіз тексеруден өткен жоқ. Басты жетіспейтін өлшем — қазақ тілін жетік білетін адам белгілеген сөйлемдердің эталондық жиынында — әлі алда; ол туралы төменде.

    08 / 12Жиынтық нені істемейді

    Адал шектер

    Шектерді тура атау керек.

    • Жазбайды және қайта жазбайды. Жиынтық іздейді және ұсынады; дәйексөз бойынша бөлек бағдарлама түзетеді, ал таласты жағдайды адам шешеді.
    • Мағына мен стильді бағаламайды. Мағына (калькалар, сөз тәртібі, меңгеру), машиналық жазу іздері және емле бойынша кезеңдер әлі жазылмаған. Әзірге олардың орнын қазақша оқитын адам басады.
    • Латын жазуына тиіспейді. Жиынтық қазақ тілінің кирилл жазуына арналған; мәтіндегі латын сөздері өз қалпында қалады.
    • Ескі сөздікке сүйенеді. Hunspell — емле сөздік тексеруінің қозғалтқышы, оны LibreOffice, Firefox және басқа да көптеген бағдарламалар пайдаланады; ол морфологиясы күрделі тілдерге арналған, ал қазақ тілі дәл сондай. Бірақ hunspell-kk сөздігінің өзі — 2000 жылдардың соңындағы жоба, шамамен 54 мың түбір. Шағын таңдамада ол дұрыс сөздердің 14 пайызын белгісіз деп санады, бірақ әдейі бүлдірілген 11 сөздің бәрін де тапты. Оның сөзі — күдік, үкім емес.
    • Ұсынады, бірақ таңбайды. Қазақ әріптерін қайтару және глоссарий бойынша ауыстырулар ұсыныс ретінде беріледі: жалған іске қосылулар болады.
    • Адамды алмастырмайды. Жиынтықтың тәуелсіз тексеруі жоқ, қазақ тілін жетік білетін адам белгілеген сөйлемдердің эталондық жиыны әлі де жоқ.

    09 / 12Әрі қарай

    Хроника және жоспарлар

    Шығарылымдар хроникасы

    1. v0.4.0Алғашқы жария нұсқа: тазалау, әріптерді қайтару, детекторлар, жұптарды салыстыру
    2. v0.4.1–0.4.2Үш тілдегі нұсқаулықтар мен ережелер анықтамалығы
    3. v0.4.3–0.4.6Терминдер бойынша автор шешімдері: «объект», «концепция», «партнер»
    4. v0.5.0Қабаттар есім алды: Алтынсарин, Уәлиханов, Шәкәрім
    5. v0.6.0–0.7.0Кітаптар мен сканерлер: «ү» мен «ұ» түзету, жоғалған әріптер, DjVu
    6. v0.8.0Глоссарийде 42 техникалық термин
    7. v0.9.0–0.9.2Пайдаланушылар пікірі бойынша жалған іске қосылулар; «мобильді қосымша» — негізгі жұп

    Бірінші қабат — скрипттер — дайын; алда үш жұмыс бар.

    Тіл моделі бар өту кезеңдері. Төрт кезең әлі жазылған жоқ: мағына бойынша (калькалар, сөз тәртібі, меңгеру), машиналық жазу іздері бойынша, емле бойынша және терминдер бойынша. Мұнда қазақша оқитын модель керек, ал мәселе — қайсысы.

    Эталондық жиын. Жұмыс мәтіндерінен 150–300 сөйлем керек; олардағы дұрыс-бұрысты тіл иесі белгілейді. Онсыз шектерді реттеуге де, модельдерді шын салыстыруға да болмайды; бұл — басты жетіспейтін буын.

    Модельдерді таңдау. ISSAI — Назарбаев Университетінің зияткерлік жүйелер және жасанды интеллект институты — бетінде қазақ тілді модельдердің екі буыны орналасқан. KazLLM 1.0 (2024 жылғы желтоқсан) CC BY-NC лицензиясымен шығарылған, яғни коммерциялық емес пайдалануға арналған, оған Llama 3.1 үшін Meta шарттары қосылған; коммерциялық жұмыс үшін авторлардың жеке рұқсаты қажет. Жаңа Qwen3.5 Kazakh модельдері (4B, 9B және 35B-A3B) Apache 2.0 бойынша шығарылған, ол коммерциялық пайдалануға да мүмкіндік береді. Қазақша білім тесттерінде олар бастапқы Qwen3.5-тен озады: мысалы, KazMMLU-да 9B моделі 77,0-ге қарсы 83,1 береді. Мәтінді түзету бойынша тесттер олардың екеуінде де жоқ, сондықтан біздің іске жарамдылығын эталондық жиындағы өлшем ғана көрсетеді. Ол әзірге жүргізілген жоқ.

    Қалған жоспарлар қарапайымырақ: типограф-скрипт, морфологиялық талдағышты қосу, стиль профильдері — «кеңестік норма», «классикалық», «ресми», «пресс-релиз».

    10 / 12Қалай байқап көру

    Үш команда

    Репозиторий — bsakhanov/kk-redkollegiya. Сипаттама мен пайдалану нұсқаулығы орыс, ағылшын және қазақ тілдерінде бар: README және нұсқаулық. Орнату — төрт команда:

    git clone https://github.com/bsakhanov/kk-redkollegiya.git
    cd kk-redkollegiya
    pip install -r requirements.txt
    sh tests/run_tests.sh
    

    Python 3.8 немесе одан кейінгі нұсқасы қажет. hunspell-kk сөздігі бөлек командамен жүктеледі, ал apply.py redkollegiya жобасынан алынады; екі қадам да нұсқаулықта сипатталған.

    Лицензия — GPL-3.0-or-later. Нұсқалар семантикалық нұсқалау ережелері бойынша нөмірленеді; әзірге бұл 0.x, және командалық жол интерфейстері өзгеруі мүмкін.

    Қазақша оқитын кез келген адам көмектесе алады: құжаттаманы тексеру (оның қазақша нұсқасы — тіл иесі әлі тексермеген аударма), қорғалған мәтіндерсіз қате үлгілерін жіберу, глоссарийді тексеру. Ескертулер репозиторийдің Issues бөлімінде қабылданады.

    11 / 12Глоссарий

    Терминдер қарапайым тілде

    Мәтінде кездесетін терминдер. Мақаладағы асты сызылған сөзді басыңыз — анықтама сол жерде ашылады.

    Schwa
    ə таңбасының атауы — «schwa» (орысша «шва» немесе «схва») — көне еврей жазуында қысқа анық емес дауысты дыбысты немесе дауыстының жоқтығын белгілеген белгінің атауынан шыққан. Қазір бұл сөзбен дыбыстың өзін де, оның таңбасын да атайды.
    Ақ тізім
    Сөздікте жоқ болса да, тексеру қате санамайтын жоба сөздері: есімдер, терминдер, ескі сөздік танымайтын формалар.
    Блоктаушы ескерту
    Жариялауға болмайтын қате: жиынтық қайтару коды 2 бойынша аяқталады.
    Глоссарий
    «Корпус» — латын corpus, «дене» сөзінен: тіл мамандары тілді зерттеу үшін іріктелген мәтіндер жиынтығын осылай атайды. «Глоссарий» грек glôssa — «тіл, түсіндіруді қажет ететін қараңғы сөз» сөзінен шыққан: алғашында көне қолжазбалардағы түсініксіз сөздерге берілген түсіндірмелер тізімін осылай атаған, қазір — қабылданған аудармасы бар терминдер тізімі.
    Ескерту
    Күдікті жер туралы жазба: дәйексөз, ереже, ауыстыру ұсынысы және деңгей. Ескерту мәтіннің өзін өзгертпейді.
    Калька
    Сөз француз calque — «калька, яғни мөлдір қағаз арқылы алынған көшірме» сөзінен келген. Тіл білімінде калька деп бөтен тілден бөлшектеп аударылған, бөтен құрылымы сақталған айналымды атайды.
    Кодтау
    «Код» сөзі латын codex — «діңгек, жазуға арналған ағаш тақтайша», кейін «кітап, заңдар жинағы» сөзінен шыққан. Кодтау — нөмірлерге таңбалар сәйкес келетін кесте; ескі қазақ қаріптері бөтен кестелерді өзінше пайдаланған.
    Корпус
    «Корпус» — латын corpus, «дене» сөзінен: тіл мамандары тілді зерттеу үшін іріктелген мәтіндер жиынтығын осылай атайды. «Глоссарий» грек glôssa — «тіл, түсіндіруді қажет ететін қараңғы сөз» сөзінен шыққан: алғашында көне қолжазбалардағы түсініксіз сөздерге берілген түсіндірмелер тізімін осылай атаған, қазір — қабылданған аудармасы бар терминдер тізімі.
    Линтер
    Сөз 1970 жылдардың соңында Bell Labs зертханаларында C тіліндегі бағдарламаларды тексеру үшін жазылған lint бағдарламасынан шыққан. Ағылшынша lint — «түк, мамық»: бағдарлама кодтан түктерді, киімді тазалағандай, тазалайды. Қазір линтер деп мәтіннен күмәнді жерлерді іздейтін, оны орындамайтын да, өзгертпейтін де кез келген бағдарламаны атайды.
    Новояз
    «Қолданыс» (узус) — латын usus, «қолдану, әдет» сөзінен: тіл мамандары тірі сөйлеуде қалыптасқанды, ережемен белгіленгеннен ажырату үшін осылай атайды. «Новоязбен» күштеп енгізілген жаңа сөздерді атайды; бұл тіркестің өзі — Оруэллдің «1984» романындағы ағылшын newspeak сөзінің орысша калькасы.
    Омоглиф
    «Юникод» (Unicode) атауы біртұтас әмбебап кодтауға меңзейді: «бірегей, біріккен, әмбебап». «Омоглиф» сөзі грек homós — «бірдей» және glyphḗ — «ойып жасалған таңба» сөздерінен құралған; ол сырт көрінісі басқа таңбадан айырылмайтын таңбаны білдіреді. Қауіпсіздікте дәл осындай егіздер мекенжайларды жалғандау үшін қолданылады: аты латын «а» әрпімен жазылған сайт шынайы көрінеді, ал мүлде басқа жаққа апарады.
    Салыстыру
    Қазақша нұсқаны орыс түпнұсқасымен салыстыру: сандар, күндер, атаулар және терминдер сәйкес келе ме.
    Тану (OCR)
    Бағдарлама бет суретін оқып, мәтін береді. Ол қазақ әріптерін жиі шатастырады немесе жоғалтады, сондықтан танылған мәтінді тазалап, сөздікпен салыстырады.
    Юникод
    «Юникод» (Unicode) атауы біртұтас әмбебап кодтауға меңзейді: «бірегей, біріккен, әмбебап». «Омоглиф» сөзі грек homós — «бірдей» және glyphḗ — «ойып жасалған таңба» сөздерінен құралған; ол сырт көрінісі басқа таңбадан айырылмайтын таңбаны білдіреді. Қауіпсіздікте дәл осындай егіздер мекенжайларды жалғандау үшін қолданылады: аты латын «а» әрпімен жазылған сайт шынайы көрінеді, ал мүлде басқа жаққа апарады.
    Қолданыс
    «Қолданыс» (узус) — латын usus, «қолдану, әдет» сөзінен: тіл мамандары тірі сөйлеуде қалыптасқанды, ережемен белгіленгеннен ажырату үшін осылай атайды. «Новоязбен» күштеп енгізілген жаңа сөздерді атайды; бұл тіркестің өзі — Оруэллдің «1984» романындағы ағылшын newspeak сөзінің орысша калькасы.

    12 / 12Пайдаланылған дереккөздер тізімі

    Дереккөздер

    1. kk-redkollegiya — репозиторий, README және үш тілдегі пайдалану нұсқаулығы.
    2. redkollegiya — жиынтыққа үлгі болған орыс мәтінін редакциялау жүйесі.
    3. ISSAI KAZ-LLM — Назарбаев Университетінің зияткерлік жүйелер және жасанды интеллект институтының KazLLM 1.0 моделі туралы беті.
    4. issai/LLama-3.1-KazLLM-1.0-8B — модель карточкасы: лицензия, пайдалану шарттары, бағалар.
    5. issai/Qwen3.5-9B-Kazakh және issai/Qwen3.5-35B-A3B-Kazakh — жаңа модельдер карточкалары: әдіс, лицензия, бағалар.

    «Неге керек» және «Нені өлшедік» бөлімдеріндегі өлшемдер автордың жеке корпустарында жасалды; мәтіндердің өзі жарияланбайды. Этимологиялық анықтамалар жалпыға мәлім мәліметтер бойынша берілген, сөздіктерге сілтемесіз.