ၶေႃႈၵႅမ်မိုဝ်းၶေႃႈမုၼ်း
Task: Tokenization
Dictionary base
တူဝ်ယၢင်ႇ ၶေႃႈမုၼ်း: Format [csv, xlsx, json]
| Words | Pos | Abbreviation | Meaning |
|---|---|---|---|
| ၵၼၢၼ်း | n | B | numeral figure, sometimes ၶၼၢၼ်း |
| ၵႃႇပီႇတၼ်ႇ | n | E | captain of a ship, ၵွၼ်းႁိူဝ်း |
| ၵႃႇယႃႉၵမ်ႇ | n | P | act performed by the body (to oneself or to another), ၵမ်ႇတူဝ်ႁဝ်း |
| ၵႃႈမီး | adj. & adv | all, as much as there is, all that is there |
ML, DL base
တူဝ်ယၢင်ႇ ၶေႃႈမုၼ်း: Format [txt, csv, xlsx, docs, indd, json, …any text files except .pdf]
ပေႃးတေဢဝ် ပၢႆးၵိူဝ်းလီပုတ်ႉထသႃႇသၼႃႇ မႃးတႅၵ်ႈတူၺ်းလႄႈ ၸွမ်းတီႇဢူဝ်ႇရီႇ ဢၼ်ဝႃႈ မီးသႃႇသၼႃႇၵေႃႈ မီးလိၵ်ႈလၢႆး ၼႆၼၼ်ႉဝႃႈၸိုင် ၵူၼ်းတႆးႁဝ်း မီးလိၵ်ႈလၢႆးမႃး ၸဵမ်မိူဝ်ႈၵူၼ်းတႆးႁဝ်း တႄႇၼပ်ႉယမ် ပုတ်ႉထသႃႇသၼႃႇယဝ်ႉၼႆၼၼ်ႉ တေဢမ်ႇၽိတ်းလႆႈယူႇ။ ၼႂ်းပိုၼ်းတႆးၸဝ်ႈယၼ်ႇၾႃႉတႅမ်ႈဝႃႈ ၽြုးပဵၼ်ၸဝ်ႈပုတ်ႉထ ၽႅဝ်ႁွတ်ႈမႃးသင်ႇသွၼ် ၵူၼ်းၽီ ထိုင်မိူင်းသႄ လႄႈ မိူင်းၸေႊၾၢင်(မိူင်းမၢဝ်း)ၼႆသေ ၼႂ်းပိုၼ်းလၢဝ်း၊ ပိုၼ်းထႆးၵေႃႈ တႅမ်ႈဝႆႉတႅတ်ႈတႅတ်ႈတေႃးတေႃးဝႃႈ မိူဝ်ႈဢႃႇၼႃႇၸၢၵ်ႈ တႆးမိူင်းထႅၼ်(ၼႂ်းႁုၼ်ႊၼမ် ယၢမ်းလဵဝ်) လႆႈတႅၵ်ႇပဵၼ်သွင်ၽၢၵ်ႇ(ၶႄႇႁွင်ႉ မိူင်းယီႊၸဝ်ႈ)ၼၼ်ႉ ၶုၼ်လူင်ႁၢၼ်မိူင်း (ၶႄႇႁွင်ႉႁဵၼ်လီႊ)ၶိူဝ်းတႆးဢၢႆႈလၢဝ်း ၵိၼ်မိူင်းငၢႆး လၢဝ်းယူႇပွတ်းႁွင်ႇ လႄႈ ၶုၼ်လူင်ၸိုဝ်းမၢဝ်း(ၶႄႇႁွင်ႉ လီမဝ်ႊ)ၶိူဝ်းတႆးဢၢႆႈလၢဝ်းၵိၼ်မိူင်း ၽႃယႆး(ပေးငၢႆး)ယူႇပွတ်းၸၢၼ်းၼႆ။ ၼႂ်းပၢၼ် သွင်မိူင်းသွင်ၶုၼ် ၼႆႉၼင်ႇၵဝ်ႇ ၵူၼ်းတႆးႁဝ်း တႄႇၼပ်ႉယမ် ပုတ်ႉထသႃႇသၼႃႇ (ၼိၵၢႆးမႁႃႇယၢၼ်း) မိူဝ်ႈပီ ၶ.သ 69 (ပ.သ 612 )ၼၼ်ႉမႃးၼႆယဝ်ႉ။ ၽွင်းၼၼ်ႉ ၸုမ်းတႆး ဢၢႆႈလၢဝ်းၶိူဝ်းတႆးမိူင်း သမ်ႉပေႃး ပူၵ်းတင်ႈလႆႈ ဢႃႇၼႃႇၸၢၵ်ႈ ၵဵင်းသႅၼ်(မိူင်းယူၼ်း)ႁိုင်လၢႆပၢၵ်ႇပီယဝ်ႉယဝ်ႈ။ …
Task: Speech Recognization
တူဝ်ယၢင်ႇ ၶေႃႈမုၼ်း: Format audio [wav, mp3] text [txt, csv, xlsx, docs, indd, json]
| Audio | Transcript |
|---|---|
| 3 – 10 sec audio | မႂ်ႇသုင်ၵၢင်ၼႂ်ၸဝ်ႉ မိူဝ်ႉၼႆႉသူၵိၼ်ၶဝ်ႈၽၵ်းသင် |
Task: Language Modeling
တူဝ်ယၢင်ႇ ၶေႃႈမုၼ်း: Format [txt, csv, xlsx, docs, indd, json, …any text files except .pdf]
| Prompt | Answer 1 | Answer 2 |
|---|---|---|
| ၸဝ်ႈၵၢင်းသိူဝ်ပဵၼ်ၽႂ် | ၸဝ်ႈၵၢင်းသိူဝ်ပဵၼ်ၶူးမေႃတႅမ်ႈလိၵ်ႈလင်ႇၵႃႇၼႂ်းၶူးမေႃတႆးၵဝ်ႈၸဝ်ႈ၊ ၼႂ်းၵႃႈၶူးမေႃတင်းသဵင်ၵဝ်ႈၸဝ်ႈၼၼ်ႉ | ၸဝ်ႈၵၢင်းသိူဝ်ပဵၼ်ၸဝ်ႈဢၼ်တႅမ်ႈလိၵ်ႈဝႆႉၼမ်သေပိူၼ်ႈ၊ လႄႈၼႂ်းလိၵ်ႈမၼ်းၸဝ်ႈမီး လွင်ႈၵူႈမဵဝ်းꧦ ၼမ်သေပိူၼ်ႈ… "ၸဝ်ႈၵၢင်းသိူဝ်ၸိုဝ်ႈမိူဝ်ႈလဵၵ်ႉမၼ်းၸဝ်ႈႁွင်ႉဝႃႈ သႂ်သႃႇ ဢမ်ႇမီးလိၵ်ႈတီႈလႂ်လႆဢၼ်လၢတ်ႈၼေ ႁႂ်ႈႁဝ်းလႆႈႁူႉၸၢတ်ႈပၢၼ်မိူဝ်ႈလဵၵ်ႉမၼ်းၸဝ်ႈလႆႈၸႅင်ႈꧦ လႅင်းꧦ..." |
| တူဝ်မႄႈလိၵ်ႈတႆးမီးလၢႆတူဝ် | တူဝ်မႄႈလိၵ်ႈတႆးမီး 19 တူဝ် ပဵၼ် ၵ,ၶ,င … | လိၵ်ႈတႆး (IPA: /lik táj/) ဢၼ်မၵ်းမၼ်ႈၸႂ်ႉတိုဝ်းဝႆႉ ၵၢပ်ႈယၢမ်းလဵဝ်ၼႆႉပဵၼ် လိၵ်ႈတႆး'မ'ႁႃႈတူဝ် ၼႆယဝ်ႉ။ ပဵၼ်လိၵ်ႈလၢႆးငဝ်ႈၶွင်ၸၢဝ်းၶိူဝ်းတႆးသေ ၵမ်ႈၼမ်ၼမ် ၵူၼ်းၸႂ်ႉတိုဝ်းမၼ်း မီးၼႂ်းၸိုင်ႈတႆး၊ မိူင်းမၢၼ်ႊၼၼ်ႉယဝ်ႉ။ လိၵ်ႈတႆးၼႆႉ မီးဝႆႉ … |
Links
- https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/
- https://github.com/ylacombe/finetune-hf-vits
- https://www.reddit.com/r/LocalLLaMA/comments/18g9adl/finetuning_the_best_7b_llm_llm_model_gpuvram/
- https://www.mldive.com/p/how-to-fine-tune-llama-2-with-lora
- https://ai.meta.com/blog/nllb-200-high-quality-machine-translation/
- https://www.reddit.com/r/GPT3/comments/p1xf10/how_many_days_did_it_take_to_train_gpt3_is/
- https://www.sigmoid.com/blogs/gpt-3-all-you-need-to-know-about-the-ai-language-model/#:~:text=GPT%2D3%20is%20based%20on,the%20tokens%20from%20each%20data.
- https://aws.amazon.com/s3/pricing/
- https://aws.amazon.com/ec2/instance-types/g4/
Demo Links
NLLB Machine Translation:
- https://huggingface.co/spaces/NorHsangPha/nllb-1.3B-translation-demo TTS MMS:
- https://huggingface.co/spaces/NorHsangPha/TTS-MMS Shan_GPT2:
- https://huggingface.co/spaces/NorHsangPha/Shan_GPT-2_Demo N-Gram text generator:
- https://huggingface.co/spaces/NorHsangPha/N-Gram-Text_Generator-Shan