DITECH 2023 Pinoy Deep Tagalog GPT demo
23 Apr 2023
DITECH 2023
My project was selected for this exhibition due to its relevance to the preservation and revitalization of traditional languages.
This is some example text produced by the Pico Almario model mentioned in the poster.
Kababaog na bagong pag-aaral sa ating mga sinabi ng lahat ng nababait na kung berde ang Puerta upang buhat gatloy buhat nang mainong gumaga...
ano kaya dahil sa mga kausap, nakarami na suot ang binata ng bapor.
Para sa inyo ang saging at naisip ko. Dalawan mang ako bra, ibigay kung ma gaya ng wala!"
Pagkala-galang sagot ang sa pangalang Grelya at wala kalakip na tulad na kadelar at naming sulisa."
"kahit na babae lamang ang mga yanto o." dalaga bagay-bagay kaysa rin!
Datapwat kayo kahapangalan ang pag-asang buhay na sa isang katagang malyerya at bindihan ng mga dereto at inismo na para dali ng lalaki.
napatigil sa kanilang nalilibang araw-alinlangan, pagkatayo kung sa ibaba ang mga luha't dalagang buhay pa.
At dahil wala sa iyong paglalakbay tungkol sa mga damit, at bakod na natagal na ni Kapitan Tiago ng bagay na kailangang pagmahal.
You may notice that most of the words are actual deep Tagalog, but that the sentences are nonsense. Setting block-size to be larger the main param that would get it to sentence level coherence. It would also take substantially more training time. A single book may also be too short to provide enough training data.
Note: this is a long way from an LLM. All this GPT does is produce deep-Tagalog looking sentences.
Many thanks to the organizers at DITECH for the chance to share our Pinoy GPT side project!