Tìm hiểu về mô hình đã sử dụng cho AMPad(CT thêm dấu tự động cho tiếng Việt)

[07520309]

Mình nghiên cứ về mô hình bỏ dấu tiếng Việt theo cơ chế online trong AMPad và có một số vấn đề như sau:
Chuỗi đầu vào mà em lấy làm ví dụ là: "dai hoc cong nghe thong tin.".

Trước tiên ta gõ "dai" thì chương trình(CT) chưa tự động bỏ dấu, tiếp theo gõ " hoc" ta được chuỗi "dai hoc" thì vẫn chưa có hiện tượng gì
xảy ra, tới lúc ta gõ thêm "cong " thì CT sẽ bỏ dấu từ "đại học" và ta được chuỗi như sau: "đại học cong ", tiếp theo ta gõ "nghe" thì vẫn chưa có gì, sau khi gõ " thong" thì CT sẽ bỏ dấu từ "công nghệ"....
Em xin ghi lại quá trình khi gõ chuỗi "dai hoc cong nghe thong tin." vào AMPad theo thứ tự như sau:
"dai"
"dai "
"dai hoc"
"dai hoc "
"dai hoc cong"
"đại học cong "
"đại học cong nghe"
"đại học cong nghe "
"đại học cong nghe thong"
"đại học công nghệ thong "
"đại học công nghệ thong tin"
"đại học công nghệ thông tin."

Tức là CT sẽ tách từ theo so khơp từ dài nhất, nhưng em vẫn chưa hiểu được tai sao chương trình lại chọn được từ "dai hoc"->"đại học" mà không phải là từ khác.
Các bạn quan tâm tới vấn đề này có thề giúp mình được không ạ! Cám ơn nhiều

[07520182]

Nghiên cứu file từ điển của AMPad sẽ thấy được nguyên tắc hoạt động của nó ngay
VD nhập vào chuỗi "dai hoc cong nghe thong tin"
AMP sẽ xét từ trái sang. File từ điển được bố trí như sau:

dai : dài, dai, dại, dải, đài, /the: đại thể/ky niem: đài kỷ niệm/khach: đãi khách/bac: đại bác/qua: dài quá/dong: dài dòng/cac: đài các/ban doanh: đại bản doanh/bo phan: đại bộ phận/tho: đại thọ/nhan: đại nhân/doan ket: đại đoàn kết/ac: đại ác/ly ban: đại lý bán/tu: đại từ/lam: dài lắm/dam: đái dầm/lo: đại lộ/trang: đại tràng/de: đại để/loan: Đài Loan/so: đại số/hoc y: đại học y/bieu: đại biểu/thong: dãi thông/mau: dãi màu/ngoang: dài ngoằng/dang dac: dài dằng dặc/tien: đại tiện/loai: đại loại/tuyen hinh: đài tuyền hình/ngo: đãi ngộ/doi: đại đội/da so: đại đa số/vuong: đại vương/doi truong: đại đội trưởng/ca: đại ca/mach: đại mạch/hoi: đại hội/tra: đại trà/chung: đại chúng/ta: đại tá/uy: đại úy/gia: đại gia/tuong niem: đài tưởng niệm/khai: đại khái/dau: dãi dầu/bang: đại bàng/dat: dải đất/dien: đại diện/dot: dại dột/duong: đại dương/gai: dại gái/han: dài hạn, Đại Hàn/hoc: đại học/lua: dãi lụa/nga: đại ngã/nhach: dai nhách/su quan: đại sứ quán/su: đại sứ/tai: đại tài, dái tai/tay duong: Đại Tây Dương/vang: đãi vàng/dang: dai dẳng/truyen hinh: đài truyền hình/phat thanh: đài phát thanh/truyen thanh: đài truyền thanh/ly: đại lý/

dam : đám, dám, đậm, dâm, đâm, đấm, đầm, dặm, /tham: đằm thắm/noi: dám nói/duoi: đắm đuối/tieu: đàm tiếu/luan: đàm luận/biet: dám biết/chiu: dám chịu/dat: dâm dật/ngay: dăm ngày/cheo: dầm chèo/chac: dám chắc/xin: dám xin/say: đắm say/lung: đấm lưng/cau: dăm câu/manh: đâm mạnh/hon: đậm hơn/may: đám mây/chieu: đăm chiêu/nghi: dám nghĩ/lam: dám làm/dam: đăm đăm/gio: đám giổ/sau lung: đâm sau lưng/chem: đâm chém/minh: dầm mình, đầm mình/bo: đâm bổ/ra: đâm ra/phan: đàm phán/mau: đẫm máu, đẩm máu/nat: đâm nát/duong: đảm đương/buoi: dăm buổi/len: dẫm lên/vao: đâm vào/thoai: đàm thoại/phu: dâm phụ/am: đầm ấm/ba: dăm ba/bac: đạm bạc/bao: đảm bảo/chim: đắm chìm/co: đám cỏ/cuoi: đám cưới/da: đấm đá/da: đậm đà/dang: đảm đang, dâm đãng/den: dám đến, đậm đen/dia: đầm đìa/dong: đám đông/ma: đám ma/me: đam mê/nhau: đám nhậu/nhiem: đảm nhiệm/tang: đám tang/vuong: dặm vuông/nhan: đảm nhận/

Từ "dai": có các khả năng bỏ dấu 1 từ là dài, dai, dại, dải, đài - các dấu / phía sau là từ ghép vd dai + doi = đại đội.
Ở đây ta thấy /hoc = đại học nên AMP sẽ chọn cách bỏ dấu này. Sau đó bỏ qua từ dai vì từ dai đã được bỏ dấu rồi và xét tiếp từ kế.
Cách bỏ dấu này đơn giản và khá hiệu quả trong một số trường hợp, nhưng về đại trà thì khi gặp nhiều trường hợp nhập nhằng sẽ khó xử lý và độ chính xác sử dụng thực tế là không cao.