Bài toán XOR bị đứng MSE khi sử dụng MLP với hàm ReLU trên framework Neuroph.

[13520797]

Hiện tại mình đang định sử dụng MLP với hàm ReLU cho bài toán XOR bằng framework Neuroph (Java)
Tuy nhiên không rõ vì sao mà khi chạy với sigmoid thì ok, nhưng dùng ReLU và Tanh thì lại có vần đề MSE. cụ thể là với ReLU thì MSE đứng tại 0.25 và tanh thì tại 1.25. Chi tiết bài toán mình có post tại forum của framwork này.

https://sourceforge.net/p/neuroph/discussion/862858/thread/36006e43/

Cảm ơn mọi người.

[13520797]

Xác nhận là framework Neuroph có vấn đề nha các bạn. Khuyến cáo không nên sử dụng, nên chuyển sang deeplearning4j để hỗ trợ mạnh hơn nếu trên java.

[14520031]

Sao không thấy learning rate đâu hết nhỉ Việc cập nhật loss của net phụ thuộc vào nhiều yếu tố khác nhau và chỉ train 4 samples thì model khó có thể tối ưu hàm loss được, nếu lặp thêm vài lần chắc MSE sẽ đổi. Đổi activation mà ra kết quả khác nhau là do đạo hàm của mỗi hàm khác nhau dẫn đến delta w ở mỗi sample sẽ khác nhau và w sau mỗi iteration có thể khác nhau => sau bốn lần có thể khác nhau thì phải ạ.

[13520797]

Vậy sao qua deeplearning4j nó hết ?

[14520031]

Cho em xem code bên dl4j hết được không? Anh dùng code XOR trong dl4j-examples hay code tương tự này?
EDIT: Cho em xin file myMlPerceptron.nnet dùng trong code Neuroph với ạ