GROUPWORK_Fixed tanh, Finalize modules.py

p2/modules.py

@@ -169,7 +169,8 @@ class Tanh(Module):
 
     def forward(self, input):
         self.x = input
-        self.x = torch.tanh(self.x) # (self.x.exp() - self.x.mul(-1).exp()) / (self.x.exp() + self.x.mul(-1).exp())
+        # tanh = (e^x - e^(-x)) / (e^x + e^(-x))
+        self.x = (self.x.exp() - self.x.mul(-1).exp()) / (self.x.exp() + self.x.mul(-1).exp())
         return self.x
 
     def backward(self, gradwrtoutput):