Blog

9. August 2019

How to efficiently propagate activations in a massive neural network

An event-driven approach

In traditional neural networks using the sigmoid activation function, all neurons are more or less activated. There is no clear case of an inactive neuron here. ...

3. August 2019

On adding negative feedback synapses to a neural network

The missing link in deep neural networks

The special thing about adding negative recurrent synapses to a neural network is that they introduce inner states within the network. ...

9. December 2018

On integrating symbolic inference into deep neural networks

What makes biological neural networks so superior to their technical counterparts? Is there anything we have overlooked so far?

Deep neural networks have been a tremendous success story over the last couple of years. Many advances in the field of AI, such as recognizing real world objects, fluently translating natural language or playing GO ...

25. October 2017

Aika: Ein semantisches neuronales Netzwerk

Wenn es darum geht Informationen aus natürlichsprachigen Texten zu extrahieren, stehen einem verschiedene Möglichkeiten zur Verfügung. Eine der ältesten und wohl auch am häufigsten genutzten Möglichkeiten ist die der regulären Ausdrücke. Hier werden exakte Muster definiert und in einem Textstring gematcht. Probleme bereiten diese allerdings, wenn kompliziertere semantische Muster gefunden werden sollen oder wenn verschiedene Muster aufeinander aufbauen oder miteinander interagieren sollen. ...

20. June 2017

Machine-Learning-Bibliothek hilft dabei Texte zu verstehen

Volltextsuche ist ein Kernbestandteil des Internetzeitalters, nichtsdestotrotz lässt sie bis heute viel zu Wünschen übrig. Sie ist ganz hervorragend dazu geeignet, um exakte Worttreffer in einer großen Menge an Dokumenten zu finden. Was allerdings bis heute noch nicht zuverlässig funktioniert ist, ein Wort nur in seiner gewünschten Bedeutung zu finden. Genau hier kann die Java-Bibliothek Aika weiterhelfen. ...