Hopfield Network 가 뭔지 감 잡아보기

1. Hopfield network
이것은 메모리로.
김민석

2. 신경망에는 두종류가 있다.
계층형 신경망과 상호결합형 신경망이 있다.
층이 없고, 유닛 끼리 상호결합.
유닛에 연상 기억 (associative memory)이 담김.
다른 정보와 연관 지어서 기억함.
“노란색”과 “바나나” 와 같음.
홉필드 네트워크의 핵심 연상 기억을
유닛 간의 상호연결을 통해서 어떻게 구현하였는가

3. ① 뉴런사이의 연결강도 (weight) 는 대칭이다. 즉 wij = wji 이다.
② 각 뉴런들은 완전히 비동기적으로 (asynchronously) 동작할 때만 안정된 상태에 도달할 수 있다.
여기서 비동기적이어야만 한다는 점이 중요해보임.
동기적으로 동시에 돌리면, 깨짐.
따라서 앞 라인에, 대기열이 필요하며, 이것이 처리 방법에 따라서 네트워크에 영향을 끼칠 수 있을 것.
대기열 구조
네트워크
홉필드 네트워크를 이용한 시스템 : 대기열구조 중요.
자신으로 돌아가는 path는 없음.

4. 우선 네트워크의 구조는 fixed 되어 있다.
그러니까 유닛과 노드의 개수는 fixed 있고,
사이의 연결은 양방향으로 complete 하게 되어 있다.
Hopfield network 의 처리 유니트들은 <그림 1> 에서 보는 바와 같이 완전연결 (fully connected) 되어 있어서
Fixed 된 구조 안에서 네트워크의 의미는
____

5. The units in Hopfield nets are binary threshold units,
i.e. the units only take on two different values for their states
and the value is determined by whether or not the units' input exceeds their threshold.
unit = { +1, -1 } 이런 식
unit의 값이 +1이 될지 -1이 될지는,
Unit에 들어온 input이 threshold를 넘어갔느냐의 여부로 결정
Hopfield nets normally have units that take on values of 1 or -1,
and this convention will be used throughout this page. However, other literature might use units that
take values of 0 and 1.

6. The constraint that weights are symmetric guarantees that the energy function decreases
monotonically while following the activation rules.[3] A network with asymmetric weights may exhibit
some periodic or chaotic behaviour; however, Hopfield found that this behavior is confined to
relatively small parts of the phase space and does not impair the network's ability to act as a
content-addressable associative memory system.
?

7. S_i S_j
S_j
S_j
S_i
S_i의 업데이트는,
연결된 S_j와 연결성 W_ij의 합이
threshold를 넘으면 +1, 아니면 -1
W_ij
W_ij
W_ij
그러니까 각 노드는 ‘+1’ 됐다가, ‘-1' 됐다가.. 이렇게 됨

8. Updates in the Hopfield network can be performed in two different ways:
• Asynchronous: Only one unit is updated at a time.
This unit can be picked at random, or a pre-defined order can be imposed from the very beginning.
• Synchronous: All units are updated at the same time.
This requires a central clock to the system in order to maintain synchronization.
This method is viewed by some as less realistic based on an absence of observed global clock influencing analogous biological or
physical systems of interest.
하나씩 업데이트 하나 비동기 방법
클락이 있어 동기로 처리하는 “비현실적”인 방법
업데이트는 이렇게 한다.
이렇게 unit의 value가 update 되므로,
Weight w가 매우 중요하다.
w>0 일 때,
s_j 값에 따른 s_i 값 변화 경향.
w값이 positive 면,
뉴런들의 값들은 서로 값으로
전체적으로 converge하는 경향이 있고,
w값이 negative 면, diverge 하는 경향.

9. 에너지
Hopfield nets have a scalar value associated with each state of the network referred to as the "energy", E, of the network, where:
theta_i는 threshold of I
This value is called the "energy" because: the definition ensures that when units are randomly chosen to update,
the energy E will either lower in value or stay the same.
Energy라고 불리는 이유는,
업데이트 타임에 업데이트 할 유닛을 랜덤하게 고른다면,
에너지 E는 그 값이 점점 작아지거나, 그대로 유지되기 때문이다.
행동에 에너지가 사용되어 줄어들듯이, 업데이트 마다 에너지가 줄어들기 때문.
그런데 E는 어떤 이유로 점점 작아지거나, 그대로 유지되나?

10. Furthermore, under repeated updating the network will eventually converge to a state
which is a local minimum in the energy function (which is considered to be a Lyapunov
function).
업데이트 하는 중에 network가 어떤 state로 converge 되는데,
그 순간은 E of network 가 local minimum을 갖는 때와 같다.
Lyapunov 리아프노프 함수는 Lyapunov equality를 따지는데 이용된다.
리아프노프 균형은 시스템의 안정성을 따질 때 사용되는 개념이다.
여하튼 잘 안그려지는 것은
W와 주위 Unit이 네트워크 업데이트 과정의 전부인데,
W에 대해,
W > 0 인 경우, W < 0 인 경우에, W_j가 밀어내는지, 끌어오는지에 대한 관념 뿐.
W가 그래서 어떻게 존재하는지 안 정해져서이다.

11. Initialization of the Hopfield Networks is done by setting the values of the units to the desired start pattern.
홉필드 네트워크의 이니셜라이제이션은
유닛의 초기 value를 정하는 것으로 끝난다.
Repeated updates are then performed until the network converges to an attractor pattern.
Attractor pattern에 converge 될 때까지 update는 반복된다.
Convergence is generally assured, as Hopfield proved that the attractors of this nonlinear
dynamical system are stable, not periodic or chaotic as in some other systems.
홉필드가 이 시스템의 convergence를 증명하였다.

12. Thus, if a state is a local minimum in the energy function,
it is a stable state for the network.
Note that this energy function belongs to a general class
of models in physics, under the name of Ising models
Energy function의 local minimum
-> statable state for the network
이렇게 유용한 energy function 이
Ising models 이라는 물리학의 모델의 general class 에 속한다.
these in turn are a special case of Markov networks, since the associated probability measure, the Gibbs measure, has the Markov property.
에너지 함수와 ising model 그리고 Gibbs measure (which is probability measure)
Markov property에 대해 이해해야 알 수 있음.
The Ising model is a mathematical model of ferromagnetism in statistical mechanics.
Ising model도 statistical mechanics 이기 때문에 확률과 상관 있을 것이고,
마르코프 성질은 과거와 현재 상태가 주어졌을 때의 미래 상태의 조건부 확률분포가 과거 상태와는 독립적으로 현재 상태에 의해서만 결정된다는 것을 뜻한다.
그 중에 Gibbs measure가 markov property를 함의하고 있으면, …

13. Training a Hopfield net involves lowering the energy of states that the net should "remember".
즉 attractor에 들어섰을 때, 잘 안 변하게 될 때, 그것이 “remember” 된 것이다.
트레이닝. ( 유닛 state 업데이트와 다른 것인가? )
This allows the net to serve as a content addressable memory system, that is to say,
the network will converge to a "remembered" state if it is given only part of the state.
Content addressable memory system <= trained network
그런 시스템에, 만약 state의 일부만 주어지더라도, 기억된 state로 converge 될 것이다.
The net can be used to recover from a distorted input to the trained state that is most similar to that input.
그러니까, 만약에 distorted 된 input이 들어가면,
input에 대해 가장 비슷한 Trained state로 recover 될 것이다.
This is called associative memory because it recovers memories on the basis of similarity.
그러니까 “비슷한 정도”에 따라서 메모리를 recover 하기 때문에 associative memory.
“공동의, 결합하기 쉬운, 연합의” 메모리

14. Robust Exponential Memory in Hopfield Networks

15. http://www.scholarpedia.org/article/Hopfield_network
Hopfield 본인의 설명

18. All real computers are dynamical systems that carry out computation through their change of state with time.
모든 실제 컴퓨터는 시간에 따른 상태 변화를 통해 계산을 수행하는 동적 시스템입니다.
Computers as dynamical systems

19. External links[edit]
• Chapter 13 The Hopfield model of Neural Networks - A Systematic Introduction by Raul Rojas (ISBN 978-3-540-60505-8)
• Hopfield Network Javascript
• The Travelling Salesman Problem - Hopfield Neural Network JAVA Applet
• scholarpedia.org- Hopfield network - Article on Hopfield Networks by John Hopfield
• Hopfield Network Learning Using Deterministic Latent Variables - Tutorial by Tristan Fletcher
• Neural Lab Graphical Interface - Hopfield Neural Network graphical interface (Python & gtk)