人类行为与最大熵原理

1,784 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,784
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

人类行为与最大熵原理

  1. 1. 人类行为与最大熵原理 王成军 08深圳新传Clustering Intelligence Clubhttp://www.douban.com/group/swarmagents/
  2. 2. Outline:常识的介绍 1、复杂网络 2、社会科学中的运用:以人类传播行为 为例 3、最大熵原理 4、各种概率分布的证明 5、娜拉出走之后?
  3. 3. 1、复杂网络研究 图论 18世纪 Euler 七桥问题 点、线 规则图 Erdos & Renyi 1960年代 随机图网络 节点之间的连接是不确定的、依据概率决定的。 Watts & Stogatz,Cornell university 1998年 小世界网络 small-world networks 小世界网络即具有规则网络的高聚类特征,又具有随机网络的较小 平均路径长度的特征,可以用来描述从完全规则网络到完全随机网 络的转变。 《自然》 Barabasi & Albert,Notre dame u. 1999年 很多复杂网络符合幂律分布,即无标度网络 scale-free networks,《科学》
  4. 4. Scale-Free Networks  p (k ) ~ kR. Albert, H. Jeong, and A.-L. Barabási Diameter of the World Wide Web Nature 401, 130-131 (1999). Non-homogeneous nature of scale-free network
  5. 5. 2、复杂网络在社会科学中的运用 复杂网络只是复杂性科学的一部分 《复杂》 santa fe institute introducion 《走向统一的社会科学——来自桑塔费学 派的看法》 演化博弈,实验、计算机模拟 理性人 强互惠行为——强互惠心理?
  6. 6. 2.1在社会学中的运用 图1.2.6 来自Moody和Race 2001年发表在American Journal of Sociology上的文章School Integration and Friendship Segregation in America,该图表示了一个美国中学中不同种族不同年级学生之间的交往 情况。该图由被访者回答“你认为谁是你的朋友”等问题提供的数据绘制,因 此是一个有向网络(direct-network)。其中黄色的点代表白种人,蓝色的 点代表黑种人,绿色的点代表其他人种,位于图上部的是初中生,位于图下 部的是高中生。从图中可以看出,种族和年级深刻地影响着社会交往,其中 前者的影响更明显。
  7. 7. 2.2 在经济学中运用 图1.2.7引自2007年C. A. Hidalgo和A.L. Barabási等发表在Science上的The Product Space Conditions the Development of Nations一文。该图由全世界每个国家的产品进出 口数据绘制,是一个标准模型,不同的国家在具体 产品的分布上有所不同。本文揭示了这样一个事实: 国家间经济的发达程度不同,产业结构也不同,发 展相关产业的能力也不同。因此,一个国家的产业 结构的独特性和比较优势是客观存在的,盲目地进 行产业转型是高成本低收益的行为。
  8. 8. 2.3 人类传播行为(强名之为) Bruno Gonçalves等,Human dynamics revealed through Web analytics,2008
  9. 9. Why we twitter?Understanding Microblogging Usage andCommunities
  10. 10. 针对不同传播行为的文献综述
  11. 11. 祝建华:针对个体层次的研究
  12. 12. 3、最大熵原理 Boltzmann Shannon Jaynes
  13. 13. Number of Micro-states For given a macro-state (n1,n2,…,nm) There are many micro-states to realize it 不同能级大小的分子状态 e1 e2 。。。 ei 。。。 er 该状态下的分子的个数 n1 n2 … ni … nr N! W (n1 , n2 ,  , nm )  n1!n2 ! nm !
  14. 14. 3.1热力学熵 Boltzmann For given a macro-state (n1,n2,…,nm) There are many micro-states to realize it: N! W (n1 , n2 ,  , nm )  n1!n2 ! nm ! S=k ln W s是物质的热力学熵; K是玻尔兹曼常数; w是该物质所处的宏观状态对应的微观状态的个数。
  15. 15. m 3.2信息熵 香农 I   S   pi log pi i 1lnW  ln[ N !/ (n1 !n2 !...nr !)] 斯特林公式 ln x!=xlnx-x lnW  ( N ln N  N )  [( n1 ln n1  n1 )  ...  ( nr ln nr  nr )]又  N  n1  n2  ...  nr lnW  N ln N  n1 ln n1  ...  nr ln nr ( n1  ...  nr ) ln N  n1 ln n1  ...  nr ln nr n1 n n  n1 ln  n2 ln 2  ...  nr ln r N N N  n1 ln p1  n2 ln p2  ...  nr ln pr r  ni ln pi i 1 r  N  pi ln pi i 1
  16. 16. 3.3 Jaynes’ Framework Another view to statistical mechanics Subjective explanation of probability Subjective statistical physics
  17. 17. MaxEnt Frameworkmax S   pi log pi i    pi  1 粒子守恒s.t.  i  pi Eij  E j , j  1,2,...,s 能量守恒  is constraints
  18. 18. 最大熵原理 (MEP) 计算一批离散变量的数据信息熵(以下简 称数据熵)   p log p S i 2 n i p 其中 i代表在集合中随机取一个个体,具有标志值i的概率= N i 对于连续变量,则数据熵公式变为 b a (1),代表相对密度分布函数S    f  x  ln f  x  dx 最大熵原理是指积分(1)总是达到最大, 在这个条件下,利用拉格朗日方法可以求 我们还不知道的 f  x 
  19. 19. Lagrangian Method欲求n元函数f(x1,x 2,. . . , xn )在如下m个约束条件(m<n)y1 (x1,x 2,. . . , xn )  0y2 (x1,x 2,. . . , xn )  0...ym (x1,x 2,. . . , xn )  0下的极值,拉格朗日方法通过构造新的函数F实现:F(x1,x 2,. . . , xn )  f (x1,x 2,. . . , xn )  C1y1 (x1,x 2,. . . , xn )C2y2 (x1,x 2,. . . , xn )  ...  Cmy m (x1,x 2,. . . , xn )求一阶微分 :F f y y 0  C1 1  ...  Cm mX 1 X 1 X 1 X 1...F f y y 0  C1 1  ...  Cm mX n X n X n X n
  20. 20. 1、均匀分布 唯一的约束是 1   f  x  dx (2) b a 依照拉格朗日方法,将式(2)乘以未知 常数 C ,加上(1),构造出 F   f  x ln f  x dx  C  f  x dx 1 1 a b 1 b a 令F对f的偏微商=0(改变函数f的形状但 有不变的x使F极大。就是所谓求泛函数的 极值,即变分) 得到 ln f  x   C1 1 因此,x 是一个常数,即均匀分布。且利用 f (2)可得  1  ,a  x  b f  b  a  0, x  a  x  b 
  21. 21. 2.(负)指数分布——以“斩乱麻”为例 一个数值试验  约束有两个,分别是 (2)和 u   xf  x  dx 1   f  x  dx (3)(x算术平均值 b b  a a 不变,在斩乱麻实验中为 l   Nf ( x)dx )  依照拉格朗日方法,将式(2)乘以未知 C2 常数C ,将式(3)乘以未知常数 ,加上 1 C 2 F   f  x  ln f  x  dx  C   f  x  dx  1  C   xf  x  dx  a  (1),构造出 b b b a   1 a     2 a    令F对f的偏微商=0,  得到 ln f  x  1 C  C x ,即指数分布,且利用 1 2 (2)、(3)可得 f  x   1 e  x u u
  22. 22. 步骤 一根绳子斩成1000段 生成随机数 调整 作图
  23. 23. Hi st ogr am 300 0. 10 0. 08 200 0. 06Fr equency FX 0. 04 100 0. 02 0. 00 Mean =10. 00 St d. D ev. =10. 449 N =1, 000 0 0. 00 20. 00 40. 00 60. 00 80. 00 100. 00 0. 00 20. 00 40. 00 60. 00 80. 00 100. 00 VAR00002 VAR00001
  24. 24. 3、幂律分布 约束条件有两个,分别是 1   f  x  dx (2) a b 和 (4)(x几何平均值不变) u   f  x  ln xdx b a 依照拉格朗日方法,将式(2)乘以未知常数 C , 1 将式(4)乘以未知常数 C ,加上(1),构造出 2 F   f  x  ln f  x  dx  C1   f  x  dx  1  C2   f  x  ln xdx  u  b b b a  a     a    令F对f的偏微商=0, ln f  x   1  C  C ln x , f ( x)  exp  1  C1  x ,即幂律分布 C 得到 1 2   2 1 1 在 1  x  b 的情况下, f  x   1 x ln u 1 ln u 1  如果u很大, lnu 就接近于-1,此时f和x的乘积是 常数,也就是f和x是双曲线关系,又称Zipf律,与 词频和分形等研究有关
  25. 25. 4.一个推导分布的通用函数 我们根据这几次使用拉格朗日方法推导的 经验,可以总结出满足最大熵的相对密度 分布函数为 f  x   exp 1  C u  x  i i   其中 C 是第i个未知常数, x  为第i个已经知 i i u 道的函数,且该函数与分布函数的乘积的 积分为常数 k i 约束:   ui  x  f  x  dx , 1 ,2,…,m ki i
  26. 26. 5、最大熵出现之后将会怎样? 第一推动丛书:《宇宙的琴弦》 我必须了解自己的无知, 或许是了解一下统计物理的时候了
  27. 27. 最大熵产生原理(MEPP) 熵原理仅仅告诉我们系统将朝向何方演化 最大熵产生原理告诉我们系统怎样演化(演化 的路径)熵产生最快的路径最可能路径 一般的路径
  28. 28. 最大流现象流动速度最大的路径是时间最短的那条
  29. 29. 蚂蚁觅食实例 最快的路径会被自然选出
  30. 30. reference 祝建华等,Global Regularity and Individual Variability in Dynamic Behaviors of Human Communication Wulingfei,Maximum Entropy , Bayesian Inference and Evolution 张学文,《组成论》 张江,秩序从哪里来 张江,From Statistical Physics to Maximum Entropy Framework

×