使用模型来理解数据的几种方法:
分类模型:把不同的数据放进不同的盒子里,看数据与目标是否存在某种关系(如将锻炼的人与不锻炼的人的数据分开,看他们与健康是否有关系)
线性模型:y=f(x)
用线性模型拟合数据:有一堆数据,然后想建立一个线性模型,即哪条线能最好地通过这些点,究竟如何才能画出这条线以及你应该用什么标准来确保你得到的最优的线。
非线性模型:如y=a(x的平方)、y=1/x、y=sinx
大系数: 大系数对决策的影响较大,如y=ax bz(a、b为系数,表示对应变量的重要性)
在一个分类模型里 ,要把现实放到各个类别之下以便能更好理解这些数据,它们可以对数据的某些偏差作出解释。 你怎样对事物分类,将会影响你对这些事物的思考,还会影响你所做出的决定。
比如,华尔街商人觉得Amazon不值得投资,认为它就是一个快递公司,况且现在已经有很多快递公司了,根本赚不了什么钱。如果该商人把亚马逊当成是信息经济的一部分,用他来收集客户信息的话,它就会很值钱了。
为了理解世界,我们不会把事物分得一清二楚,只会创造各种分类并将事物分门别类。比如说看到一件家具,我只会说那是个梳妆台,不会说那是1874年造的齐本德尔梳妆台。所以把东西按类别混在一起有助于我们更快作出决定。
如何进行分类?
首先要找出这些数据的偏差:一种方法可以是计算每个数据与平均值之差的绝对值的和; 另一种方法可以是计算每个数据与平均值之差的平方的和,即方差。(一般采用方差法,可以放大偏差,便于找出不同的数据)
其次, 把数据分成不同的类型来减少方差。 分别计算每个分类的方差,并累加得到建模后方差。
定义R^2(R的平方)=1-建模后方差/建模前方差,这个值可以用来表述通过建模解释了多少差异性。 模型越好,R平方越大。
用更多的分类去解释更多的方差,正确的类别可以解释很多差异性。 你的分类有用,并不会保证他们确实是原因。可能仅仅是因为你依据分类的原因与实际造成结果的原因相关。 所以统计学家会区分相关性和因果关系
方程式:Y=mX b(自变量X与因变量Y之间存在因果关系)
线性模型可以帮助我们去理解数据并作出预测。
在线性模型中同样可以用R平方判断模型的有效性。
计算方法是先计算无模型时所有数据与平均值的差值的平方之和(方差),再计算模型的方差,R平方=1-数据方差/模型方差。
对于多个变量(比如两个),我们也可以建立线性模型Y=ax bt c,变量的系数(a和b)的正负能告诉我们变量对结果有积极影响还是消极影响,系数的大小能告诉我们这个影响有多大。
回归输出告诉我们:
首先,告诉我们 R平方,是衡量模型好坏的参照;
第二,告诉我们最初数据中的差异是多少;
第三,告诉我们有多少组观察数据;
第四,告诉我们截距和系数的估计值;
第五,告诉我们对截距和系数正确性的把握。
视频只是简单介绍了大概方法,并没有具体说明应该怎么去做。
运用线性函数技巧理解非线性世界的三种方法:
1、把非线性函数近似看成线性函数(如 用三个线性函数近似一个非线性的曲线 )
2、脊柱法(spine method), 可以在每个部分建立一个线性函数 ,用不同的线性函数对应不同象限的数据
3、将非线性关系引入线性函数 (就是简单的公式变形)
大系数思维就是把资源投放在系数更大的变量上(Y=ax by c(a、b是系数))。
大系数思维存在缺陷:在没有模型的情况下,仅仅基于纯粹的数据,在任何询证过程中试图建立政策是有问题的:因果关系错误、变量范围较小、数据不够全面
首先,关联不等于因果,数据间有相关性并不能说明是其中一个变量的变化引起了另一个变量变化,可能他们都是其他因素作用的结果。
第二,线性模型告诉我们变量的符号和量级,但只是对目前掌握的数据有效,所以我们希望有一个模型能告诉我这个线性关系在其他情况下是否还能成立。(班级人数从30降到20,学生成绩提高,继续降低班级人数不一定会继续提高学生成绩,此时的学生成绩可能与教师教学质量关系更大。)
所以,反馈因素的存在意味着如果想把线性关系扩展到数据范围之外必须非常小心。
第三,数据只存在于一个小区间内还会带来更大的问题:多峰问题。手头数据可能都集中在左边的峰,使我们错过了右边的峰,没有掌握模型的全貌。
大系数思维VS新现实思维:
如果你想对一堆变量做轻微的改动,你应该用大系数思维,把资源投放在大系数的地方。但大系数思维也可能让你对思考和改变世界的新思路视而不见,所以当走出原来的数据范围时,需要跳出常规模式,思考问题的真正本质所在。
临界点定义:临界点模型是高度非线性的,系统在某个点被“引爆”产生突变,一个很小的改变就会产生巨大的影响。(避免与指数增长混淆,一般情况下,指数增长曲线是出处可导的,而临界点处不可导)
临界点模型:物理学的渗透模型(Percolation Model)、流行病学的SIR模型(SIR Model)等等都会产生临界点
临界点的类型:
直接临界点(Direct Tips):变化的是变量本身,它会引爆自身的状态。特定的行为在同样的维度、同样的变量下引爆,例如在战争中一场战役也许会导致整场战争的胜者由一方变为另外一方,因此它所引爆的结果两端性质是完全相同的。
关联临界点(Contextual Tips):环境中的某个变量发生改变,导致某事发生的条件成熟,令整个系统的状态发生转变。
临界点类型:
世界上的事物可以被分成四个类别——稳定状态、周期状态、随机状态、复杂状态。
类内的临界点:在同一个类别的范围内达到临界,比如从一个稳定状态转变到另一个稳定状态;
类间的临界点:在不同类别状态之间产生临界
渗透模型定义: 源于物理学,当水积累到一定程度时,能够通过地面渗透到地下。
常见渗透模型:
森林火灾:森林密度达到一定覆盖率时,局部的森林火灾会引发整体的森林火灾;
银行倒闭:银行之间的借贷量达到一定数值时,某个银行的倒闭会造成具有借贷关系的相关银行的倒闭;
国家经济衰落:一国的衰落,引发有密切经济往来的国家经济的衰落;
信息渗透: 如果信息不是那么逼真或不是那么有价值,就不会被传播;但是一旦它越过了一个重要的阈值,它会开始传播并且几乎所有人都知道了。 原因是因为信息通过人际网络传递,就会存在渗透现象。
两种传染病模型:
SIS模型:过程包括易感染、可传播、可感染。起初你容易感染某一种疾病并确实被感染,得到治疗并痊愈,但是你再一次面临被传染的风险。(无临界点)
SIR模型:被感染之后被治愈,然后对这种疾病产生了抗性并不再会被感染。(有临界点)
传染病模型里的临界点是一个叫做基本再生数( basic reproduction number)的变量。如果基本再生数大于1,那么所有人都会被这种疾病传染;如果基本再生数小于1,那么疾病就可以得到控制。
t 1时刻的患病人数 = t时刻的患病人数 新感染的人数
SIS模型与扩散模型的不同之处:被感染过的人被治愈后可以重新被感染。
设被治愈的概率为a,如果人们被治愈的速度快于感染的速度,这种疾病就不会广泛传播,所以SIS模型会产生一个临界点。
t 1时刻的患病人数 = t时刻的患病人数 新感染的人数 - 痊愈的人数
直接临界点:改变变量时结果会被彻底改变
直接临界:微小的动作或者事件会导致最终的结果产生很大的影响。
例子:第二次世界大战斐迪南大公之死导致了全世界进入战争状态,它是一个直接临界点。越南战争因为北越南波来古市的一颗炸弹而冲突升级,波来古就成为了这场战争的直接临界点。在渗透模型和森林火灾模型中,当密度达到59.27%,只需再加一滴水它就会冲开一条路来、或者只需要一根火柴整个森林就会燃起熊熊烈火,这滴水或这根火柴就是直接临界点。(直接临界点跟当时的社会环境和大背景有很大关系)
关联临界 : 改变环境或者参数导致系统的结果彻底改变
在渗透模型、森林火灾模型中,改变土壤或者改变树木的密度会导致结果的改变,所以是关联临界点。
关联临界点就是环境上的改变,使得直接临界发生的可能性提高,而且意味着最终的系统状态也很有可能被改变。
类内临界和类间临界:
均衡系统、周期系统、随机系统、复杂系统在同类系统之间和不同类系统间转化时存在着类内临界点和类间临界点。(《复杂》逻辑斯蒂映射曲线图,改变R值,使得图像变化:直线——震荡曲线——混沌)
衡量一个临界有多大,系统引爆了一个多么罕见的事件。
方法一:多样性指数,常被用于社会科学
方法二:熵,来源于物理学和信息论
指数增长模型:即复利
经济增长模型:展示经济是如何发展的。经济增长模型说明了极限的存在:如果没有创新的话增长会停止。
索洛增长模型:索洛模型允许存在创新,并说明了创新对于集体利益有乘数效应。
探讨增长的判别指标、增长的原因,以及是否能持续增长(经济增长的判别指标为GDP, 即在一个经济体内生产的所有商品和服务的市场价值之和 )
指数增长中,增长率很关键。
根据72法则,用72除以增长率r(去掉%)得到的约为使本金翻倍所需的年数。
72法则是一个简便的运算法,并不会十分精确,对于低增长率它可能会低估年数,对于高增长率它可能会高估年数,但在8%、9%左右,它的运算很完美。(由X(1 r)^2 =2X,得到r )
连续复利
银行存款按年付息(日单利、年复利),一年后为X(1 r);
假设每天付息,则一年后为:X[(1 r/365)^365]
还可分得更细,用小时复利、秒复利……如果分为无限多个阶段,则有: n→ ∞ 时,lim(1 r/n)^(nt)=e^(rt),e是欧拉常数,e=2.71828……
举了一个列子,包含非常简单的经济体:椰子、工人、机器、机器折旧(所有的投资用于添置机器——促进经济增长,同时增长受到投资的限制。 )
不考虑环境限制因素,为什么不能持续增长?因为机器存在折旧率,投资越多折旧越快,当投资=折旧时,继续投资机器就没有意义了。所以我们需要创新。
索洛增长模型由MIT的经济学家Bob Solow建立,除了劳动力、资产、折旧率、储蓄率,还包括技术水平A,用A这个参数来衡量科技水平对经济发展有着怎样的影响。
产出=A(劳动力 * 机器数量)^1/2 (机器数量要减去上一年折旧)
投资=a*产出(a为常数)
折旧=折旧率 * 机器数量
当投资=折旧时,投资于机器不能提高产出。此时,投资于技术创新会带来更大的产出。
在不考虑技术进步时,产出曲线是一个凹函数,具有边际收益递减的特征。
在早期,相对于所拥有的劳动力数量,资本非常之少(资本在模型中即为机器数量),投资相对劳动力总量来说是不充足的,所以单纯依赖投资就能保持较高的增长率。但是随着资本相对越来越充足,增长率就会开始下降,除非投资于新技术,否则增长率的下降是不可避免的。
增长的动力来源有两种:战后的欧洲、美国、日本以及现在中国正经历的高速增长都是源于资本累积;而现在美国、日本、欧洲的增长都是来源于技术改革。
中国此前长期高增长率可能源于相对于巨大劳工数量而言的资本不足,所以在投资拉动下能够经历非常高的增长率,但后期将可能像日本一样落到低增长区间。按照索洛增长模型,在资本累积到一定水平后,为了持续增长,不应继续注入资本,而应该投资于科技改革。
达伦·阿赛莫卢与詹姆斯·罗宾森合著的《国家为何衰落》回顾了上百年来为何有些国家能够成功而有些国家不能。
一、发展需要一个强有力但不被少数人控制的中央政府。
加速经济增长,需要在机器与技术上投资。所依,需要一个强有力的政府维护财产所有权,保证资产不被他人强占,专利不被他人夺走。
同时,如果政府被少数人占有,缺少监督,他们将从经济中榨取资源,也就没有足够的资本去投资机器与技术,这对经济增长造成了极大的损害。
二、发展需要创造性的破坏
技术得到提升, 劳动力会变得更有生产力,我们需要更少的劳动力就能产出与原来相等的产量。 因此长期来看劳动力最终转向生产更多的有形资产(用于生产最终产品的机械设备)、从事更多的创新,从而获得更多的增长。
但是在短期内,当机器突然提高生产力,工人就将失业,而失业的代价是很高的。从模型中我们知道,发展需要创造性的破坏,提高了技术水平可能会摧毁掉整个行业。 如互联网的到来,摧毁了很多传统的报纸、中介等行业,再比如接下来人工智能时代的到来...
同国家经济增长一样,要取得个人收入的增长,我们可以努力工作,但是如果我们不投资在新技术、新发明上,如果我们不能通过学习取得进步,那我们很可能会被淘汰,那些在职业上非常成功的人一直在学习。所以,就像国家必须投资在创新上,个人也是如此,创新也是个人成长以及个人成功的来源。
R:资本回报率R,g:经济增长率,GDP: 在一定时期内,一个国家或地区的经济中所生产出的全部最终产品和劳务的价值
R>g这一点非常重要,考虑财富的增长:一些手里握有金钱的富人,他们的财富将按照财富数量乘以资本回报率进行增长;而整个经济体的增长则按照国内生产总值 (GDP) 乘以经济增长率进行增长。如果 R 大于 g,富人财富的增长速度将比经济的增长更快,这意味着富人会变得更富有,其相对经济份额会随时间增长。这其实就是Piketty的核心观点。
R >g 不能解释一切经济事物,无法解释为什么会产生新的富人和为什么有些富人失去了财富:
首先,要考虑税收t。皮凯蒂主张通过缴纳财富税来减少收入和财富的不平等。
其次,要考虑消费率c,因为富人会消费掉他们财富增长的部分。
第三,要考虑捐赠率d,像比尔·盖茨和沃伦·巴菲特那样的人会将巨额的财富捐出去,因为他们不希望自己的孩子们不劳而获,从他们积累的财富中获得利息为生。
其他还有可以称为“愚蠢率”s的因素:父母挣了很多钱因为他们知道如何投资、获得良好稳定的回报率以及赢得 R;并不意味着如果你继承了这些财富就不会用这些钱做愚蠢的事,事实上你可能做出高风险投资以试图获得更高的R,但没有获得成功。
所以,要使财富份额增长,应使R–t-c-d-s>g,即回报率减去税收、消费、捐赠和平常的愚蠢或坏运气后必须大于经济增长率。这将意味着富人在经济中的份额会大于普通人份额。
小结:R>g是一个非常简单的模型,仅仅是用有两个变量的不等式,就能非常直白地解释了不平等现象。
一、个人解决问题的方式 如何避免被卡在局部最优点,而爬上全局最优点?
1、改变视角。视角就是看待问题的角度。
2、启发式探索。启发式探索是指你是如何在“地图”上移动。“爬山”、 “随机搜索”都是启发式探索的形式。
二、团体解决问题的方式
团队将比个人更善于解决问题。原因在于他们有更多的工具,而且他们的工具非常多样化。他们有不同的视角和不同的启发式探索方式,可以用多样化的视角来进行启发式探索,这使他们更善于发现新的、更好的解决方案,所以团队在解决问题的过程中非常重要。
三、重组
重组的整体思想就是:我有对某个问题的一些解决方案,你有对另一个问题的解决方案,那么有时候我可以借鉴你的解决方案并把它和我的解决方案进行组合,这样就会获得一个更好的解决方案。
视角(Perspectives)就是在解决问题时对所有可能方案的呈现 , 视角的优劣取决于问题。
一个好的视角就是没有太多局部最优点的观点,不好的视角会形成许多的局部最优点。
最好的视角叫做“富士山模型”,只有一个最高点,这把一个问题变得非常简单。
井字棋策略(玩了一会三字棋,心得:第一步:要走中间或者角落,因为这样至少可以有机会从三个方向形成三子棋;第二步,一定要将对手固定死,否则对手将固定死你的下一步;第三步,可以从两个方向形成三子棋(对手只能截断一个,所以就赢了))
启发式探索(heuristics)是一种搜索最佳解决方案的方法。
几种启发式探索:1、左右探寻,寻找最高点,避免陷入局部最优解;2、反其道而行之;3、先完成重要的事情;4、反过来想。
没有免费午餐”定律表明:不存在一种能有效解决所有问题的启发式探索方法。一旦我们对问题有了些许了解,那么我们就能找到更合适的启发式探索方法。
不同的启发式探索方法让我们拥有更多的可能性。
团队的局部最优点是所有成员的局部最优点的交集
我们能发现更好的问题解决方案的原因:(1)找到了看待问题的新视角(2)产生了新的启发式探索方法(3)团队合作使得多元化的视角和多元化的探索方式产生交集,从而找到更好的解决方案。
团队合作的重要因素:多元化视角和多元化探索方式、成员间的有效沟通、正确评估方案价值。
创新从何而来?
一是源自视角和方法的多样性。在解决问题时,对于个人来说,首先,必须有一定的视角,以某种方式来描述问题。第二,通过一定的探索方法去寻找答案。不同的人有不同的视角和方法,对于团队来说,利用不同成员在视角和方法上的多样性可以找到更好的解决方案。
二是源自观点的重组。不同问题的解决方案或思考方式能够进行重组,不断改善解决问题的方法,不断得到新观点、新产品和新技术,促进经济社会的发展。
马尔可夫过程 :马尔科夫模型由两部分组成——事物所处的状态、转移概率
马尔可夫收敛定理告诉我们:只要符合状态总数有限、转移概率恒定以及状态转换自由这三个条件,系统就将达到均衡。
转移概率矩阵可以帮助我们理解马尔可夫过程和马尔可夫收敛定理,解释为什么系统将达到均衡。
学习马尔可夫过程的原因:
第一,能帮助我们认识万物的运作,任何运行马尔可夫过程的系统都将会达到均衡。
第二,一旦理解了马尔可夫过程,就能将其运用在一些完全不同的领域中,有助于问题的解决。课程后续将探索其在不同领域中的运用。
马尔可夫过程收敛到均衡的四个条件:
一、可能的状态数量是有限的。
二、转移概率固定不变。
三、从任意一个状态能够变到任意其他一个状态。有可能不是从状态A直接变到状态C,而是先变到状态B再变到C,但只要有路径从状态A变成状态C就行。
四、过程不是简单循环。比如不能是从全A变到全B,然后又自动从全B变到全A。
马尔可夫收敛定理(Markov Convergence Theorem):如果满足上述四个条件,一个马尔科夫过程将收敛到一个均衡状态,且此均衡唯一。
只要转移概率不变,那么初始状态、历史过程、中途干预都不重要,最后必将达到那个唯一的均衡。
改变了转移概率的干预过程将使历史过程发生临界变化
用马尔科夫过程为事物建模
用转移概率矩阵理解事物 。(完)
更多相关精彩内容,推荐加入知识星球获取,星球中更有过去公号的大部分文章备份(大概1500篇)以及每篇拓展的书籍报告和摘录,以及国外交易员培训课程,限时5折优惠进行中,欲购从速!赶快扫码加入吧!
联系客服