随着人类历史进入21世纪,互联网开辟了一条通往新型集体智慧的路径,即人类或所谓类人类计算。放心,这并不意味着你的大脑变成了计算机,而是指互联网将成千上万相互连接的人类大脑协调起来,以形成一种强大的“计算力”,在解决某些复杂问题上,足以超过任何一台现已存在的超级计算机。这种能力最初在专业生物化学领域得到验证,现在轮到了金融。那么就让我们看看,当“业余金融大脑”占领了证券交易大厅之后会发生什么?
Read this article in English | Français
市场经济背后的基本思想是詹姆斯·索罗维基(James Surowiecki)提出的所谓“群体的智慧”(The Wisdom of Crowds):群体行为对价格的调节要比个体精确的多,即便在后者拥有更多信息的前提下。
集体智慧(collective intelligence)自发运作的理念是当今经济学的支柱之一。但是,同样可能的是,人们以一种更具体的方式开发和运用他们的“集体计算能力”。虽然这个想法本身已经不新鲜了,但它真正为人们带来非凡机会,是直到最近才开始的。
大家一起来计算
故事开始于19世纪。当法国在1870年在普法战争中蒙受耻辱后,开始全心投入复仇的准备。军队的将领们将战争失利的一条原因归结于:法国的马太笨重,在战场上动作起来慢得根本无法与普鲁士对手相比。
“改良国产马”变得迫在眉睫,不仅是出于军事需求,同时也有发展农业、民用以及军用运输能力的用意。但问题是,到底改如何改进马匹的种性?
到了1891年,法国政府想出一个主意——利用赌马者的贪婪。当时赌马非常流行。政府颁布法令要求Pari Mutuel (当时的国家投注机构)“改良工马和军用坐骑”,向当时的农业部汇报并受后者领导。
Emile Riotteau,该法令的撰写人,很可能因此成了最初的“大规模人类计算”的发明者。要是在现在,这个法令也很可能就是“人类计算”这一名词的定义者——要知道,当时可没什么现成理论,当然,也没有计算机,而仅仅是一种灵光乍现,实际上是将一个专家都没法解决的复杂问题“分包”给一群业余人士(赌马者)、驯马师以及育种师。
“赛马不是目的而是手段,在政府的主导下,要么选择纯种骏马续种,要么通过引入外地良种的方式改良本地马种。”(《从古至今的赛马史》前言,1914年)今天我们可以将19世纪的法国“Pari Mutuel”称为一个超级计算机,而CPU就是一群赌马者。
据说,在1871年到1890年的赛马俱乐部大赛中跑得最快的马,完成规定赛程平均要用时2分42秒,但到了1891年-1914年期间,平均夺冠时间已经下降到2分36秒。最好比赛分数分别出现在1905、1911和1913年。
今天,整个世界为数字大潮所席卷,计算机已经可以打败国际象棋大师,人类计算的理念却开始重新浮出水面。上世纪90年代末,各类互联网公司开始大规模招募网民助阵数据处理、选取以及改进。
谷歌、Facebook 和 Twitter 都将使用者看作是潜在用户和数据处理过程的参与者,作为后种角色,用户帮助这些公司丰富了数据库,使其与消费者更加“相关”。也是通过这种方式,庞大的社交网络用户群已经在不自觉中改进了媒体的作用。
今天的人类计算是1990年代这种集体智慧的值得注意的特殊变体。其目的是在执行某项任务或进行某个运算的过程中,有意将每个人类作为整体资源的一部分,其所发挥的作用是个体独立行为时所无法企及的。集体计算中的个人都服务
机器,因此也没有必要清楚了解这个系统中的每个个体是谁,甚至系统的终极目标如何。
对这种“智慧”形式的征用已经不再专属于互联网巨头。2009年,一些生物化学专家意识到他们的工作电脑已经无法解决更复杂的问题,于是创立一个社区互助形式的工作平台,在其上,该学科的业余爱好者被邀请参与解决蛋白质折叠(Protein Folding)的问题。这个名为Foldit的项目迅速变成了一个在线社区,口号是:解决科学谜题(Solve puzzles for science)。
今天连接到该平台的成千上万活跃用户已经完败科学家们原来所使用的计算机,提出了很多非凡、原创且高度相关的解决方案。该项目的成就被发表在2010年的《自然》杂志上。Foldit,一个游戏性质的尝试,构成了一个拥有完全原创性设计的超级计算机:它是基于一群人类CPU而工作的。
当业余股民占领股票交易大厅
对于那些金融分析员和交易员来说,高水平的计算工具非常重要,他们需要借助它们来确定交易策略。但市场每天产生的巨量数据和数量同样惊人的相关性,让任何以数学计算为基础的方法都会系统性地捉襟见肘。一台像Foldit一样强大的计算机在这种情况下就会非常有吸引力。在这样的背景下,Krabott被推出。
这个程序要求业余交易员(该应用的玩家)参加一个“策略游戏”,难度堪比Foldit, 用一群看上去更擅长网上扑克或魔兽世界而不是微分方程式的无名之众来取代交易大厅里的聪明人。
Krabott就像飞机上的所有乘客被邀请控制驾驶舱和起落——而且干得并不比飞行员差。它是一种交易厅游戏,玩家是各个被称作Krabott的交易策略的认领者。每个玩家选择自己的策略,然后观察这些Krabott的在货币市场(FOREX)上的行为和表现。每个Krabott会同时对4种外汇进行跟踪和操作:瑞士法郎(CHF)、美元(USD)、日元(JPY)以及英镑(GBP),在交易完结前(每周五晚)买入或卖出汇率。
获利(P)和亏损(L)会在玩家的帐户积分上表现出来。玩家可以放弃那些效率最低的Krabott,或将其置于一个测试或候补区继续观察其表现,留待后用:候补区就像个托儿所。
最后但很重要的是,玩家可以混合两个Krabotts的参数,再造一个全新的策略,新策略可以在交易室中进行实战测试,并获得评估。这种交叉机制的灵感来自于生物学领域的杂交技术,以及Alex Kosorukoff在1999年提出的“人为遗传算法”(Human Based Genetic Algorithm,HBGA),作为在遗传算法基础上的进一步演化,Kosorukoff用统计的方法证明,在对给定对象的进行盲选(杂交)以找出最优物种方面,人类要比计算机敏捷得多。
Krabott再造是人类计算能力的关键。这个游戏最重要的特点在于它能够在遗传算法最关键的参数优化阶段引入并团结人类玩家的能力,即,再造(繁殖)。
2013年,我的博士论文答辩主题“应用于算法交易的人类计算”(“Human computation applied to algorithmic trading”)表明,在识别和选择对于再造最合格的Krabott方面,业余玩家的表现要优于计算机。
在实验的过程中,我们安排了一组竞赛,一方是一台机器(计算机)在9个月的时间里测试和评估大约10万个不同的策略;另一方是让100个玩家人工测试1000个左右的策略。
结果毫无争议地,尽管机器能够探索的策略数量比人类玩家多100多倍,但后者总是能够不断地找出比前者更有效(更赚钱)的策略来。
人类计算和100%机器计算的平均盈亏(P&L)对比,在交易完成点上,前者获得 1%盈利,而后者是1%的损失。
在看到这样鼓舞人心的结果后,我们的下一步是启动基于人类玩家识别出的策略的某种元Krabott或元社区信号的设计。
“信号”结合了前一周表现最好的6个Krabott,其表现也明显好于任何一种经典的优化形式。(在我们的实验中,初始投资在5个月的“实战”测试阶段以惊人的规律性倍增)
这里的悖论是,Krabott实验表明,如果玩家有机会探索“可能性域”的任何一个角落,却往往找不到最佳策略,甚至表现平庸:究其原因,则是急于得到结果导致了他们把赌注押在尚未成熟或风险过高的策略上。
另一点非常重要,这个实验没有“回溯测试”(back testing)。这是设计交易策略的系统性技术,无论是对冲基金还是银行,每种新策略在被真正用于实战之前,都会经过数年的来回测试。值得注意的还有,每种策略都有自己的生命周期,从几个月到几年,最终由于市场条件的迅速变化和自身的升级换代而被弃用。
对于Krobott元信号的案例来说,策略是每周更新,玩家测试每个策略的周期也很短(3-12个月)。我们的方法包括频繁挑战交易策略的内容,使得信号适应市场变化,进而建立一种完全独特的动态交易策略。
“可能性域”实际上是无限的,尚待探索的空间依然巨大,而且,它是反直觉的。在无数的应用中,把玩家团结在一起解决复杂问题的想法确实非常奇怪。即便如此,因Foldit启发而生的Krabott,依然证明了这种方式的内在能量。我们也应该反问自己这种集体智慧的本质是什么,它源自哪里又如何形成与发展?是否人类的大脑自身就很适合集体思考?这些今天还没有答案的问题将触发进一步的研究,进而在未来的某一天,让我们能够有新的发现。谦虚起见,我只能说集体智慧的前景非常光明。
简讯
Krabott最初为发表在2013年《巴黎高科矿业学院》期刊上的答辩论文主题。2014年,AVIOMEX SAS创立了Krabott系统。2014年,Krabott交易元信号在“团结农民”(Solidarité paysans)协会的支持下商业化,该协会旨在帮助偏远地区的农民。