发信人: mitchell1984 (呜呜呜), 信区: Quant 标 题: 请教：machine learning methods 真能predict price movement? 有这么神吗？ 发信站: BBS 未名空间站 (Sat Dec 22 12:10:50 2012, 美东) 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在finance 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science data, 现在基本还在用７０年代那几个model. 很多finance papers做linear models， R square经常是０.０５以下，只要有significant的variables，也算OK。这样的结果 在实际中用起来风险很大.. 不知道有没有HF真的靠ML 预测股票涨跌赚钱的？那挣钱岂不是太容易了点？如果真的 那么神奇，用R 或者MATLAB 跑跑SVM 对于大家应该不是难事吧。一旦未来可以预测， 那PROFIT MARGIN很快就会消失了吧。。 我的想法很幼稚，希望有这方面经验的大牛指点一下。 -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 66.]
发信人: aaliwei91 (My, you are a tall one!), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 12:24:03 2012, 美东) 请问mitchell姐姐：这个R^2 = 0.05是in-sample还是out-of-sample啊？如果是out-of -sample的话，能否给个link?俺做高频交易的，out-of-sample R^2是个重要评判标准 。。。。。。谢谢。。。。以我的经验看，困难在于构造parameter，而不是给一大堆 parameter然后用linear regression/svm选significant的出来。。。 请拍砖。。。 -- ※ 修改:·aaliwei91 於 Dec 22 12:31:23 2012 修改本文·[FROM: 142.] ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 142.]
发信人: Leinhardt (Leinhardt), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 12:28:25 2012, 美东) Finance paper里面的linear models是啥模型？ 你看过的paper， 能否给个链接啊？ 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 : 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在 finance : 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science : data, 现在基本还在用７０年代那几个model. 很多finance papers做linear models， : R square经常是０.０５以下，只要有significant的variables，也算OK。这样的结果 : 在实际中用起来风险很大.. : 不知道有没有HF真的靠ML 预测股票涨跌赚钱的？那挣钱岂不是太容易了点？如果真的 : 那么神奇，用R 或者MATLAB 跑跑SVM 对于大家应该不是难事吧。一旦未来可以预测， : 那PROFIT MARGIN很快就会消失了吧。。 : ................... -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 65.]
发信人: mitchell1984 (呜呜呜), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 12:42:51 2012, 美东) It is not out-of sample, of course. Generally, it is not used for prediction. It is used for explanation. 你说的完全正确。学术界做statistics de人大多数不用自己CLEAN DATA。 我个人认为 ，用SVM，NN等等都是次要问题。主要问题是找到features。 比如地震和癌症预测，我 还是相信自然届存在那些FEATURE的，但怎么构造出这些FEATURE现在还没有解决。我看 到这些price prediction 文章用到的features都是我们能想到的。。。 从这点来说，做NLP的人更接近实际一些。他们要crawl data，转换成数据，然后work on it。 【 在 aaliwei91 (My, you are a tall one!) 的大作中提到: 】 : 请问mitchell姐姐：这个R^2 = 0.05是in-sample还是out-of-sample啊？如果是out- of : -sample的话，能否给个link?俺做高频交易的，out-of-sample R^2是个重要评判标准 : 。。。。。。谢谢。。。。以我的经验看，困难在于构造parameter，而不是给一大堆 : parameter然后用linear regression/svm选出来。。。 : 请拍砖。。。 -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 66.]
发信人: mitchell1984 (呜呜呜), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 12:43:41 2012, 美东) variations of linear regression... 我找找然后贴上来啊。现在手头没有。。。 【 在 Leinhardt (Leinhardt) 的大作中提到: 】 : Finance paper里面的linear models是啥模型？ : 你看过的paper， : 能否给个链接啊？ : finance -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 66.]
发信人: zhangdao (加油加油！| 忙), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 13:12:45 2012, 美东) Fienberg的学生? what kind of topic you did in ML? 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 : 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在 finance : 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science : data, 现在基本还在用７０年代那几个model. 很多finance papers做linear models， : R square经常是０.０５以下，只要有significant的variables，也算OK。这样的结果 : 在实际中用起来风险很大.. : 不知道有没有HF真的靠ML 预测股票涨跌赚钱的？那挣钱岂不是太容易了点？如果真的 : 那么神奇，用R 或者MATLAB 跑跑SVM 对于大家应该不是难事吧。一旦未来可以预测， : 那PROFIT MARGIN很快就会消失了吧。。 : ................... -- ※ 修改:·zhangdao 於 Dec 22 13:14:00 2012 修改本文·[FROM: 142.] ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 142.]
发信人: smartchen (samrtchen), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 13:48:04 2012, 美东) ML在science and engineering 领域应用是有目共睹的，但是 任何和人打交道的数据都无比杂乱难处理. 这个有原因么？ 貌似一些NLP还是有些进展的，在与人打交道的领域？ -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 12.]
发信人: mitchell1984 (呜呜呜), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 14:12:12 2012, 美东) NLP属于工程科学范畴吧，WORDS还是挺SCIENCE的东西。 我shuo de 和人打交道的领域，主要是psychology相关的。比如说通过business data 做consulting，用data 设计最好的教学方法等等。我觉得这些偏HUMAN SCIENCE的东西 还真的挺需要HUMAN SCIENCE解决的。。。目前statistician很多还是提供decision support而不是真正的decision，还是有道理的。其实关键问题是，很多statistics研 究的结论是: 没有结论。现在学术界只publish那些所谓的突出成果，但不代表大多数 研究都有结果,很多所谓的结果对生产也没有意义。 我个人感觉FINANCE还是挺偏psychology的一个领域吧。何况一旦Future predictable ，那哪里来的profit呢。欢迎大牛指点。 【 在 smartchen (samrtchen) 的大作中提到: 】 : ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理. : 这个有原因么？ : 貌似一些NLP还是有些进展的，在与人打交道的领域？ -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 66.]
发信人: stemidea (stemidea), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 14:16:41 2012, 美东) 华尔街用的都是很简单的东西 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 : 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在 finance : 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science : data, 现在基本还在用７０年代那几个model. 很多finance papers做linear models， : R square经常是０.０５以下，只要有significant的variables，也算OK。这样的结果 : 在实际中用起来风险很大.. : 不知道有没有HF真的靠ML 预测股票涨跌赚钱的？那挣钱岂不是太容易了点？如果真的 : 那么神奇，用R 或者MATLAB 跑跑SVM 对于大家应该不是难事吧。一旦未来可以预测， : 那PROFIT MARGIN很快就会消失了吧。。 : ................... -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 77.]
发信人: Leinhardt (Leinhardt), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 14:21:25 2012, 美东) 金融里面有一些市场假设，现在很多人在吐血验证中 其中一个假说就是有效市场假说，一旦被验证成立，那么任何通过历史价格获取信息的 交易策略都将是徒劳的。 但是现实是还是有一些pattern存在，可能就是你说的features。人们有各种认知偏差 ，交易习惯也会造成种种的pattern。比如交易量在一天内中午是较小的因为大家都去 吃饭了-.-.. 我觉得现在的Pattern recognition应该从行为金融学的角度去发掘金融市场的 patterns，也就是行为金融里面说的种种效应。 Curve fitting在确定性问题中应该有很好的解，但是市场不一定总是理性，而且curve 一不一定就有很明显的pattern。所以预测始终是一个很难得问题。也没有模型总是有 效。 而且在时间尺度上说，不同的scale性质就大不一样了。。 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : NLP属于工程科学范畴吧，WORDS还是挺SCIENCE的东西。 : 我shuo de 和人打交道的领域，主要是psychology相关的。比如说通过business data : 做consulting，用data 设计最好的教学方法等等。我觉得这些偏HUMAN SCIENCE的东西 : 还真的挺需要HUMAN SCIENCE解决的。。。目前statistician很多还是提供decision : support而不是真正的decision，还是有道理的。其实关键问题是，很多statistics研 : 究的结论是: 没有结论。现在学术界只publish那些所谓的突出成果，但不代表大多数 : 研究都有结果,很多所谓的结果对生产也没有意义。 : 我个人感觉FINANCE还是挺偏psychology的一个领域吧。何况一旦Future predictable : ，那哪里来的profit呢。欢迎大牛指点。 -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 65.]
发信人: Leinhardt (Leinhardt), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 14:24:25 2012, 美东) 小白继续说。。 而且很多实证都表明，存在overfit的现象。在做研究的时候很多人都选择了模型表现 最好的 一段数据去发表结果。。 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 : 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在 finance : 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science : data, 现在基本还在用７０年代那几个model. 很多finance papers做linear models， : R square经常是０.０５以下，只要有significant的variables，也算OK。这样的结果 : 在实际中用起来风险很大.. : 不知道有没有HF真的靠ML 预测股票涨跌赚钱的？那挣钱岂不是太容易了点？如果真的 : 那么神奇，用R 或者MATLAB 跑跑SVM 对于大家应该不是难事吧。一旦未来可以预测， : 那PROFIT MARGIN很快就会消失了吧。。 : ................... -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 65.]
发信人: westwind910 (小黑框), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 14:37:51 2012, 美东) machine learning和其他所有类似研究的人 都是有选择性的发表结果 虽然不是作假，但是和有偏向性的报道一样 即使能做到all but the truth（已经算是难得了），也做不到all the truth 如果他们的模型这么有效， 他们首先想到的绝不是发表，而是用这个去赚钱去了 -- ※ 修改:·westwind910 於 Dec 22 14:38:06 2012 修改本文·[FROM: 67.] ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 67.]
发信人: Leinhardt (Leinhardt), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 15:02:15 2012, 美东) 而且金融里用的一些识别pattern的模型都很简单实用。。 可能你看了会笑。 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 : 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在 finance : 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science : data, 现在基本还在用７０年代那几个model. 很多finance papers做linear models， : R square经常是０.０５以下，只要有significant的variables，也算OK。这样的结果 : 在实际中用起来风险很大.. : 不知道有没有HF真的靠ML 预测股票涨跌赚钱的？那挣钱岂不是太容易了点？如果真的 : 那么神奇，用R 或者MATLAB 跑跑SVM 对于大家应该不是难事吧。一旦未来可以预测， : 那PROFIT MARGIN很快就会消失了吧。。 : ................... -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 65.]
发信人: kiteflied (kiteflied), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 15:28:10 2012, 美东) 呼唤weekendsunny 我觉得要Profit不一定只是predict price movement吧，比如volatility, volume之类 的如果可以predict出来也好啊 -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 142.]
发信人: Leinhardt (Leinhardt), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 15:30:15 2012, 美东) Vol的可预测度就高多了。比起mean return来。 也有人做过Price和VOl的联合建模，发表在JF上了。。 【 在 kiteflied (kiteflied) 的大作中提到: 】 : 呼唤weekendsunny : 我觉得要Profit不一定只是predict price movement吧，比如volatility, volume之类 : 的如果可以predict出来也好啊 -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 65.]
发信人: lovelyminnie (lovelyminnie), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 16:08:12 2012, 美东) 如果要看machine learning的应用，不理解为什么看statistics，或者R^2。ML就是因 为比传统的statistics在实际中更能处理复杂的数据，比传统的pattten recognition 更有理论基础，等理由而热起来的 NLP，Speech Recognition，Information Retrieval，Computer Vision，bioinfo这些 应用领域或多或少ML都取得了一些有意思的进展 处理实际问题，提取feature+用现成的package只是一种比较省事的方法，很多时候太 局限了。真要解决问题，还是需要针对问题去建模分析怎样用做合适，自己提model， 甚至自己coding实现 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : It is not out-of sample, of course. : Generally, it is not used for prediction. It is used for explanation. : 你说的完全正确。学术界做statistics de人大多数不用自己CLEAN DATA。 我个人认为 : ，用SVM，NN等等都是次要问题。主要问题是找到features。 比如地震和癌症预测，我 : 还是相信自然届存在那些FEATURE的，但怎么构造出这些FEATURE现在还没有解决。我看 : 到这些price prediction 文章用到的features都是我们能想到的。。。 : 从这点来说，做NLP的人更接近实际一些。他们要crawl data，转换成数据，然后 work : on it。 : of -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 76.]
发信人: smartchen (samrtchen), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 18:54:31 2012, 美东) 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : NLP属于工程科学范畴吧，WORDS还是挺SCIENCE的东西。 : 我shuo de 和人打交道的领域，主要是psychology相关的。比如说通过business data : 做consulting，用data 设计最好的教学方法等等。我觉得这些偏HUMAN SCIENCE的东西 : 还真的挺需要HUMAN SCIENCE解决的。。。目前statistician很多还是提供decision : support而不是真正的decision，还是有道理的。其实关键问题是，很多statistics研 : 究的结论是: 没有结论。现在学术界只publish那些所谓的突出成果，但不代表大多数 : 研究都有结果,很多所谓的结果对生产也没有意义。 : 我个人感觉FINANCE还是挺偏psychology的一个领域吧。何况一旦Future predictable : ，那哪里来的profit呢。欢迎大牛指点。 ML在金融和互联网领域的应用还是有些可以的 我肤浅的理解，ML其实就一些Learning的algorithm 基于现在有的数据/信息，预测未来的可能性 这个逻辑就决定了一定是有局限的 而且只能事后验证 现在互联网做的data product或者online marketing 基本上都是基于ML的吧 有些的确还是不错的，从实践角度来看 如果直接用data做商业decision或者支持decision 这个应该属于BI领域吧 也已经有了很久了 终究还是不能替代人做商业 这个不算局限吧 -- ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 108.]
发信人: SuperString (小芝麻和小包包他爹), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movement? 发信站: BBS 未名空间站 (Sat Dec 22 19:36:34 2012, 美东) out of sample 0.05? 什么horizon的？ 有0.05还能scale的话， 就坐着收钱了 【 在 mitchell1984 (呜呜呜) 的大作中提到: 】 : 最近看了几篇著名的用machine learning methods 预测股票走势的文章，结果让人读 : 着很振奋（如同大多数学术界的文章一样）。 我Phd做了挺多年的ML，对它在 finance : 的应用持观望态度 －－ ML在science and engineering 领域应用是有目共睹的，但是 : 任何和人打交道的数据都无比杂乱难处理。我老板用ML做了很多年social science : data, 现在基本 -- 芝麻，芝麻，节节高 ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 174.]
发信人: SuperString (小芝麻和小包包他爹), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 19:42:26 2012, 美东) 最终你还是要换成对price的prediction才能做trade decision不是 【 在 kiteflied (kiteflied) 的大作中提到: 】 : 呼唤weekendsunny : 我觉得要Profit不一定只是predict price movement吧，比如volatility, volume之类 : 的如果可以predict出来也好啊 -- 芝麻，芝麻，节节高 ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 174.]
发信人: SuperString (小芝麻和小包包他爹), 信区: Quant 标 题: Re: 请教：machine learning methods 真能predict price movem 发信站: BBS 未名空间站 (Sat Dec 22 19:50:06 2012, 美东) 有些很简单的公式确实很管用，看r2的话out of sample在很短的时间段里是有1%左右 的、但是因为简单，知道的人也多，relization非常快，你要是用这些signal去trade 的话，基本上你还没排到前排信号就消失了。而这些信号往往不会大到值得去cross market 【 在 stemidea (stemidea) 的大作中提到: 】 : 华尔街用的都是很简单的东西 : finance -- 芝麻，芝麻，节节高 ※ 来源:·WWW 未名空间站 海外: mitbbs.com 中国: mitbbs.cn·[FROM: 174.]
Site Map - Contact Us - Terms and Conditions - Privacy Policy 版权所有，未名空间（mitbbs.com），since 1996
