当前位置:首页 > 往期 > 2014 > 2014年第9期

被质疑的数据公信力

作者:
安丽敏
时间:
2014-12-22 15:50:28

              

从奶粉到一款车的油耗数据,从一个演唱类的比赛结果到一个售后方面的车企排名,质疑似乎已经成为中国这个国家的一个本能,没有什么不能被拿来潜规则,没有什么足够可信——不管你是不是真的有问题。

在这样的环境之下,在普遍意义上代表着“独立、公正”的第三方,也卷入到了这一漩涡之中。愈演愈烈的“反J.D.Power”风潮就是一个极端的案例,现在,几乎每次J.D.Power发布一个调查数据,就会引来一片质疑。最近的是CSI。

根据J.D.Power发布的调查结果,在今年的调查结果中,东风标致和广汽本田夺得冠军。这一结果让身边的一些朋友愤恨不已:“东风标致怎么可能得第一?售后服务太烂了!”当《汽车人》把这个问题抛给J.D.Power 亚太公司中国区副总裁兼董事总经理梅松林时,他以一贯的职业态度回应:“一些个案并不能代表全部,我们是尽可能地客观反映它们的整体状况。”

虽然梅松林强调,这并不是刻意的安排,但是在CSI发布之前,J.D.Power特意对外公布了自己的研究流程,意在突出客观独立性。

梅松林清楚地知道,这才是J.D.Power安身立命的根本。

现在他面临着一些严峻的指责和怀疑,与结果可信度直接相关的便是,J.D.Power扮演着“既是裁判员又是运动员”的双重角色:它不仅发布自己的研究结果,同时,还对车企提供咨询服务;更有甚者,有业内人士尖锐地指出,J.D.Power已经沦为外方制衡中方的工具,(据了解,到目前为止,采用J.D.Power咨询服务的仍然以合资车企为主,而且其咨询服务的价格较为昂贵)。

对于排名和接受J.D.Power咨询服务之间是否有关联,梅松林说:“没有人会把自己陷入到那种困境里面,最后只会困住自己,这两个部分是完全独立运作的。”

针对J.D.Power,《汽车人》专门采访了部分车企的看法,与当前一面倒的批评不同,一位车企人士表示:“我们需要J.D.Power来了解一些行业的状况,还是比较有用的,也没有采用它的咨询服务就想要在排名上有体现的想法。最主要的是,它有一个比较成熟的体系,在美国运作得也比较好。”还有人表示:“现在有什么比它更好的方法吗?”

奥德思国际信息咨询(北京)有限公司总经理郎学红告诉《汽车人》:“从专业角度来说,很难评价哪个的评价体系更好,因为满意度研究本身就是不断在变化的。譬如,以前只要按照标准流程提供了服务,态度也很好,消费者就很满意了,但现在消费者会有更多的要求,譬如一次性修复率、维修保养的时间都提出了更高的要求。同时,不同级别的市场,消费者的要求也有很大的差异,这些都要综合考虑进去,所以说很难去评价谁的体系更好。”

不过,鉴于精明的市场把握和判断,进入中国市场14年的J.D.Power,这个当初更多是由外企尤其是日企更认可的公司或者说评价体系,取得了令人瞩目的成功。

虽然起初有着本土化的问题,譬如问卷直接翻译过来之后,消费者根本听不懂;由于美国消费者购车更多地是租赁置换并且较多地选择汽车金融工具,很多问题设置并不符合中国的实际情况等,但随着这几年的发展,这些问题已经基本得到解决。

同时,关于对J.D.Power样本量的质疑,在专业人士看来,也并不完全正确,从统计学角度来说,如果样本有足够的代表性,是不需要那么大的数量的,更何况,任何的抽样调查都不可能涵盖全部。

对这些争议和是非,梅松林是非常熟悉的,在谈到他更像是一个商人还是一个做研究的专业人士,梅松林告诉《汽车人》:“我觉得是二者兼而有之吧。”既然梅松林给了自己一半商人的定位,从生意的角度讲,J.D.Power无疑是成功的,现在它需要赢得的是另一半的成功。

就像他在谈到J.D.Power未来发展的时候说过,现在它们已经进入到一个全新的发展阶段:帮助中国的自主品牌走向成功。根据梅松林对J.D.Power发展历程的介绍,它先后帮助了日系和韩系车企在美国乃至全球的崛起,而现在自主品牌将是他们下一个伴随成长的伙伴。如果可以做到这一点,相信J.D.Power将获得的不仅仅是生意,而是尊重。

当然,J.D.Power只是一个案例或者说引子,对于行业来说,需要考虑的是,什么样的第三方数据才是我们需要的?怎样避免那些“潜规则”的侵蚀?

在面对这个问题的时候,梅松林也颇有感触地说:“在中国做第三方是一件很有挑战性的事情。”

实际上,业内人士对此也有类似的困惑,一方面,数据作假已是社会问题,任谁都难以避免;另一方面,再完善的体系都有空子可钻。无论是主观还是被动,第三方数据的公信力都在面临着严峻的挑战。

问答

梅松林  J.D.Power 亚太公司中国区副总裁兼董事总经理

郎学红 奥德思国际信息咨询(北京)有限公司总经理

X先生 不愿意透露姓名的业内资深人士

J.D.Power 为什么总是成为众矢之的?

X先生:J.D.Power最大的问题在于“既当裁判员又当运动员”,他们不仅发布这些调研结果,同时还提供相关的提升咨询工作(价格还很贵哦)。这难免会让企业觉得,只要我接受了你的培训,那么排名就会提升。虽然我们并不掌握这方面的关联,但会给人类似的想像空间。另外,从此前合资公司的架构来说,一般销售层面是由中方负责,作为外方最早引入的J.D.Power,成为制衡中方并且压制中方的一种工具。

在其他一些细节方面,现在外面的质疑也都比较有道理,比如样本量比较小,最后的结果让很多人不能接受等等。

现在J.D.Power有点耍不开了,因为它的业务在不断地扩大,很多企业发现,即便是采取了J.D.Power的服务也不一定能排名靠前,那会让很多企业感到没有用。据我了解,现在很多车企已经抛弃J.D.Power那一套标准和体系了。

郎学红:J.D.Power在中国的发展也是经历了一个过程的,最早进入中国时,它是直接采用了美国的一些模型和问卷。直接翻译过来之后去问消费者,消费者好多都听不懂在说什么。譬如,美国消费者购车多数是置换并且采用汽车金融方式,它的问卷很多都是关于这方面的,而中国的实际情况有很大的区别,但现在这些问题已经基本解决了。

现在最大的问题就是业内所说的“既当裁判员又当运动员”,或者说是既当教练又当裁判。因为它一方面做行业满意度方面的调查,同时还提供提升满意度的提升服务。如果一个企业采用了它的服务,那么不仅对它的评价体系更加了解,同时,一个好的“教练”怎么体现呢?那肯定就是在排名上有好的表现。

就我们了解到的情况,一般情况下,采用了J.D.Power满意度提升项目的企业在其满意度排名上都会有一个好的排名成绩。

梅松林:我们最近发布CSI时,主动把我们的评价流程讲清楚讲得更透彻一点,虽然不是百分之百解决大家的疑问,但是我们要主动把这个事情讲出来。在中国做第三方评价是一件挺有挑战性的事情。不是看结果怎么样,而是看通过什么样过程做出来的。

这个问题不大,我们一定会沟通清楚,我们帮他们做咨询提升,你可以用过程指标考核我,但是绝对不能用这个评价结果来考核,一定要讲清楚。否则的话,等于是自己给自己设了一个圈套嘛,我们因为有调研评价的优势,厂家需要我,但万一最后提升的结果和排名不一致,怎么办?最后还不是客户流失了吗?肯定会出现问题的。

譬如很多的企业说我要进入消费者调查名单,我可以给你做访问,你可以节省很多的成本、很方便,但是不能要。我们必须在来源方面保持独立,必须要在路边进行拦截式调研。技术方面大家都会做,关键是彻底坚持原则性的东西。

虽然J.D.Power在中国14年,坚持100%的诚信是很难的一件事情,但是我们会继续坚持下去,不打折扣,做到问心无愧。

关于一个品牌或者行业性的满意度评价,样本量应该怎么考虑?

X先生:就J.D.Power样本量的问题,我觉得行业对它的质疑还是有道理的。因为它做的是一个行业性的调研,涉及那么多品牌,那么多车型,中国现在新车销量每年超过2000万辆,那它现在的样本量肯定是不够的。你可以计算一下,把这些样本平均到每个品牌的话,会有多少,而且这也很难做到平均,这意味着有的品牌样本量更少。

而且如果同样的地方,两个品牌销量相当的话,那么样本量也应该保持一致,但在这方面J.D.Power也没有精准的把控。样本量少,意味着调查出的数据出现偏差的可能性大。只有当样本量多到一定程度时,其描绘的状况才能接近事实。

之前曾经有媒体报道过,J.D.Power在美国汽车市场做调查的样本是非常多的,以保障调查结果有足够的代表性。但是在中国的调查,其采集的样本与美国相比还是少得可怜。这也与它们采集样本的方式有关,了解J.D.Power的人都知道,他们采取的是街头拦截访问,而且之前他们的问卷非常长而且晦涩难懂,很少有人真的有时间有兴趣接受调查。现在可能这方面的问题好点了,但还是存在问题的。

梅松林:像针对东风标致的一些意见,我的观点是,抱怨任何品牌都有,不是说它是第一就是完美的,但是我们不能因为有几个抱怨就否定全部。我们每个品牌都有几百上千个样本,它反映的是一个整体的状况。我的同事也介绍过我们怎么取得一个真实有效的样本,这个过程是非常复杂的。所以,虽然我们表面上完成的是16928个样本,但是后面是1000多位访问员、200多位工作人员长达半年之久的努力,这后面的动作绝对不是16900多个,而是500万个操作动作。所以,我们今天所看到的每一份数据都来之不易。

在采集样本方面,现在我们的办法非常原始,到街上一个一个拦下来问,难度非常大,成功率非常低,但如果采用网络调查就非常有意思,你不知道坐在电脑前面的这个人到底是不是车主,是不是真实的消费者,这就会很大程度上降低调研的可信性。

所以每一个新的产品上市,我们都要重新去适应和测试,这就使我们面临很大的挑战。导致的一个结果就是,我们的样本量还比美国小很多。尽管我们的市场和美国市场一样大,但是样本量只有美国的四分之一左右。但是我们样本成本是美国的很多倍,这是比较遗憾的。

郎学红:关于样本量的争议,我倒是认为J.D.Power在这方面问题不大。这是一个统计学范畴的问题,虽然从理论上来说,要尽可能更多地覆盖,才能真正反映出实际的情况。但是在实际操作中,只要样本足够有代表性,那么也是可以的。同时,不管怎么样都没办法做到全部的消费者。

您认为怎样才算是第三方?

X先生:第三方顾名思义就应当是没有利益相关的一方,还是那个问题,不能既当裁判员又当运动员。像J.D.Power,它同时发布满意度的行业调查数据,同时又对企业提供提升满意度的咨询服务,这不能算是第三方。在国外有很多独立的研究机构,像欧洲的新车安全评鉴协会(EURO NCAP),它们就不会受到来自厂家的干预,这是一种行业性的评价,这样才算是一个严格意义上的第三方。

梅松林:如果把自己定位做第三方的话,必须要有严格的标准,第三方评价必须具备三点,或者说是最重要的三点:第一个是要正直、诚信;第二个是要客观独立,独立嘛,如果你参与进去,受到太多的牵扯,也就不好评价了;第三个是有影响力。在这三者之间,首先需要有前面两个,才会有第三个。这三个正好是我们的核心价值理念。

在执行过程当中,会碰很多问题。同时,我们也在不断地积累经验,完善流程,不断地加大投入,尽可能做得完美。虽然现实上不可能做到百分之百完美,譬如,J.D.Power的评价是不是百分之百的完美?不可能。

评价是一个社会科学,社会科学就要有误差,我们要去理解这个干扰和噪音,就需要一些补救措施,这是另外一个需求。当然我们也是要追求完善,我们追求这个目标永远不变,这需要一个提升的过程。

郎学红:如果我们和汽车厂家有合作的话,那么签合同的话,他们就是甲方,我们就是乙方。如果说第三方的话,应该是跟这个事情没关系,比如满意度调查,被调查的人是一方,他所评价的对象是一方,那么我们就应该是第三方,应该是没有利害关系的才算是第三方。

如何避免一些“潜规则”或者说数据作假?像有一些经销商为了获得较高的分数,会送保养等小恩小惠来诱惑消费者做出不客观的评价,如何剔除?

X先生:数据作假我觉得是另一个范畴的事情,这是一个社会问题,不是行业性的问题,我觉得单靠汽车业也确实没办法避免。从调查的角度讲,我们会考量一个样本是不是有效的样本,如果发现有相关的可能和问题,我们会把它剔除掉。

梅松林:你说这个问题,不仅汽车行业,像淘宝买东西一样,给个好评很重要。我们J.D.Power做用户满意度调研的目的是为了帮助经销商和厂家不断地完善,更满足消费者的需求,不是为了得到好评。你可以通过一些免费的保养去获得高分,但这样的方式很难持续,对大家都不利。首先消费者期望是越来越高的,一次保养可能很难再诱惑他;对经销商来说,你没解决真实的问题,你解决了打分的问题,没有解决服务的问题,这个高分没有得到持续,后面还会有不满意的评价。最聪明的办法还是把具体工作做好,这才是企业生存的根本。我们会在采集样本的时候,特别设置一些问题来衡量是不是受到了影响,如果有那就不能算是一个合格的样本。

做市场调研在一个透明度、诚信度较高的地区是比较容易的,现在国内的大环境还有待进一步的提升。在美国,每天领导们一到公司通过数据库的信息就可以迅速地开展分析工作,然后提供一些决策意见,但在中国还比较困难。目前,在中国我们还处于一个早期发展阶段,我们的数据大部分来自于经销商,如果经销商不支持这样的做法,那么我们很可能得到一些虚假信息。

虽然每个企业都在做针对自身的满意度等方面的评价和调研,但是有的企业也希望能够了解行业的水平和发展状况,而且也没有比J.D.Power更好的体系出来,这个问题应该怎么看?

X先生:我觉得为什么一些企业现在选择放弃采用J.D.Power考评体系,一个是,已经没有办法真正获得一些行业性的数据;另一个,企业对于自身的研究也是非常透彻的。

行业内一些公司也在做相关的研究,但是它们会把结果提供给企业,并不对外公布,我觉得从商业角度来讲,也是规避了被质疑的风险,相关的研究也会相对更加客观公正。

郎学红:作为行业协会,也在考虑提供一个横向的标准和尺度,不同的厂家会有不同的标准,像我们最近在做“三包”方面的测评就涉及到售后一个满意度调查,但是厂家不一定都会有明确的要求,我们从行业角度就要去衡量,是不是作为一个评价的标准。我们从行业的角度就要去看是不是有必要作为一个衡量的标准,那些没做到的企业就要考虑是不是也要向行业的领先水平靠近。

企业确实也需要了解一些行业的状况,其实也有机构在做类似J.D.Power的调查,像新华信联信调查和质量协会等。所以说,不是只有J.D.Power在做,而合资企业采取J.D.Power更多也是外方的要求。

【版权声明】本文系汽车人传媒独家原创稿件,版权为汽车人传媒所有。欢迎转载,请务必说明出处及作者,否则必将追究法律责任。

相关信息

主办:汽车人传媒 | 汽车人网
ICP备案号:京ICP备18011211号-2
京公网安备 11010802029366号
@北京青青艺盛文化传媒有限公司
关注汽车人传媒
  • 中国汽车先锋力量
  • 来这了解更多车讯
联系方式
  • 連絡電話:8610-6343-5270
  • 連絡電話:8610-6343-5270
  • 郵便番号:100036
关注汽车人传媒
  • 中国汽车先锋力量
  • 来这了解更多车讯
关注汽车人时刻
  • 最火最热的一线车
  • 讯,在这等你。
关注汽车人传媒
  • 中国汽车先锋力量
  • 来这了解更多车讯
关注汽车人传媒
  • 中国汽车先锋力量
  • 来这了解更多车讯