九日论道 - 专聊运营、聊增长、聊出海的实战派笔记。论主自本科起主修计量经济、金融,是中国出海做应用订阅收入的先锋玩家。其实做增长很容易,只不过不是每个人都能沉下心去归因、总结以及复刻。
「灵感驱动是一时的运气,数据驱动才是恒久的脚踏实地。」
———— BenjaminDxc
往往最让人脑阔疼的不是那些随手山寨App的个人开发者,反倒是那些融了资凭着一腔热血和灵感在做应用的创业者们。
为他们大部分人感到头疼是因为他们都在用心血实现着自己最初的梦想和灵感,但是他们每一次产品的迭代都没有基于扎实的数据分析,而给出的理由大多都在说产品初期没有想去规划那么多,先做个产品出来看看。
现实是,哪怕产品已经上线跑了1年半载 (有的产品甚至跑了5年, 埋点数据依然杂乱),大部分创业者依然没有建立完善的数据漏斗,纯粹在凭借感觉在迭代app或者参考竞品做了什么再去模仿。
兄Dei,您在做产品还是在砸金蛋呢???
这样的产品还不如那些抄袭成品的山寨App来得赚钱。在论主接触过的实例中,平均一款工具型山寨App,能以一个客户端(Flutter写程序)加一个后端的3周研发成本,0产品规划、0运营投入,完全就靠「投放+各种花式诱导订阅」,每个月能稳定赚数万元。
个人开发者(香港账户)完全无视客诉,反正单个产品的体量也促不成工商消协出动,只要勉强"符合"苹果审核规矩,下架是很难的。至于安卓就更不要担心了。
言归正传,本篇主要目的不是教大家靠这种途径短期发家致富。还是想喊醒那些认认真真创业的主儿~如果你们身边有这样的创业团队,请拍醒他们。
在这些团队的产品迭代决策中,你经常会看到下列高危现象:
没有埋点却想着法子去增加新的模块:每个版本尝试一个所谓「最小可行性产品」模块,但几乎每个模块都没有漏斗和埋点。"宏观"数据好,恭喜你砸中了金蛋。最终的结论数据不好,直接放弃也不问缘由,当然也有一些人会试图总结但归因全凭猜因为过程数据他们压根没有收集全。
Hey dude,你知不知道在做增长的人眼里看来,单单一个界面的优化潜力就可以将转化率提升5倍以上,更别提整个路径节点的优化。但这些可能性在最初就被扼杀在了摇篮里。
顺带说一下,70%的人里他们脑海中的数据只有DAU, MAU,下载量和注册量,撑死再看个留存。但他们不知道哪怕看留存都是要根据产品属性调整纬度去看的。举个最简单的例子,基于社交软件你可能会参考一个指标叫次日留存,但如果你看一个低频的工具软件也盯着次日留存去提升的话,只怕你会设计出让用户天天打卡的无脑模块。
相信我!这种事情连资深的产品经理都可能干过。低频的工具软件,真要看的指标也应该是第一次使用后的第二次打开率而不是第二天的打开率。试图提升一个错误指标,有个蛋用???
不重视留存却催着推广团队搞病毒营销:只要产品不起色,这个锅先甩给推广团队。创始人经常会对自己的产品盲目自信,只要有效用户的增长不给力或者拉新成本居高不下,那就一定是推广团队效率不行。
每日每夜盼着推广团队能搞点裂变营销或者玩点投机手段,殊不知这些推广手段也只有对好的产品才能起到事半功倍的效果。就像这次70周年庆,要是把《我和我的祖国》换成别的红色歌曲肯定没有办法达到如今的推广(洗脑)效果。(脑海中余音缭绕:我和我的祖国,一刻也不能分割)
伙计,如果产品不起色,请你先观察留存和核心操作数据。所有无法顺利完成核心操作的用户都是无效用户!都必然流失!然而数据漏斗都没有做的产品在一开始就失去了归因的基础。
无法归因,你没办法去把锅甩给任何一方,你也没办法去做进一步的针对性迭代去优化。这就好比,没有做过CT检查的实际患癌患者也不会轻易认为自己体内藏有恶性肿瘤。
不跑AB却拿着单一结果决定项目方向:迭代方案有没有效果全凭最后的单项结果数据来裁决是极其不严谨的,因为最终体现的结果数据并非由一个路径来决定。我知道一些团队在评估效果的时候,不看路径的数据漏斗,仅拿最终的数字结果(比如最终营收订单的波动)作为参考,收入涨了就是做对了,收入跌了就是做错了。
他们认为整个版本的迭代就改动了一个路径,那么其他的变量就是不变的故对最终结果产生影响的只可能是改动过的那个路径。这必然是不严谨的思考方式。
即使你没做过其他的变动,也会有形形色色被你疏忽的他因影响着最终结果,比如节气周期,服务器的连接稳定性,服务器证书是否过期,App Bug以及新增用户的属性等等。
当然,AB测试不是你想跑就能跑的,跑不好的AB实验也是在浪费时间和精力。建立AB Testing的基建是一件痛苦且漫长的事情,其得出的最终实验效果可靠与否还和分析师怎么筛选数据纬度、怎么设计埋点、怎么降低实验干扰系数有很大关系。
对吧?埋点记录什么行为、按什么规则严格分流、AABB检验分流精度、如何设计埋点来做后续交叉匹配等等工作都是有深层学问的。至于我看到知乎上的文章还有讨论埋点的方式包括什么代码埋点、全埋点、可视化埋点, 实际有那么讲究词汇吗?
90%的人踩过这些坑
举2个案例
感受数据背后的故事可以多丰富
数据案例分析1. 某app做付费流程方案,出了AB两个实验各分流50%去跑,发现A组方案长期以来比B组方案的付费订单要多,因此实验人员结论得出A方案更好。
但后经排查,A组的分流里有明显更多的Day0-Day7的新用户,一般而言这些用户的付费转化更好,故A组的订单更多是情理之中。所以,实验失败。
这种Case除了调整分流方法再去重做实验以外,也可以尝试另一个解决方法。那就是把新老用户按A、B组拆分出来后各自算出 -「新用户付费订单/新用户数」转化率 以及 「老用户付费订单/老用户数」转化率。比如,我们得出A组(新10%,老2%)以及 B组(新8%,老4%),数据表明A组转化新用户效率更高而B组转化老用户效率更高。
到目前为止,我们还没得出A和B哪个好。接着,我们还需要看另一个角度的参数那就是App本身的新老用户占比分布。如果新老用户(假设新增流失达到守恒后)占比始终是1:1,A和B打平。如果新用户占比60%的话,那A方案胜出。如果老用户占比60%的话,那B方案胜出。
因此,最后决定A组方案和B组方案哪个更好还要看当时新老用户的占比分布,并且一旦新老用户占比平衡被打破我们需要重新评估方案。那相对更高阶的解决方法是把A方案曝光给0-7天的新用户然后把B方案曝光给老用户。如此,便一举两得一劳永逸。
在实际执行AB实验的过程中,人们通常会把实验的时间拉长来增加样本数据从而尽量把干扰波动的他因给弱化排除,甚至我们也会算「置信区间」(通常用5%),来二次确保实验结果的可靠性。但兵贵神速!如果在实验过程中能提前多筛选出来点较为重要的变量控制好分流,完全是可以节约实验时长的哟。
数据案例分析2. 地铁广告 vs 出租车后窗屏广告,哪个渠道能做到更好的品效合一?巧了,论主今年就碰到过这种问题。这两种方案,某公司正好都在尝试,论主还被喊过去论证数据和讨论测试方案。
地铁广告(左)vs 出租车广告(右)
(网上随缘找的图,仅做示例。)
起初朋友公司在地铁和出租车的广告上都做了带有下载二维码的设计。为了评估两个渠道的转化效果,特地错开了两个方案的投放时间,并且尽可能地把视觉元素统一起来。试图在测试过程中,筛选出哪个渠道能带来更多的下载量。
最后结果跑出来和他们当初设想的很不一样,地铁广告的下载效率远远高于出租车广告。他们并不知道为什么,始终在围绕视觉做出修改,认为地铁广告的转化率高是因为视觉呈现更大更震撼。
然后我当时连数据也没看,我看了一下他们的APP包的大小。我就猜到了为什么,因为地铁有花生Wi-Fi这种免费Wi-Fi的存在,当然下载高了。接着,为了论证我的说法,我们需要排除视觉影响和人流的因素。我让他们把扫码的数据拿出来看一下。后来一看,我们发现扫出租车二维码的绝对值数量远高于扫地铁二维码的绝对值数量。
意味着,出租车广告的扫码转化是相对更高的,但是由于流量费用的关系以及App下载包相对过大,才导致了大量用户在这一层转化上的流失。
好了!不过论主并不是专业做Branding的,琢磨着无法给你讲述真正的品效合一。不过至少在商业感知上和数据的考量纬度上,可以和你思辩一下。
数字是很玄学的,所以才会有"数学"将其归纳总结。每个呈现的数字,其背后都有一条清晰的商业逻辑,而作为我们则需要时刻带上自己的商业感知用科学的方法去挖掘真相。
P.s: 虽然论主在常态下评估方案的时候还会吊儿郎当,但一旦较真起来会用各种测算方法并且拿各种衡量的纬度去推敲斟酌:NPV, Sensitivity Analysis, Decision Tree,Opportunity Cost, Black-Scholes等。
比如一个Pricing的方案,我一般会通过S.A的敏感测算矩阵+浮动概率通过Black-Scholes的模型推算出现在这个方案的期望价值(Expected Value), 再通过平衡其他成本包括机会成本从而得出整个方案执行落地的NPV(Net Present Value),就知道这个需求在这个版本做合不合适。
没有数据基建去支撑的应用是无法将商业模式规模化的。灵感只能用来验证最初的Market Fit,而不是用来Scale Up产品的。
本文作者:丁旭晨 Benjamin
作者:丁旭晨 Benjamin 来源:九日论道
本文为作者独立观点,不代表出海笔记立场,如若转载请联系原作者。