▲圖2***代離線計(jì)算平臺(tái)架構(gòu)第二代架構(gòu)從2012～2014年，在承載離線計(jì)算的基礎(chǔ)上，擴(kuò)展了平臺(tái)能力，支持實(shí)時(shí)計(jì)算的需求，如圖3所示?！鴪D3第二代實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)在***代離線計(jì)算平臺(tái)基礎(chǔ)之上，我們?nèi)诤蟂torm和Spark構(gòu)建了第二代實(shí)時(shí)計(jì)算平臺(tái)。主要的演進(jìn)如下。1）集成Spark，離線計(jì)算比Hadoop性能更高。2）引入Storm，支持秒級(jí)/毫秒級(jí)的流式計(jì)算任務(wù)。3）建設(shè)了實(shí)時(shí)采集系統(tǒng)TDBank，數(shù)據(jù)采集實(shí)現(xiàn)從天級(jí)（T+1）到秒級(jí)的飛躍。4）支持資源和任務(wù)調(diào)度方面，平臺(tái)支持離線與在線混合部署，任務(wù)容器化，資源管理的維度支持CPU、內(nèi)存，以及網(wǎng)絡(luò)與I/O，進(jìn)一步提升了平臺(tái)輕量化、敏捷性與靈活性，極大提升了平臺(tái)利用率，降低了成本。第三代架構(gòu)從2015～2019年，在通用大數(shù)據(jù)計(jì)算外，開始支持機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等AI場(chǎng)景，BigData與AI在平臺(tái)層面逐步融合，如圖4所示?！鴪D4第三代機(jī)器學(xué)習(xí)計(jì)算平臺(tái)在第二代實(shí)時(shí)計(jì)算平臺(tái)基礎(chǔ)上，自主研發(fā)了機(jī)器學(xué)習(xí)平臺(tái)Angel，并以Angel為**構(gòu)建第三代機(jī)器學(xué)習(xí)計(jì)算平臺(tái)生態(tài)。主要演進(jìn)如下。1）我們與北京大學(xué)合作，自主研發(fā)了高性能分布式機(jī)器學(xué)習(xí)平臺(tái)。該平臺(tái)支持十億至百億維度模型，支持?jǐn)?shù)據(jù)并行及模型并行，支持在線訓(xùn)練。同時(shí)。數(shù)據(jù)采集的結(jié)果可以用于制定營(yíng)銷策略、產(chǎn)品研發(fā)和業(yè)務(wù)決策。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)
?線上行為數(shù)據(jù)：頁(yè)面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會(huì)話數(shù)據(jù)等。?內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機(jī)械數(shù)據(jù)、話音數(shù)據(jù)、社交傳媒數(shù)據(jù)等。?大數(shù)據(jù)的主要來源：1）商貿(mào)數(shù)據(jù)2）互聯(lián)網(wǎng)數(shù)據(jù)3）傳感器數(shù)據(jù)數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別傳統(tǒng)數(shù)據(jù)采集1.來源單一，數(shù)據(jù)量相對(duì)于大數(shù)據(jù)較小2.構(gòu)造單一3.聯(lián)系數(shù)據(jù)庫(kù)和并行數(shù)據(jù)儲(chǔ)藏室大數(shù)據(jù)的數(shù)據(jù)采集1.來源普遍，數(shù)據(jù)量龐大2.數(shù)據(jù)種類豐沛，包括結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化3.分布式數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)收集的缺乏傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大都使用關(guān)系型數(shù)據(jù)庫(kù)和并行數(shù)據(jù)庫(kù)房即可處置。對(duì)倚賴并行測(cè)算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫(kù)技術(shù)追求高度一致性和容錯(cuò)性，根據(jù)CAP學(xué)說，難以確保其可用性和擴(kuò)展性。大數(shù)據(jù)搜集新的方式?系統(tǒng)日志采集方式很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用以系統(tǒng)日志收集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均使用分布式架構(gòu)，能滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需要。?網(wǎng)絡(luò)數(shù)據(jù)采集方式網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方法從網(wǎng)站上得到數(shù)據(jù)信息。該方式可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來。南通數(shù)據(jù)數(shù)據(jù)采集怎么收費(fèi)數(shù)據(jù)采集的結(jié)果可以通過數(shù)據(jù)分析和可視化工具來展示和解釋，以幫助人們更好地理解數(shù)據(jù)。
方案三：第三版解決方案的問世是神策針對(duì)第二版方案持續(xù)完善、迭代的結(jié)果。假設(shè)場(chǎng)景如下，某App內(nèi)基層H5的開發(fā)者是第三方供應(yīng)商。在這個(gè)情況下，會(huì)產(chǎn)生以下兩個(gè)問題：（1）第三方供應(yīng)商不是神策的客戶，沒法實(shí)現(xiàn)數(shù)據(jù)采集，更沒辦法完成“打通”；（2）第三方供應(yīng)商是神策的客戶，此時(shí)App與H5可以實(shí)現(xiàn)真正打通，但很多情況下會(huì)被迫收到很多不需要的數(shù)據(jù)，我們叫“臟數(shù)據(jù)”，而H5的供應(yīng)商則會(huì)發(fā)現(xiàn)他們無法采集到完整數(shù)據(jù)，很多事件“莫名其妙”地丟了……這是因?yàn)锳pp與H5打通后，H5的事件默認(rèn)傳給了App。因此，在這種情況下，我們需要對(duì)更多的細(xì)節(jié)進(jìn)行考慮，通過H5給App白名單的形式，實(shí)現(xiàn)H5的向App的事件上傳。這個(gè)時(shí)候，我們就會(huì)面臨新的場(chǎng)景需求，第三方供應(yīng)商答應(yīng)把數(shù)據(jù)傳給App，但是自己也要求保留一份。綜合來看，App與H5的打通看起來是一個(gè)比較常見的場(chǎng)景，但在執(zhí)行的過程中往往面臨較多挑戰(zhàn)。從2016年到***，面對(duì)App和H5的打通，我們一直在更新迭代中，目的是為了能夠適應(yīng)各種復(fù)雜的場(chǎng)景，特別是涉及第三方開發(fā)框架、第三方瀏覽器等的“打通”。案例二：App啟動(dòng)與退出啟動(dòng)什么叫“App啟動(dòng)”？有人說，使用App即“App啟動(dòng)”，那如果使用音樂播放器。
也正是堅(jiān)守于此，過去五年，不論是在數(shù)據(jù)采集技術(shù)，還是數(shù)據(jù)治理方案等方面，我們都做了很多的工作，也幫助了很多的客戶。比如我們建立強(qiáng)大的數(shù)據(jù)采集SDK研發(fā)團(tuán)隊(duì)，并將SDK全部開源，也維護(hù)著近1500人的開源討論社群，同時(shí)不斷向業(yè)界輸出我們的積累、經(jīng)驗(yàn)和沉淀，讓數(shù)據(jù)采集技術(shù)不再神秘，更讓數(shù)據(jù)采集技術(shù)的生態(tài)更好、更健康的向前發(fā)展。二、業(yè)內(nèi)常見的數(shù)據(jù)采集方案目前，市面上常見的埋點(diǎn)方式主要有三種：代碼埋點(diǎn)、全埋點(diǎn)和可視化埋點(diǎn)。1.代碼埋點(diǎn)代碼埋點(diǎn)，即客戶端集成SDK，在客戶端啟動(dòng)的時(shí)候初始化SDK，然后在某個(gè)事件（行為）發(fā)生時(shí)，客戶端顯示調(diào)用SDK的接口觸發(fā)相應(yīng)的事件。代碼埋點(diǎn)，是**常見的埋點(diǎn)方式，同時(shí)也是“*****”的埋點(diǎn)方式。其優(yōu)點(diǎn)如下：（1）可以精細(xì)控制埋點(diǎn)；（2）可以靈活添加自定義事件和屬性；（3）可以滿足更精細(xì)化的分析需求。同時(shí)，代碼埋點(diǎn)也有一些缺點(diǎn)：（1）前期埋點(diǎn)代價(jià)比較大；（2）埋點(diǎn)的變更，需要伴隨客戶端的發(fā)版。2.全埋點(diǎn)全埋點(diǎn)，也叫無埋點(diǎn)、**埋點(diǎn)、無痕埋點(diǎn)、自動(dòng)埋點(diǎn)等，是指無需開發(fā)工程師寫代碼或者只寫少量的代碼，就能預(yù)先自動(dòng)采集用戶的所有行為數(shù)據(jù)，然后在數(shù)據(jù)分析產(chǎn)品上通過點(diǎn)選和配置，來篩選要分析和統(tǒng)計(jì)的對(duì)象。數(shù)據(jù)采集為企業(yè)提供了客觀、準(zhǔn)確的信息，幫助其做出更明智的決策，實(shí)現(xiàn)可持續(xù)發(fā)展。
一.什么是產(chǎn)品定位通常我們講定位時(shí)，可能涵蓋3種意思。坐標(biāo)，當(dāng)前所處的位置。方向，指想要去的地方。聲明，對(duì)定位的具體描述。在定位前加上“產(chǎn)品”，也有其3種意思。該產(chǎn)品在不同維度中（例如價(jià)格和市場(chǎng)、對(duì)象和業(yè)務(wù)等）的市場(chǎng)位置。確定該產(chǎn)品的發(fā)展方向，以及如何發(fā)展。對(duì)該產(chǎn)品定位的文字描述和解釋。二.為什么做SaaS定位概念弄清楚后，我們來看看為什么要做SaaS產(chǎn)品的定位。認(rèn)清現(xiàn)實(shí)基于現(xiàn)實(shí)考量，清晰認(rèn)識(shí)自己和市場(chǎng)。任何產(chǎn)品都無法滿足所有的人，也不是所有客戶都有利可圖。對(duì)于大多團(tuán)隊(duì)來說，資源永遠(yuǎn)有限且緊張，只有明確方向，才能集中力量辦大事?？傆胁蝗缢说牡胤剑肷婧桶l(fā)展，需要明確自己的強(qiáng)項(xiàng)和優(yōu)勢(shì)。處理階段問題對(duì)于SaaS產(chǎn)品，不同的階段需要解決不同的問題。在初創(chuàng)期，通常沒有或擁有很少的客戶。此時(shí)的定位，是幫助我們?nèi)绾吻腥胧袌?chǎng)，以便能夠存活下去。到發(fā)展期，擁有了一定的客戶基礎(chǔ)。此時(shí)的定位，是通過明確價(jià)值主張來吸引到更多的目標(biāo)客戶。至擴(kuò)展期，擁有了大量的客戶。此時(shí)的定位，是指導(dǎo)企業(yè)如何進(jìn)行縱向的發(fā)展（提供更***的產(chǎn)品解決方案）和橫向的發(fā)展（在價(jià)值頻段上服務(wù)不同的客戶群體）。錨定內(nèi)外心智是什么很重要。數(shù)據(jù)采集可以幫助企業(yè)識(shí)別和解決問題，提高業(yè)務(wù)流程的效率和質(zhì)量。溫州企業(yè)數(shù)據(jù)采集方案
通過數(shù)據(jù)采集，企業(yè)可以更好地了解市場(chǎng)需求、客戶行為和競(jìng)爭(zhēng)對(duì)手情況。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)
②計(jì)算變量：計(jì)算變量的目的是調(diào)用決策引擎；③調(diào)用決策引擎：部署有催收策略；④確定催收策略：將變量傳給決策引擎后，決策引擎會(huì)返回確定的催收策略。產(chǎn)生“是否催收、自己催or外包、如何催、分配給哪位催收員、什么時(shí)候打電話、用哪個(gè)溝通模板”等類型風(fēng)險(xiǎn)決策；⑤分配催收任務(wù)：根據(jù)案件催收難度分配給不同催收員；⑥記錄催收結(jié)果：將催收結(jié)果進(jìn)行歸類，如：失聯(lián)、無人接聽、占線、承諾還款等。四、征信平臺(tái)系統(tǒng)策略和模型的基礎(chǔ)是數(shù)據(jù)，數(shù)據(jù)分為內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，調(diào)用外部數(shù)據(jù)就是由征信平臺(tái)系統(tǒng)進(jìn)行。**功能模塊：調(diào)用、解析、征信數(shù)據(jù)庫(kù)①調(diào)用：將客戶參數(shù)調(diào)用傳給外部數(shù)據(jù)源相關(guān)機(jī)構(gòu)，如：人行征信報(bào)告、百行征信報(bào)告、NCIIC等，相關(guān)**以封裝加密形式返回，返回的數(shù)據(jù)一般包括客戶的個(gè)人工作單位、婚姻、學(xué)歷、***開卡、還款情況等；②解析：解析有兩層功能含義，一是***返回的數(shù)據(jù)，二是將文本串信息進(jìn)行標(biāo)準(zhǔn)化，使數(shù)據(jù)變成能夠在標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中存儲(chǔ)的形式；③征信數(shù)據(jù)庫(kù)：儲(chǔ)存解析好的征信數(shù)據(jù)。五、決策引擎系統(tǒng)它是一種基于特地業(yè)務(wù)場(chǎng)景開發(fā)的定制引擎，中間充當(dāng)一個(gè)變量計(jì)算和決策判斷的功能，以“處理變量然后輸出變量”的方式將風(fēng)控決策落地。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)