-
當前位置:首頁 > 創(chuàng)意學院 > 技術 > 專題列表 > 正文
搜索推薦算法(搜索推薦算法要學什么)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關于搜索推薦算法的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關鍵詞,就能返回你想要的內容,越精準,寫出的就越詳細,有微信小程序端、在線網頁版、PC客戶端
創(chuàng)意嶺作為行業(yè)內優(yōu)秀企業(yè),服務客戶遍布全國,網絡營銷相關業(yè)務請撥打175-8598-2043,或微信:1454722008
本文目錄:
一、代碼合規(guī)系列Vol.1:淺談推薦算法合規(guī)
前言:
豆瓣評分曾達到9.4的科幻神劇《西部世界》,收獲了無數粉絲的膝蓋。在《西部世界》中,通過編程實現的人工智能,人們體驗著由代碼打造的虛擬現實世界。而在 游戲 《我的世界》里,人們也可以通過編程來打造屬于自己的世界。曾有人預言,未來的世界是軟件的世界,是代碼的世界。我們無法預知未來,但是活在當下明顯感覺到代碼正在深刻改變我們的生活、改造現實世界。但代碼又似乎與我們的生活不直接相關,它是一種由字符、符號或信號碼元以離散形式表示信息的明確的規(guī)則體系,并非自然語言,普通人不可直接讀懂。目前的代碼世界尚處于早期野蠻生長時代,代碼難以約束,相關的 社會 規(guī)范幾乎不存在,仿佛游離于 社會 規(guī)范之外,拒絕接受法律的約束和道德的審視。但是最近幾年文明之光開始顯現,代碼合規(guī)開始進入大家的視線,大家開始討論算法合規(guī)、開源代碼合規(guī)等前沿話題。敲過幾年代碼、學過幾年法律、正在做企業(yè)合規(guī)的筆者,有意加入代碼合規(guī)的討論中來,開通代碼合規(guī)這個欄目,分享自己的合規(guī)心得。
我們常說代碼的靈魂是算法,因為代碼的核心在于算法。算法是對解題方案的準確而完整的描述,是一系列解決問題的清晰指令。形象比喻,如果把算法理解為一種思路,那代碼就是算法(思路)的具體表現形式。所以我們常說防止代碼泄露,實則是保護自己的核心算法思路不給他人所知。2021年8月27日,國家互聯網信息辦公室發(fā)布《互聯網信息服務算法推薦管理規(guī)定》(征求意見稿)發(fā)布,該規(guī)定旨在規(guī)范互聯網信息服務算法推薦活動,維護國家安全和 社會 公共利益,保護公民、法人和其他組織的合法權益,促進互聯網信息服務 健康 發(fā)展。代碼合規(guī)的系列Vol.1將圍繞該算法推薦管理規(guī)定進行解析討論。
一、推薦算法的介紹
推薦算法是指利用用戶的一些行為,通過一些算法,推測出用戶可能喜歡的東西。它作為算法中的一種,源于個性化推薦,經過多年的理論研究和商業(yè)實踐,已經被越來越多的互聯網企業(yè)所運用到用戶推薦場景中。截止目前推薦算法已經延伸出生成合成類(圖片視頻生成)、個性化推送類(推薦)、排序精選類(排名)、檢索過濾類(搜索)、調度決策類(外賣、打車)等。舉例來說,我們在天貓上購物,經常會被推送一些我們之前瀏覽過的同類型產品,這里面就是用到了推薦算法,屬于個性化推送類。
筆者曾在本科期間,參加過阿里舉辦的首屆天貓大數據算法競賽,競賽的內容是關于推薦算法的研究開發(fā)。基于天貓用戶的數據(匿名化處理)—數據內容主要是一定時間內用戶購買產品的時間、次數、產品相似度等用戶行為—運用基于內容、協同過濾、關聯規(guī)則等推薦算法對用戶行為進行分析,預測下一個時段用戶的行為,對比實際數據得出相似度,以相似度高低決定算法優(yōu)良。經過幾年的發(fā)展,推薦算法在商業(yè)實踐中的運用已經變得十分廣泛,但是也因此給我們的生活帶來了許多困擾,出現如數據殺熟、隱私保護等問題。這次國家推出對推薦算法的監(jiān)管規(guī)定,是十分及時和必要的。企業(yè)要想繼續(xù)進行推薦算法的研究和實踐,就必須要滿足國家對于推薦算法的規(guī)定。因此筆者基于《互聯網信息服務算法推薦管理規(guī)定》(征求意見稿),多維度談談企業(yè)的算法合規(guī)義務和合規(guī)化建議。
二、算法服務提供者的合規(guī)義務
合規(guī),是比合法更大范圍的存在,即符合、遵守、執(zhí)行適用于企業(yè)的合規(guī)規(guī)范。這里所說的合規(guī)規(guī)范按照國內外出臺的標準、辦法和指引,可以總結為外部合規(guī)規(guī)范和內部合規(guī)規(guī)范。其中外部合規(guī)規(guī)范可以理解為合規(guī)要求,包括但不限于法律規(guī)范、行業(yè)準則、商業(yè)慣例、法院判決以及行政決定、強制性標準、道德規(guī)范等。內部合規(guī)規(guī)范可以理解為合規(guī)承諾,主要是指合同協議、行業(yè)自律性規(guī)則、非強制性標準、對外承諾、章程以及內部規(guī)章和各項決議等。所以對于合規(guī)工作來說,首要的就是要收集合規(guī)規(guī)范,從中識別出合規(guī)義務。本文立足于《互聯網信息服務算法推薦管理規(guī)定》(征求意見稿),識別出具體的合規(guī)義務,分別從強制性義務、禁止性義務、原則性義務進行展開,如下表所示。
上表所示,可以較為清晰的區(qū)分算法合規(guī)義務。我們發(fā)現,強制性義務幾乎占據了大半,大部分的條款都是企業(yè)應當履行的合規(guī)義務。
三、推薦算法的合規(guī)化建議
從概念上說,合規(guī)可以理解為一種理想狀態(tài),或者說是最終目標。在通往合規(guī)的道路上,我們需要做的是將“外規(guī)內化”。上述表格總結的企業(yè)合規(guī)義務更像是粗糙的條文堆砌,我們還需要將具體的合規(guī)義務進一步內化于企業(yè)的內部管理行為中。結合我們團隊在企業(yè)合規(guī)管理體系的搭建上的實踐經驗,我認為可以從合規(guī)管理制度、合規(guī)運行和保障機制角度提出我們的合規(guī)化建議。
可能上述視角過于專業(yè)化,也有點復雜化。如果從技術人員的角度看,可以從前端和后端的視角來解析具體的合規(guī)義務:
上述兩個視角,可能對合規(guī)義務有了些許的了解,但是對于企業(yè)來說,合規(guī)義務需要嵌入到公司的制度中去才算是完成了制度層面的建設工作,這是個繁瑣和專業(yè)的事情。同時制度層面完成后,要落實制度就需要讓員工懂法知規(guī),這就需要對員工進行必要的合規(guī)培訓工作,這里面就涉及對于治理層、經理層、員工層不同的培訓要求。所以對于企業(yè)合規(guī)化建設,比較省力和經濟的方式就是引入第三方專業(yè)機構,幫助企業(yè)去做合規(guī)化建設,幫助組建企業(yè)內部的合規(guī)團隊,指導合規(guī)團隊去做具體的合規(guī)化建設工作,授人以漁。
二、推薦算法模型原則~運營推廣
網店運營:推薦算法建模原理。
直通車,手淘搜索,手淘首頁推薦兩個核心原則:第一,標簽匹配度高優(yōu)先,第二,權重高優(yōu)先。
標簽匹配,有顧客標簽和寶貝標簽,顧客標簽包括瀏覽痕跡和購買記錄,有些顧客標簽比較模糊。嬰兒標簽包括成交記錄,顧客搜索你的嬰兒然后成交,顧客標簽和搜索關鍵字給嬰兒打標簽。
先基本加權店權,再基本加權點擊率、轉化率、坑產、評價。半標品基本是銷量權重越大越好。非標品的熱度權重較高。
總之,算法模式在淘寶上都是為了使顧客能夠快速找到他們需要的產品,并獲得滿意的產品。還能使公司利潤最大化。很多商店不能做到這一點,是因為同行競爭太激烈,功夫再高也比不上菜刀。
網店運營中,如何做好主圖和直通車圖點擊率高。
淘寶店的運作。
銷售不到300的寶貝(對標同店銷售超過10000個),最好的辦法就是搞優(yōu)惠活動。
然后是銷售300以上(對標同店最高1萬以上),方法二:
淘寶店的運作。
在同類公司中研究一下銷量前10名的主圖和他們的汽車圖,看看他們的汽車圖就知道了,汽車圖很費時找,再結合他們的優(yōu)勢做主圖和車圖。
叫客服統計的客戶咨問做多了有什么問題?把客戶關心的問題列出來,制作一個表格,統計15天的數據,找出三個客戶最關心的問題,然后把客戶關心的三個問題以圖表的形式展示出來,這樣就可以消除客戶關心的三個問題。
三、搜索流量來了遞增支付買家數流量不漲反掉,為什么!
正文
在購買者數量增加之前,首先要談談核心問題-流量層次。
什么是流量層次,不是流量性質的潛在客戶,而是從流量層次上升的傾向,簡單來說就是流量層次的影響因素。
下半年進行檢索的學生是否發(fā)現了檢索流量變成波浪梯式上升的現象,以前只要支付購買者數量增加檢索就很難上升?
而且,有趣的規(guī)則的各級總是千人左右變動,基本上第一流量級為500-1000,第二流量級為1000-2000,第三流量級為2000-3000,第四流量級為3000-4000。的雙曲馀弦值。的雙曲馀弦值。的雙曲馀弦值。以下類推。
在搜索流量上升的通道中波形階梯形狀特別明顯,在第一流量水平上增加數十張的話,可能會得到500張以上的搜索搜索。如果再快速增加購買者的數量,就會發(fā)現一點作用也沒有。有時流量不上升反而會下降。許多同學一定會說是人群不允許的問題。事實是這樣嗎?
波形階梯式流量增加背后的真相是什么?
如果之前的《關于淘寶搜索推薦算法排序機制和2021年搜索變化的方向》一文中,應該可以看出玄機
結果是機器學習算法模型的影響。
以前統計算法模型還占有很大一部分權重,從2019年下半年開始第三代推薦搜索算法,真正進入了系統推薦算法時代,以前統計算法只要你做得好就能撬開流量爆炸,現在也是暫時的
為什么現在的檢索流量波形階梯式上升也是機械學習算法模型的計算力和時效的原因。
另一方面,機械學習算法模型分析您的產品根據您的產品建模推薦需要一定的時間。
第二,機械學習算法模型根據用戶和商品交流產生的行為數據,通過語言召回和向量召回,由于語言權重和向量權重的問題,不能同時獲得權重。像玩游戲一樣,必須逐步打破一個層次的一個層次。
這是波形階梯式上升的形態(tài)。
如果你能理解我在說什么,你必須尊重系統,并根據系統算法模型進行操作節(jié)奏調整和布局。
無法獲得檢索流量的幾個問題:
第一,布局語言過大,競爭環(huán)境不好,一般實戰(zhàn)中直達語言過大,無指向性,檢索方面的操作也是如此。
第二,人群標簽的問題,人群標簽首先是購物意圖正確,然后是定制屬性標簽,不重視購物意圖的測試。
第三,種子群標簽的準確性從用戶、商品和行為數據三個方面考慮。
第四,詞系布局的問題,詞系布局是詞召回中如何提高詞語權重的問題。
第五,關鍵詞和人的點擊率和轉化率問題。
第六,是人群流動帶來的問題,直通車智能新點擊量過大,喜歡使用搶劫助手卡的第一屏幕,這兩點對搜索產生影響,多是因為使用場景錯誤。
除了上述原因外,還有一個因素不為人所知。
如何理解坑產因素,如果想迅速突破這個項目的影響,不是你增加的速度,而是核心是對方沒有給予機會,對方是什么體積。
你的搜索流量比你的競爭對手多,我上一篇文章說你的強度來自你的對手有多弱。
詞召回和向量召回是機器學習模型的核心分析和判斷因素,所以尊重系統,越破壞系統越欺騙。
詞向量和向量回調如何優(yōu)化?
語向量這一重疊游戲中重復的最好方法是語系布局,如果更準確更強的話,從類別布局和商品向量布局開始。
其他,例如向量召回,系統不僅會根據標題中的分詞,還會根據意思進行語義相似度的語義向量推薦,明確方向性地知道該怎么辦。
人群標簽的判斷和確認模型:
為什么直通車增加現在很難檢索,原因真的很多,在這里再明確兩點。
第一,直通車測試和判斷的初始人標簽圖像和真正成交人標簽圖像的相似性問題。
你測試的一組標簽組合、二組、三組、不穩(wěn)定或不能擴大,ppc一天比一天高。
第二,直通車詞系和檢索方關鍵詞系的相似性問題,今天要做好檢索,首先要判斷系統,即機械學習算法模型是什么,不是計算,系統是計算,系統是如何判斷產品的
很多同學根據我之前在標簽上疊加玩法4。0之前說的測試步驟一步一步測試,之前有用,現在效果不好,為什么?核心是競爭的問題。
我們要測試人群標簽,了解人群標簽是什么,核心組合的標簽有幾個。
這一點大家都不知道,基本上以性別、年齡、消費能力、職業(yè)、城市水平等最核心的水平為中心進行測試,很多同學問為什么我測試的數據不好,大問題是購物意圖不集中。
除此之外,與品種有很大關系:
標準品和非標準品有一定的不同,但測試邏輯不變。
所謂一詞一市場,一屬性一群的關鍵詞不同,檢索背后的人不同,測試的定制人的屬性也不同。
因為不能做所有人的生意,所以首先找到適合自己產品的性別、年齡、消費能力的人。
所謂的人必須有同樣的購物意圖,但是有多少學生統一了購物意圖,測試了定制的人。
有多少同學分別測試了購物意圖語和成交語。
為什么你測試的人群標簽是正確的,但或者你測試的人標簽流動性大,不能測試特別好。
基本問題是場景分析不足,購物意圖是從潛在客戶到新客戶的過程,看點擊率和收藏購買率,成交詞是新客戶成為老客戶的過程看轉化率。
關鍵詞布局必須有兩個場景:
第一,從潛在客戶到新客戶反映購物意圖
第二,從新客戶到老客戶反映購物意圖的成交方向
也就是說,你布局的關鍵詞必須有兩種。
有購物意圖的人和有購物意圖的人,一個是收獲。
新階段看的是潛在客流轉移到新客戶的收藏購買情況,收割看的是關鍵詞的轉化率。
只以轉化率測試人群,語言方面和定制人群有很大的不穩(wěn)定性,過濾數據不穩(wěn)定。
過于穩(wěn)定的語言和定制的人們,如何正確擴大范圍鎖的死亡。
因此,關鍵詞布局基于兩個場景:
最大化有購物意圖的人,必須仔細分析具有屬性的類別詞,找出成交屬性的方向
這兩者之間的矛盾
這里還需要關鍵詞轉換率問題和詞系的焦點方向的前提。
如果詞性差異很大,即使直通車計劃的變化很好,也很難進行檢索。因為直通車關鍵詞和檢索關鍵詞的詞向量不在向量上。
成敗取決于細節(jié),通常問自己是真的知道還是不知道。
尊重系統,逐漸完成檢索的增加,檢索關鍵詞下市場更是戰(zhàn)場,你是狙擊戰(zhàn)、規(guī)模戰(zhàn)、殲滅戰(zhàn)還是游擊戰(zhàn)取決于你自己的現狀資源和對戰(zhàn)場環(huán)境的判斷,進行檢索,檢索確定店鋪的生死不是從流量的角度來考慮,而是從人群種子人群的圖像來考慮,檢索是最準確的優(yōu)化種子人群標簽圖像的端口,推薦檢索,手淘推薦是基于店鋪種子人群標簽圖像的準確性
這一切的開始都是從購物意圖開始的。的雙曲馀弦值。的雙曲馀弦值。
還有一句話,現在的時代:有流量不等于轉換,從流量到訂單,道路還很長,值得研究和學習。
七掌柜-鬼哥
。四、3分鐘輕松了解個性化推薦算法
推薦這種體驗除了電商網站,還有新聞推薦、電臺音樂推薦、搜索相關內容及廣告推薦,基于數據的個性化推薦也越來越普遍了。今天就針對場景來說說這些不同的個性化推薦算法吧。
說個性化之前,先提一下非個性化。 非個性化的推薦也是很常見的,畢竟人嘛都有從眾心理,總想知道大家都在看什么。非個性化推薦的方式主要就是以比較單一的維度加上半衰期去看全局排名,比如,30天內點擊排名,一周熱門排名。
但是只靠非個性化推薦有個弊端,就是馬太效應,點的人越多的,經過推薦點得人有更多。。。強者越強,弱者機會越少就越弱,可能導致兩級分化嚴重,一些比較優(yōu)質素材就被埋沒了。
所以,為了解決一部分馬太效應的問題,也主要是順應數據化和自動化的模式,就需要增加個性化的推薦(可算說到正題了。。。)個性化的優(yōu)點是不僅體驗好,而且也大大增加了效率,讓你更快找到你感興趣的東西。YouTube也曾做過實驗測試個性化和非個性化的效果,最終結果顯示個性化推薦的點擊率是同期熱門視頻的兩倍。
1.新聞、視頻、資訊和電臺(基于內容推薦)
一般來說,如果是推薦資訊類的都會采用基于內容的推薦,甚至早期的郵件過濾也采用這種方式。
基于內容的推薦方法就是根據用戶過去的行為記錄來向用戶推薦相似額推薦品。簡單來說就是你常常瀏覽科技新聞,那就更多的給你推薦科技類的新聞。
復雜來說,根據行為設計權重,根據不同維度屬性區(qū)分推薦品都是麻煩的事,常用的判斷用戶可能會喜歡推薦品程度的余弦向量公式長這樣,我就不解釋了(已經勾起了我關于高數不好的回憶)。。。
但是,這種算法缺點是由于內容高度匹配,導致推薦結果的驚喜度較差,而且有冷啟動的問題,對新用戶不能提供可靠的推薦結果。并且,只有維度增加才能增加推薦的精度,但是維度一旦增加計算量也成指數型增長。如果是非實體的推薦品,定義風格也不是一件容易的事,同一個作者的文風和曲風也會發(fā)生改變。
2.電商零售類(協同過濾推薦和關聯規(guī)則推薦)
說電商推薦那不可能不講到亞馬遜,傳言亞馬遜有三成的銷售額都來自個性化的商品推薦系統。實際上,我自己也常常在這里找到喜歡的書,也愿意主動的去看他到底給我推薦了什么。
一般,電商主流推薦算法是基于一個這樣的假設,“跟你喜好相似的人喜歡的東西你也很有可能喜歡?!奔磪f同過濾過濾算法。主要的任務就是找出和你品味最相近的用戶,從而根據最近他的喜好預測你也可能喜歡什么。
這種方法可以推薦一些內容上差異較大但是又是用戶感興趣的物品,很好的支持用戶發(fā)現潛在的興趣偏好。也不需要領域知識,并且隨著時間推移性能提高。但是也存在無法向新用戶推薦的問題,系統剛剛開始時推薦質可能較量差。
電商行業(yè)也常常會使用到基于關聯規(guī)則的推薦。即以關聯規(guī)則為基礎,把已購商品作為規(guī)則頭,規(guī)則體為推薦對象。比如,你購買了羽毛球拍,那我相應的會向你推薦羽毛球周邊用品。關聯規(guī)則挖掘可以發(fā)現不同商品在銷售過程中的相關性,在零售業(yè)中已經得到了成功的應用。
3.廣告行業(yè)(基于知識推薦)
自從可以瀏覽器讀取cookies,甚至獲得年齡屬性等信息,廣告的個性化投放就也可以根據不同場景使用了。
當用戶的行為數據較少時,基于知識的推薦可以幫助我們解決這類問題。用戶必須指定需求,然后系統設法給出解決方式。假設,你的廣告需要指定某地區(qū)某年齡段的投放,系統就根據這條規(guī)則進行計算。基于知識的推薦在某種程度是可以看成是一種推理技術。這種方法不需要用戶行為數據就能推薦,所以不存在冷啟動問題。推薦結果主要依賴兩種形式,基于約束推薦和基于實例推薦。
4.組合推薦
由于各種推薦方法都有優(yōu)缺點,所以在實際中,并不像上文講的那樣采用單一的方法進行建模和推薦(我真的只是為了解釋清楚算法)。。。
在組合方式上,也有多種思路:加權、變換、混合、特征組合、層疊、特征擴充、元級別。 并且,為了解決冷啟動的問題,還會相應的增加補足策略,比如根據用戶模型的數據,結合挖掘的各種榜單進行補足,如全局熱門、分類熱門等。 還有一些開放性的問題,比如,需不需要幫助用戶有品味的提升,引導人去更好的生活。
最后,我總想,最好的推薦效果是像一個了解你的朋友一樣跟你推薦,因為他知道你喜歡什么,最近對什么感興趣,也總能發(fā)現一些有趣的新東西。這讓我想到有一些朋友總會興致勃勃的過來說,嘿,給你推薦個東西,你肯定喜歡,光是聽到這句話我好像就開心起來,也許這就是我喜歡這個功能的原因。
以上就是關于搜索推薦算法相關問題的回答。希望能幫到你,如有更多相關問題,您也可以聯系我們的客服進行咨詢,客服也會為您講解更多精彩的知識和內容。
推薦閱讀:
為什么百度出現一些沒有的搜索(為什么百度出現一些沒有的搜索引擎)