YouTube recommendation system แนะนำวิดีโอที่น่าสนใจอย่างไร

YouTube recommendation system แนะนำวิดีโอที่น่าสนใจอย่างไร

06 มีนาคม 2565

ระบบแนะนำวิดีโอของ YouTube (YouTube recommendation system) ใช้เกณฑ์อะไรในการคัดสรรวิดีโอให้คุณโดยเฉพาะ ระบบเดาใจคุณได้อย่างไรว่าคุณจะสนใจวิดีโอนี้ ในบทความนี้เราจะมาทำความเข้าใจกับแนวคิดและวิธีการในการแนะนำวิดีโอให้ผู้ใช้งานของ YouTube กัน!

ในยุคนี้คงไม่มีใครไม่รู้จัก YouTube ซึ่งถือได้ว่าเป็นแพลตฟอร์มวิดีโอที่ใหญ่ที่สุดในโลกขณะนี้ ตั้งแต่เริ่มก่อตั้งในปี 2005 (โดยวิดีโอแรกของโลกที่ลงใน YouTube คือวิดีโอของหนึ่งในผู้ก่อตั้ง Jawed Karim ในสวนสัตว์) จนถึงวันนี้ แพลตฟอร์มได้เติบโตขึ้นอย่างมหาศาล ในปี 2020 นี้มีผู้ใช้งาน YouTube ถึงประมาณ 2.1 พันล้านคนทั่วโลก และในเดือนสิงหาคมปี 2020 วิดีโอจำนวนมากรวมความยาวแล้วมากกว่า 500 ชั่วโมงได้ถูกเพิ่มในแพลตฟอร์มของ YouTube   

ไม่มีใครสามารถปฏิเสธได้ว่า YouTube ยังครองแพลตฟอร์มวิดีโออันดับหนึ่งของยุคนี้ด้วยวิดีโอที่มีเนื้อหาหลากหลาย ตั้งแต่ตลกเบาสมอง เพลง การท่องเที่ยว การใช้ชีวิต สารคดีวิทยาศาสตร์ ไปจนถึงวิดีโอให้ความรู้ต่าง ๆ ในสหสาขาวิชา (ผู้เขียนเคยสอบเลขผ่านเพราะวิดีโอใน YouTube ช่วยชีวิตไว้มาแล้ว!) อีกทั้งยังเป็นแหล่งสร้างรายได้ให้ผู้คนมากมายจนเกิดอาชีพใหม่ของศตวรรษนั่นคือ YouTuber หรือผู้สร้างวิดีโอใน YouTube

ด้วยวิดีโอที่หลากหลายและผู้ใช้งานที่มหาศาล YouTube นั้นต้องการรักษาผู้ใช้งานของตนเองไม่ต่างจากแพลตฟอร์มออนไลน์ชื่อดังอื่น ๆ อย่าง Netflix หรือ Amazon โดยทำความเข้าใจและปรับการแนะนำวิดีโอตามความสนใจและพฤติกรรมของผู้ใช้งานผ่าน Recommendation system (หรือระบบแนะนำสินค้าซึ่งในที่นี้คือ วิดีโอ)

ถ้าคุณและเพื่อนของคุณใช้งาน YouTube พร้อมกัน คุณอาจจะสังเกตว่า วิดีโอที่ YouTube แนะนำบนหน้าจอของคุณกับเพื่อนนั้นแตกต่างกันขึ้นอยู่กับพฤติกรรมการดูวิดีโอของพวกคุณ หน้าจอของเพื่อนคุณที่รักหนังเกาหลีสุดหัวใจก็คงเต็มไปด้วยละคร เพลงและรายการเกาหลีต่าง ๆ ในขณะที่คุณซึ่งสนใจกีฬาฟุตบอล หน้าจอก็คงมีวิดีโอการแข่งขันต่าง ๆ โดยเฉพาะที่เกี่ยวข้องกับทีมที่คุณชื่นชอบเป็นส่วนใหญ่    

ในบทความนี้ เราจะพาคุณทำความเข้าใจระบบแนะนำวิดีโอของ YouTube (YouTube recommendation system) ให้มากขึ้น โดยเริ่มต้นจากนิยามของ Recommendation system ตามมาด้วยการพัฒนาระบบและเกณฑ์ที่ YouTube ใช้ในการคัดสรรวิดีโอที่มีคุณภาพให้กับคุณ        

อะไรคือ Recommendation system

Recommendation system หรือระบบแนะนำสินค้านั้นสามารถพบเห็นได้ทั่วไปในแพลตฟอร์มออนไลน์ เช่น การแนะนำหนังใน Netflix หรือการแนะนำสินค้าใน Amazon จุดประสงค์หลักของระบบแนะนำสินค้านี้คือ การคัดกรองสินค้าที่คาดการณ์ว่า ผู้ใช้งาน “น่าจะสนใจ” ซึ่งสามารถแบ่งได้เป็นสองประเภทดังนี้ นี้ 

Recommendation system ซึ่งแบ่งเป็นสองประเภท คือ Collaborative filtering และ Content-based filtering
Recommendation system ซึ่งแบ่งเป็นสองประเภทดังรูป นั่นคือ  
1) Collaborative filtering: การคัดกรองผ่านลักษณะของผู้ใช้งานที่เหมือนกัน และ
2) Content-based filtering: การคัดกรองผ่านลักษณะสินค้าที่เหมือนกัน
(แหล่งที่มา: towardsdatascience
  • Collaborative filtering (การคัดกรองผ่านลักษณะของผู้ใช้งานที่เหมือนกัน) เป็นการคัดกรองสินค้าโดยคำนึงถึงพฤติกรรมของผู้ใช้งานที่มีลักษณะคล้ายกับผู้ใช้งานผู้นี้ด้วย โดยมีสมมติฐานว่า ผู้ใช้ลักษณะคล้ายกันมีแนวโน้มจะชื่นชอบสินค้าคล้ายกัน 
  • Content-based filtering (การคัดกรองผ่านลักษณะสินค้าที่เหมือนกัน) เป็นการคัดกรองที่ระบบจะแนะนำสินค้าที่มีลักษณะคล้ายกับสิ่งที่ผู้ใช้งานคนนั้นสนใจในอดีต  

สำหรับรายละเอียดทั่วไปของ Recommendation system ผู้อ่านสามารถอ่านเพิ่มเติมได้ที่นี่   

ในปัจจุบัน ระบบแนะนำใน YouTube นั้นถือเป็นรูปแบบแรก นั่นคือ แนะนำวิดีโอที่ผู้ใช้งานน่าจะสนใจผ่านการศึกษาผู้ใช้งานที่มีลักษณะคล้ายกัน ระบบนี้สามารถพบได้สองจุดใน YouTube นั่นคือ หน้า Home ซึ่งเป็นหน้าแรกของ YouTube และ แถบ Up Next ซึ่งจะขึ้นที่แถบขวามือเพื่อแนะนำวิดีโอถัดไปในระหว่างที่ผู้ใช้งานดูวิดีโออื่นอยู่  

ตัวอย่างการแนะนำวิดีโอของ YouTube ในหน้า Home
ตัวอย่างการแนะนำวิดีโอของ YouTube ในหน้า Home โดยในกรอบสีแดงนั้นมีประเภทเนื้อหาที่คาดว่าผู้ใช้งานน่าจะสนใจ
ตัวอย่างการแนะนำวิดีโอในแถบ Up Next
ตัวอย่างการแนะนำวิดีโอในแถบ Up Next ทางด้านซ้ายมือ (ในกรอบสีแดง)

ตั้งแต่ปี 2005 ซึ่งเป็นปีที่ YouTube ถือกำเนิดขึ้นถึงปัจจุบันนั้น ทางทีมงานได้พัฒนาระบบแนะนำวิดีโอมาอย่างมากมาย ตั้งแต่แนะนำเพียงแค่วิดีโอที่มียอดเข้าชมสูงสุด จนถึงความมุ่งมั่นในการนำเสนอสื่ออย่างมีความรับผิดชอบด้วยการไม่แนะนำวิดีโอที่มีเนื้อหาสุ่มเสี่ยงและนำไปสู่ความเข้าใจผิดบนแพลตฟอร์ม ซึ่งรายละเอียดนั้นอยู่ในหัวข้อถัดไป

“การแนะนำวิดีโอนั้นเป็นตัวแปรสำคัญในการเพิ่มยอดการเข้าชมโดยรวมใน YouTube มากกว่าจากการกดติดตามช่องหรือการค้นหาวิดีโอเสียอีก”  

Cristos Goodrow, VP of Engineering at YouTube

พัฒนาการของระบบแนะนำวิดีโอของ YouTube

ปี 2005-2011: ยุคที่ยึดยอดการเข้าชมวิดีโอเป็นเกณฑ์หลัก

ในช่วงแรก YouTube นั้นให้ความสำคัญกับยอดการชมวิดีโอและการคลิกเข้าดูวิดีโอของผู้ใช้งานเป็นหลัก เนื่องจากเชื่อว่านั่นคือตัวชี้วัดความสนใจของผู้ใช้งาน ดังนั้นระบบแนะนำวิดีโอตอนนั้นจะแสดงวิดีโอที่มียอดการเข้าชมสูงแก่ผู้ใช้งานเป็นส่วนใหญ่ แต่ภายหลังทีมงาน YouTube ได้ตระหนักว่า เกณฑ์นี้อาจไม่ใช่ตัวชี้วัดที่ถูกต้อง เนื่องจากยอดการเข้าชมอาจเกิดจากเพียงแค่ชื่อวิดีโอที่เรียกความสนใจให้กดดู (หรือ clickbait) เพื่อให้แนะนำวิดีโอที่คาดว่าผู้ใช้งานน่าจะอยากดูจริง ๆ ทีมงานจึงได้เพิ่มระยะเวลาการเข้าชมเข้ามาเป็นตัวชี้วัดความน่าสนใจชองวิดีโอสำหรับผู้ใช้งานด้วย 

ปี 2012: ยุคที่เพิ่มความสนใจในระยะเวลาของการเข้าชม

หลังจากที่ทีมงานได้เพิ่มเกณฑ์เกี่ยวกับระยะเวลาในการเข้าชมเข้ามาในระบบแนะนำวิดีโอ ยอดการเข้าชมโดยรวมนั้นลดลงไป 20% แต่ทีมงานก็ยังเชื่อมั่นที่จะใช้เกณฑ์นี้ในการนำเสนอวิดีโอที่ผู้ใช้งานน่าจะสนใจจริง ๆ อย่างไรก็ตามภายหลังทีมงานได้ตระหนักถึงปัญหาว่า เกณฑ์นี้ก็ยังไม่เพียงพอในการแนะนำวิดีโอ เนื่องจากผู้สร้างวิดีโอบางคนจงใจให้วิดีโอตัวเองสั้นเพื่อให้ผู้ใช้งานดูจนจบ ในขณะที่ผู้สร้างวิดีโอบางคนจงใจสร้างวิดีโอตัวเองให้ยาวเพื่อเพิ่มระยะเวลาในการเข้าชม ที่สำคัญระยะเวลาการเข้าชมนั้นไม่สามารถบ่งบอกว่า ระยะเวลานั้นคือเวลาที่ผู้ใช้งานสนใจเนื้อหาในวิดีโอจริง ๆ เพราะอาจจะเกิดจากการเปิดวิดีโอแบบสุ่มก็เป็นได้  ดังนั้นทางทีมงานจึงพัฒนาระบบโดยเพิ่มตัวชี้วัดมากยิ่งขึ้น โดยเฉพาะสิ่งที่เกี่ยวกับพฤติกรรมส่วนบุคคลของผู้ใช้งาน

ปี 2015-2016: ยุคที่ให้ความสนใจต่อพฤติกรรมของผู้ใช้งาน

ในช่วงนี้ YouTube ได้เพิ่มเกณฑ์ในการวัดความพึงพอใจและความสนใจเข้ารับชมวิดีโอมากขึ้น ด้วยการดูยอดการแชร์และการชื่นชอบวิดีโอ (รวมถึงการกดไม่ชอบวิดีโอนั้นด้วย) นอกจากนี้ยังเพิ่มการสอบถามผู้ใช้งานผ่านแบบสำรวจของการให้คะแนนความพึงพอใจพร้อมเหตุผล ถ้าผู้ใช้งานให้คะแนนวิดีโอนั้นสูง YouTube จะให้น้ำหนักกับระยะเวลาการเข้าชมของผู้ใช้งานคนนั้นมากขึ้น  

อย่างไรก็ตาม ผู้ใช้งานอาจจะไม่ตอบแบบสำรวจนั้นเสมอไป (ซึ่งรวมถึงผู้เขียนที่กดข้ามแบบสำรวจนั้นตลอดด้วย ฮา) ทางทีมงานจึงได้พัฒนาแบบจำลองทางคณิตศาสตร์ (หรือ Machine learning model) ให้มีการทำนายผลของแบบสำรวจนี้ และมีการตรวจสอบความถูกต้องของแบบจำลองนี้ด้วยการตัดคำตอบในแบบสำรวจบางส่วนออกจากการพัฒนาและเทียบกับสิ่งที่แบบจำลองนี้ทำนายในภายหลัง  

ในปี 2016 YouTube ได้ตีพิมพ์งานวิจัยในหัวข้อ “Deep Neural Networks for YouTube Recommendations” เกี่ยวกับการนำเทคนิคที่ชื่อว่า Deep Neural Networks มาพัฒนาระบบแนะนำวิดีโอซึ่งถือได้เป็นงานชิ้นแรก ๆ ที่มีการนำเทคนิคนี้มาพัฒนาการแนะนำสินค้าและเป็นก้าวสำคัญของ YouTube ในการนำข้อมูลผู้ใช้งานจำนวนมหาศาลมาใช้ประโยชน์ให้การแนะนำวิดีโอนั้นมีความแม่นยำและเหมาะสมกับผู้ใช้งานรายบุคคลมากขึ้น  

สถาปัตยกรรมของ Recommendation system
สถาปัตยกรรมของระบบแนะนำวิดีโอของ YouTube จากงานวิจัยเรื่อง “Deep Neural Networks for YouTube Recommendations” ในปี 2016

โดยสรุปจากรูปสถาปัตยกรรมของระบบข้างต้น ระบบนั้นประกอบไปด้วยสองส่วน ดังนี้

  • Candidate generation (ส่วนค้นหาวิดีโอที่มีความเกี่ยวข้อง) เป็นส่วนที่คัดกรองวิดีโอจำนวนมหาศาลให้เหลือเพียงแค่วิดีโอจำนวนหลักร้อยที่มีความเกี่ยวข้องกับผู้ใช้งานโดยเฉพาะ โดยพิจารณาจากประวัติการใช้งานของผู้ใช้งานเป็นหลัก เช่น วิดีโอที่รับชม ประวัติการค้นหาวิดีโอ จำนวนการรับชมวิดีโอ เป็นต้น  
  • Ranking (ส่วนที่เรียงลำดับคะแนนวิดีโอ) เป็นส่วนที่พิจารณาวิดีโอที่ได้รับการคัดกรองจากขั้นตอนแรกให้ละเอียดมากยิ่งขึ้น โดยเพิ่มการพิจารณาองค์ประกอบของวิดีโอนั้น ๆ เช่น ความสนใจในวิดีโอของผู้ใช้งานผู้อื่น เป็นต้น และให้คะแนนความเกี่ยวข้องของวิดีโอกับผู้ใช้งาน จากนั้นจึงคัดกรองและนำเสนอเพียงแค่วิดีโอที่คาดว่า ผู้ใช้งานน่าจะสนใจดูจริง ๆ  

หลังจากที่ระบบนำเทคนิคนี้มาใช้ ในปี 2018 YouTube ประกาศว่า 70% ของระยะเวลาในการเข้าชมนั้นมาจากการที่ระบบแนะนำวิดีโอซึ่งเป็นตัวชี้วัดความสำเร็จของระบบแนะนำวิดีโอนี้ได้อย่างดีทีเดียว  

ปี 2016-ปัจจุบัน: ยุคที่ให้ความสำคัญกับเนื้อหาของวิดีโอมากขึ้น  

YouTube นั้นมีการพิจารณาเนื้อหาของวิดีโอมาตั้งแต่ในอดีต ในปี 2011 YouTube มีการพัฒนาตัวคัดกรองเนื้อหาในวิดีโอที่มีความเกี่ยวข้องกับทางเพศหรือความรุนแรง และในปี 2016 ได้มีการพัฒนาแบบจำลองคณิตศาสตร์เพื่อทำนายโอกาสที่วิดีโอนั้นจะมีเนื้อหาความรุนแรงและลบวิดีโอเหล่านั้นออกจากการแนะนำ  

ในปัจจุบัน YouTube ให้ความสำคัญในการพิจารณาเนื้อหาของวิดีโอเป็นอย่างมาก โดยเฉพาะเนื้อหาสุ่มเสี่ยงที่สามารถสร้างความเข้าใจผิด เช่น เรื่องโลกแบน เป็นต้น ดังนั้นจึงมีการตรวจสอบความน่าเชื่อถือของแหล่งที่มาของวิดีโอและมีการจ้างผู้เชี่ยวชาญเฉพาะด้าน เช่น แพทย์ มาช่วยตรวจสอบเนื้อหาของวิดีโอ ในปี 2019 ซึ่งเป็นช่วงที่ YouTube เริ่มลดความสำคัญของวิดีโอที่มีเนื้อหาที่สร้างความเข้าใจผิด ส่งผลให้ยอดการเข้าชมวิดีโอเหล่านั้นจากผู้ที่ไม่ได้กดติดตามช่อง (หรือก็คือผู้ใช้งานใหม่ที่อาจจะรู้จักวิดีโอเหล่านี้ผ่านระบบแนะนำวิดีโอ) ในสหรัฐอเมริกาลดลงไป 70% และในปัจจุบันมีผู้ใช้งานในแพลตฟอร์มได้รับการแนะนำวิดีโอที่มีเนื้อหาสุ่มเสี่ยงที่จะเข้าใจผิดเหล่านั้นน้อยกว่า 1% 

“นั่นคือสาเหตุว่า การแนะนำวิดีโอนั้นมีบทบาทที่สำคัญเป็นอย่างมากในการที่เรารักษาคุณภาพของแพลตฟอร์ม เพราะการแนะนำนั้นเป็นสิ่งที่เชื่อมโยงผู้ชมและข้อมูลที่มีคุณภาพสูงเข้าด้วยกัน พร้อมทั้งลดโอกาสในการเห็นเนื้อหาที่สร้างปัญหาให้อีกด้วย” 

Cristos Goodrow, VP of Engineering at YouTube

อย่างที่กล่าวไปข้างต้น ในอดีต YouTube เริ่มต้นคัดสรรวิดีโอจากวิดีโอที่มีความนิยม มีผู้เข้าชมเยอะ จากนั้นจึงได้มีความพยายามมุ่งปรับให้เข้ากับความสนใจของผู้ใช้งาน จนในปัจจุบัน YouTube ให้ความสำคัญกับเนื้อหาในวิดีโอเป็นอย่างมากเพื่อส่งต่อวิดีโอที่มีคุณภาพให้กับผู้ใช้งาน ทำให้เห็นได้ว่านอกจากการเข้าใจในพฤติกรรมการเสพสื่อของผู้ใช้งานแล้ว ความรับผิดชอบเนื้อหาของสื่อในแพลตฟอร์มนั้นก็มีความสำคัญไม่แพ้กัน ในอนาคต ทิศทางการพัฒนาระบบแนะนำวิดีโอของ YouTube จะเป็นอย่างไรนั้น จะน่าสนใจเพียงใด ก็คงต้องติดตามกันต่อไป   

แหล่งอ้างอิง

เนื้อหาโดย ศรัณธร ภู่สิงห์ 
ตรวจทานและปรับปรุงโดย พีรดล สามะศิริ

Senior Data Scientist at Big Data institute (BDI)

แบ่งปันบทความ

กลุ่มเนื้อหา

แท็กยอดนิยม

แจ้งเรื่องที่อยากอ่าน

คุณสามารถแจ้งเรื่องที่อยากอ่านให้เราทราบได้ !
และเราจะนำไปพัฒนาบทความให้มีเนื้อหาที่น่าสนใจมากขึ้น

ไอคอน PDPA

เราใช้คุกกี้เพื่อพัฒนาประสิทธิภาพ และประสบการณ์ที่ดีในการใช้เว็บไซต์ของคุณ คุณสามารถศึกษารายละเอียดได้ที่ “นโยบายคุ้กกี้” และสามารถจัดการความเป็นส่วนตัวเองได้ของคุณได้เองโดยคลิกที่ “ตั้งค่า”

ตั้งค่าความเป็นส่วนตัว

คุณสามารถเลือกการตั้งค่าคุกกี้โดยเปิด/ปิด คุกกี้ในแต่ละประเภทได้ตามความต้องการ ยกเว้น คุกกี้ที่จำเป็น

ยอมรับทั้งหมด
จัดการความเป็นส่วนตัว
  • คุกกี้ที่มีความจำเป็น (Strictly Necessary Cookies)
    เปิดใช้งานตลอด

    คุกกี้ประเภทนี้มีความจำเป็นต่อการให้บริการเว็บไซต์ของ สำนักงานคณะกรรมการคุ้มครองข้อมูลส่วนบุคคล เพื่อให้ท่านสามารถเข้าใช้งานในส่วนต่าง ๆ ของเว็บไซต์ได้ รวมถึงช่วยจดจำข้อมูลที่ท่านเคยให้ไว้ผ่านเว็บไซต์ การปิดการใช้งานคุกกี้ประเภทนี้จะส่งผลให้ท่านไม่สามารถใช้บริการในสาระสำคัญของ สำนักงานคณะกรรมการคุ้มครองข้อมูลส่วนบุคคล ซึ่งจำเป็นต้องเรียกใช้คุกกี้ได้
    รายละเอียดคุกกี้

  • คุกกี้เพื่อการวิเคราะห์และประเมินผลการใช้งาน (Performance Cookies)

    คุกกี้ประเภทนี้ช่วยให้ BDI ทราบถึงการปฏิสัมพันธ์ของผู้ใช้งานในการใช้บริการเว็บไซต์ของ BDI รวมถึงหน้าเพจหรือพื้นที่ใดของเว็บไซต์ที่ได้รับความนิยม ตลอดจนการวิเคราะห์ข้อมูลด้านอื่น ๆ BDI ยังใช้ข้อมูลนี้เพื่อการปรับปรุงการทำงานของเว็บไซต์ และเพื่อเข้าใจพฤติกรรมของผู้ใช้งานมากขึ้น ถึงแม้ว่า ข้อมูลที่คุกกี้นี้เก็บรวบรวมจะเป็นข้อมูลที่ไม่สามารถระบุตัวตนได้ และนำมาใช้วิเคราะห์ทางสถิติเท่านั้น การปิดการใช้งานคุกกี้ประเภทนี้จะส่งผลให้ BDI ไม่สามารถทราบปริมาณผู้เข้าเยี่ยมชมเว็บไซต์ และไม่สามารถประเมินคุณภาพการให้บริการได้

  • คุกกี้เพื่อการใช้งานเว็บไซต์ (Functional Cookies)

    คุกกี้ประเภทนี้จะช่วยให้เว็บไซต์ของ BDI จดจำตัวเลือกต่าง ๆ ที่ท่านได้ตั้งค่าไว้และช่วยให้เว็บไซต์ส่งมอบคุณสมบัติและเนื้อหาเพิ่มเติมให้ตรงกับการใช้งานของท่านได้ เช่น ช่วยจดจำชื่อบัญชีผู้ใช้งานของท่าน หรือจดจำการเปลี่ยนแปลงการตั้งค่าขนาดฟอนต์หรือการตั้งค่าต่าง ๆ ของหน้าเพจซึ่งท่านสามารถปรับแต่งได้ การปิดการใช้งานคุกกี้ประเภทนี้อาจส่งผลให้เว็บไซต์ไม่สามารถทำงานได้อย่างสมบูรณ์

  • คุกกี้เพื่อการโฆษณาไปยังกลุ่มเป้าหมาย (Targeting Cookies)

    คุกกี้ประเภทนี้เป็นคุกกี้ที่เกิดจากการเชื่อมโยงเว็บไซต์ของบุคคลที่สาม ซึ่งเก็บข้อมูลการเข้าใช้งานและเว็บไซต์ที่ท่านได้เข้าเยี่ยมชม เพื่อนำเสนอสินค้าหรือบริการบนเว็บไซต์อื่นที่ไม่ใช่เว็บไซต์ของ BDI ทั้งนี้ หากท่านปิดการใช้งานคุกกี้ประเภทนี้จะไม่ส่งผลต่อการใช้งานเว็บไซต์ของ BDI แต่จะส่งผลให้การนำเสนอสินค้าหรือบริการบนเว็บไซต์อื่น ๆ ไม่สอดคล้องกับความสนใจของท่าน

บันทึกการตั้งค่า
This site is registered on wpml.org as a development site. Switch to a production site key to remove this banner.