Disney Research ได้เผยแพร่ผลงานการวิจัยใหม่ ว่าด้วยเรื่องของซอฟต์แวร์ที่ช่วยตัดต่อคลิปวิดีโอที่ถูกถ่ายจากกล้องหลายตัวเข้าเป็นคลิปเดียวกัน

ซอฟต์แวร์ที่ Disney Research พัฒนาขึ้นมานี้ สามารถนำคลิปจากกล้องหลายตัวที่บันทึกภาพเหตุการณ์เดียวกันจากหลายมุมมองเข้าเป็นคลิปเดียวกัน โดยมันจะเลือกเอาภาพที่ดีจากกล้องแต่ละตัวในแต่ละขณะมาประกอบกัน ทั้งยังสามารถตัดภาพแบบซูมเจาะเฉพาะส่วนที่สำคัญในแต่ละขณะได้ด้วย

ซอฟต์แวร์ที่ว่านี้อาศัยการประมวลผลจากภาพของกล้องแต่ละตัว ด้วยเทคนิคการวิเคราะห์ที่เรียกว่า "3D Joint Attention" จนสามารถเข้าใจได้ว่าในขณะที่บันทึกคลิปวิดีโอนั้น กล้องแต่ละตัวอยู่ในมุมและตำแหน่งไหนของสถานที่ถ่ายทำ และรู้ได้ว่าสิ่งใดคือจุดรวมความสนใจของการถ่ายทำ (หากกล้องทุกตัวจับภาพเด็กที่กำลังวิ่ง ซอฟต์แวร์ก็จะรู้ว่าการตัดต่อคลิปต้องทำโดยเลือกภาพที่ดีที่แสดงให้เห็นถึงการวิ่งของเด็ก) และเนื่องจากมันรู้ถึงตำแหน่งของกล้อง ทำให้ซอฟต์แวร์สามารถเลือกตัดต่อภาพจากกล้องต่างๆ ได้โดยไม่ฝ่าฝืน "กฎ 180 องศา" ซึ่งหมายถึงหลักการถ่ายทำภาพยนตร์ที่ผู้ตัดต่อไม่ควรตัดสลับภาพไปมาระหว่างกล้องที่ถ่ายจากด้านหน้าและด้านหลัง (หรือระหว่างด้านซ้ายและด้านขวา) ของเหตุการณ์ เพราะจะทำให้ผู้ชมรู้สึกสับสนถึงตำแหน่งและทิศทางการเคลื่อนที่ของสิ่งที่อยู่ในคลิปวิดีโอ

เมื่อซอฟต์แวร์รู้แล้วว่าสิ่งที่ต้องเป็นจุดรวมความสนใจของคลิปคืออะไร มันก็สามารถเลือกจังหวะที่จะตัดสลับภาพจากกล้องตัวแรกไปใช้ภาพจากกล้องตัวอื่นได้ อธิบายเป็นตัวอย่างได้ว่า ซอฟต์แวร์จะตัดภาพจากกล้อง 1 ไปใช้ภาพจากกล้อง 2 ก็ต่อเมื่อจุดรวมความสนใจหลุดออกจากตำแหน่งภาพที่ดีในกล้อง 1 ไปแล้ว หรือเมื่อมุมมองจากกล้อง 2 สามารถเห็นลักษณะการเคลื่อนไหวของจุดรวมความสนใจได้ดีกว่ามุมมองจากกล้อง 1 เป็นต้น โดยการตัดภาพนั้นจะเลือกทำในช่วงจังหวะที่ไม่ใช่การเคลื่อนไหวสำคัญของคนหรือสิ่งของในภาพด้วย

นอกจากนี้ซอฟต์แวร์ของ Disney Research ยังสามารถตัดต่อคลิปโดยเลือกตัดเจาะเอาเฉพาะส่วนที่น่าสนใจของคลิปนั้นได้ ยกตัวอย่างเช่น ในการถ่ายคลิปการแข่งขันฟุตบอลจากระยะไกล ซึ่งทำให้ได้ภาพมุมกว้างมานั้น ตัวซอฟต์แวร์สามารถตัดเจาะภาพโดยเลือกเอาเฉพาะส่วนของผู้เล่นและสนามให้อยู่ในเฟรมภาพของชิ้นงานได้ เพราะรู้ว่าส่วนของอัฒจันทร์สนามและท้องฟ้าเบื้องหลังนั้นไม่ใช่จุดรวมความสนใจของการถ่ายทำ

ความสามารถอื่นของซอฟต์แวร์ที่ถูกพัฒนาขึ้นนี้ยังมีการเรียบเรียงภาพจากคลิปเพื่อแยกแยะ "เนื้อเรื่องย่อย" ของการถ่ายทำออกจากกันให้ด้วย ตัวอย่างเช่นในงานเลี้ยงสังสรรค์ที่มีการบันทึกคลิปวิดีโอไว้ด้วยกล้องหลายตัวภายในงาน โดยกล้องส่วนหนึ่งเน้นถ่ายภาพบนเวที ในขณะที่ที่อีกส่วนหนึ่งเน้นถ่ายภาพบนโต๊ะอาหาร เมื่อนำภาพทั้งหมดมาตัดต่อรวมกัน ซอฟต์แวร์ของ Disney Research จะหลีกเลี่ยงการตัดภาพสลับไปมาระหว่างบนเวทีกับบนโต๊ะอาหาร (เพราะมันทราบดีว่าเนื้อหาของคลิปเหล่านั้น สนใจในคนละเรื่องกัน) แต่จะพยายามเรียบเรียงคลิปส่วนบนเวที และคลิปในส่วนของโต๊ะอาหาร แยกเป็นคนละช่วงออกจากกัน

ผลประโยชน์ที่เล็งเห็นได้ชัดของซอฟต์แวร์นี้ คงเป็นการนำไปประยุกต์ใช้เป็นเครื่องมือตัดต่อวิดีโอสำหรับผู้ใช้ที่ไม่ใช่มืออาชีพด้านการถ่ายทำหรือตัดต่อภาพ ซึ่งก็ไม่แน่ว่าวันหนึ่งเราอาจเห็นแอพตัดต่อคลิปที่สุดฉลาดจาก Disney ก็เป็นได้

ที่มา - Mashable, เอกสารงานวิจัย

Hiring! บริษัทที่น่าสนใจ

Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call

ยังไม่ทันได้อ่านตัว paper แต่ดู footage อยู่ พอถึงฉากสาธิตใน Gym มีคนเล่นบาสกันอยู่ หัวเราะก๊ากเลย ...

ตีแบตในนั้นประจำทุกอาทิตย์ :)

ต่อไปคือการทำ J Cut-L Cut Technique เพื่อให้ได้สูตรการเล่าเรื่องผ่านการตัดต่อที่ดีครับ แล้วก็แก้สีเพื่อ Match Color ในตัว

ปัญหาคือเราจะรู้ได้อย่างไรว่า Tension ของซีนนั้นๆคืออะไร แล้วการตัดอัตโนมัติจะจับส่วนสำคัญของการสนทนา/การกระทำได้อย่างไร เพื่อจับกริยาที่สำคัญที่สุด

ถ้าเป็นกริยาทั่วไปเช่นการเล่นบาส เราพอจะมองออกจากการขยับและการจับภาพ แต่การแสดงออก (เช่นการเล่นตลกรับลูกไปมาระหว่างสองคน หรือนักมายากลกับผู้ช่วย) จังหวะที่ดีนั่นจะจับได้อย่างไรให้ดูลื่นไหลครับ

คงจะต้องใช้เทคโนโลยีในตลาดหลายๆตัวมาเสริมและเกื้อหนุนกันอีกครับ

แต่น่าจะช่วยได้มากเรื่องการติดตามพฤติกรรมสัตว์ในสวนสัตว์ หรืออะไรทำนองนี้นะครับ : )

ขอบคุณครับ สวัสดีครับ

Apple
public://topics-images/apple_webp.png
SCB10X
public://topics-images/347823389_774095087711602_515970870797767330_n_webp.png
Windows 11
public://topics-images/hero-bloom-logo.jpg
Huawei
public://topics-images/huawei_standard_logo.svg_.png
Google Keep
public://topics-images/google_keep_2020_logo.svg_.png
Instagram
public://topics-images/instagram_logo_2022.svg_.png
SCB
public://topics-images/9crhwyxv_400x400.jpg
Microsoft
public://topics-images/microsoft_logo.svg_.png
Basecamp
public://topics-images/bwpepdi0_400x400.jpg
Tinder
public://topics-images/hwizi8ny_400x400.jpg
FTC
public://topics-images/seal_of_the_united_states_federal_trade_commission.svg_.png
Pinterest
public://topics-images/pinterest.png
Palantir
public://topics-images/-nzsuc6w_400x400.png
AIS Business
public://topics-images/logo-business-2021-1.png
PostgreSQL
public://topics-images/images.png
JetBrains
public://topics-images/icx8y2ta_400x400.png
Krungthai
public://topics-images/aam1jxs6_400x400.jpg
Palworld
public://topics-images/mccyhcqf_400x400.jpg
Bill Gates
public://topics-images/bill_gates-september_2024.jpg
VMware
public://topics-images/1nj4i1gp_400x400.jpg
Take-Two Interactive
public://topics-images/0khle7nh_400x400.jpg
OpenAI
public://topics-images/ztsar0jw_400x400.jpg
Thailand
public://topics-images/flag_of_thailand.svg_.png
NVIDIA
public://topics-images/srvczsfq_400x400.jpg
ServiceNow
public://topics-images/ytnrfphe_400x400.png
Klarna
public://topics-images/urcllpjp_400x400.png
Google Play
public://topics-images/play.png
Drupal
public://topics-images/drupal.png
Virtua Fighter
public://topics-images/virtua_figther_2024_logo.png
Paradox Interactive
public://topics-images/paradox_interactive_logo.svg_.png
Europa Universalis
public://topics-images/europa-icon.png
Nintendo Switch 2
public://topics-images/mainvisual.png
Cloudflare
public://topics-images/cloudflare_logo.svg_.png
Samsung
public://topics-images/samsung.png
Google
public://topics-images/google_2015_logo.svg_.png
Uber
public://topics-images/uber.png
Microsoft 365
public://topics-images/m365.png
USA
public://topics-images/flag_of_the_united_states.svg_.png
GM
public://topics-images/0pe0po-z_400x400.jpg
Perplexity
public://topics-images/perplex.jpg
Xperia
public://topics-images/xperia.png
iOS 18
public://topics-images/ios-18-num-96x96_2x.png
True
public://topics-images/true_logo.png
SoftBank
public://topics-images/softbank.jpg
Pac-Man
public://topics-images/pacman.png
Harry Potter
public://topics-images/harry.png
Marvel
public://topics-images/marvel.png
Skydance
public://topics-images/skydance.png
SEA
public://topics-images/sealogo.png
Find My Device
public://topics-images/find.png
Gemini
public://topics-images/google_gemini_logo.svg__1.png
Accessibility
public://topics-images/accessibility-128x128_2x.png
Material Design
public://topics-images/m3-favicon-apple-touch.png
Android 16
public://topics-images/android16.png
Android
public://topics-images/android_0.png
Firefox
public://topics-images/firefox_logo-2019.svg_.png
Google Messages
public://topics-images/messages.png
Notepad
public://topics-images/notepad.png
Singapore
public://topics-images/flag_of_singapore.svg_.png
Airbnb
public://topics-images/airbnb.png
PS5
public://topics-images/ps5.png
Krafton
public://topics-images/krafton.png
Doom
public://topics-images/doom-game-s_logo.svg_.png
AMD
public://topics-images/amd_logo.svg_.png
GTA
public://topics-images/gta_0.png
DoorDash
public://topics-images/doordash.png
YouTube
public://topics-images/yt.png
YouTube Music
public://topics-images/yt-music.png
Facebook
public://topics-images/fb.png
iQiyi
public://topics-images/iqiyi_0.png
Viu
public://topics-images/viu.png
Amazon Prime Video
public://topics-images/prime-vid.png
Spotify
public://topics-images/spotify.jpg
Apple TV
public://topics-images/apple-tv.png
HBO Max
public://topics-images/max.png
Threads
public://topics-images/threads.png
Alexa
public://topics-images/alexa.png
Kindle App
public://topics-images/kindle.png
Shopee
public://topics-images/shopee.png
Waze
public://topics-images/waze.png
Bilibili
public://topics-images/bili.png
Google Maps
public://topics-images/maps.png
Apple Music
public://topics-images/apple-music.png
Claude
public://topics-images/claude.png
TikTok
public://topics-images/tiktok.png
Xbox
public://topics-images/xbox.png
Tesla
public://topics-images/tesla.png
Chrome
public://topics-images/chrome.png
Google Calendar
public://topics-images/gcal.png
Google Home
public://topics-images/ghome.png
Google Meet
public://topics-images/meet.png
NotebookLM
public://topics-images/notebooklm.png
Reddit
public://topics-images/reddit.png
Assassin’s Creed
public://topics-images/ac.png
Mark Zuckerberg
public://topics-images/zuck.jpg
Meta
public://topics-images/meta.png
Meta AI
public://topics-images/meta-ai.png
Epic Games
public://topics-images/epic_games_logo.svg_.png
Unreal
public://topics-images/unreal_engine_logo-new_typeface-svg.png
Fortnite
public://topics-images/fortnite.png
DeepMind
public://topics-images/deepmind.png
Databricks
public://topics-images/databricks.png
Netflix
public://topics-images/netflix-logo.png
Microsoft Azure
public://topics-images/azure.png
Microsoft Copilot
public://topics-images/microsoft_copilot_icon.svg_.png
Bing
public://topics-images/bing.png
EA
public://topics-images/ea.png
Intel
public://topics-images/intel.png
Amazon
public://topics-images/amazon.png
AWS
public://topics-images/aws.png
Zoom
public://topics-images/zoom.png
Dropbox
public://topics-images/dropbox_0.png
Roblox
public://topics-images/roblox.png
Dell Technologies
public://topics-images/dell-tech.png
Nothing
public://topics-images/nothing.svg_.png
Microsoft Teams
public://topics-images/teams.png
Mojang
public://topics-images/mojang.png
Minecraft
public://topics-images/minecraft.png
Redis
public://topics-images/redis_logo.svg_.png
Ubisoft
public://topics-images/ubisoft_logo.svg_.png
Elden Ring
public://topics-images/elden.png
Brave
public://topics-images/brave.png
Opera
public://topics-images/opera.png
Vivaldi
public://topics-images/vivaldi.png
Microsoft Edge
public://topics-images/edge.png
NASA
public://topics-images/0zxklekb_400x400.jpg