Alan Tsai 的學習筆記


學而不思則罔,思而不學則殆,不思不學則“網貸” 記錄軟體開發的點點滴滴 著重於微軟技術、網頁開發、DevOps、C#, Asp .net Mvc、Azure、AI、Chatbot、Docker、Data Science

[chatbot + AI = 下一代操作模式][39]Video Indexer - 讓影片可以被搜索和分析出影片的重點

[chatbot + AI = 下一代操作模式][39]Video Indexer - 讓影片可以被搜索和分析出影片的重點.jpg
圖片來源:https://pixabay.com/en/books-spine-colors-pastel-1099067/ 

在上一篇([38]用Application Insight看使用者都在QnA Maker查什麽)介紹完了QnA Maker之後,接下來來看看另外一個也很有意思的服務 Video Indexer

這個服務和QnA Maker一樣,他是一個用很多服務整合出來的Solution。和QnA Maker整合的都是Azure服務不同的是,Video Indexer整合的都是Cognitive Service的服務爲主。

這篇來看一下Video Indexer是什麽,并且看看能夠做到什麽。

Video Indexer是什麽?

在現在影片(Video)盛行的時代,不管是會議的錄影也好,還是教學影片也好,在使用上遇到最大的問題就是如果未來我需要搜索或者我需要快速找到影片的某一段怎麽做?

在這個系列介紹了很多的Cognitive Service,而影片其實就是很多的圖片曡在一起,那麽可不可以用目前學到的Cognitive Service把這個影片做些處理呢?

例如:

  1. 影片裡面的OCR識別
  2. 語音轉文字 - 自動做出字幕
  3. 文字翻譯 - 自動翻譯出不同語言的字幕
  4. 直接取得影片的關鍵字
  5. 識別出是誰在説話

Video Indexer就是這麽一個服務,微軟把這些服務整合了起來,讓使用者只需要上傳影片,那麽就可以取得剛剛上面提到的幾個功能以及更多。

下圖是官方列出的一些功能項:

chrome_2018-08-23_14-23-58.png
Audio以及Video提供的功能。來源:https://vi.microsoft.com/en-us/

Video Indexer的功能

要使用Video Indexer非常的簡單,只需要到官網的登入畫面:videoindexer.ai,然後用其中一種登入方式即可:

chrome_2018-08-23_11-24-26.png
有支援的登入帳號

登入了之後,可以先來看看一個已經有處理過的影片:

  1. 選擇 Sample Video
  2. 選擇 Build Keynote 2018這個影片
ApplicationFrameHost_2018-08-23_14-29-02.png
選擇 Build Keynote 2018

透過這個影片來看看:

  1. 影片關鍵字以及speaker識別的資訊
  2. 字幕以及影片圖片OCR的功能
  3. 字幕翻譯的功能
  4. 搜索影片功能

影片關鍵字以及speaker識別的資訊

剛剛那個影片按下了之後:

  1. 左邊是播放的影片
  2. 右邊是相關資訊 - 可以看到有識別出講者是Satya
  3. 往下卷還有更多資訊,例如keyword取得
ApplicationFrameHost_2018-08-23_14-31-05.png
基本的界面

這些Keyword其實可以點,點下去會直接到對應的影片位置。然後透過看keyword也可以對整個影片有個基本的overview。

在往下卷還有一些別的資訊,不過接下來看Transcript

字幕以及影片圖片OCR的功能

切換到Transcript之後,可以看到每一段的字幕,并且影片裡面的圖片也有被OCR出來

  1. 每一段字幕可以點,點下去直接進入到影片那段
  2. 可以看到左邊影片有出現介紹講著的名稱以及頭銜
  3. 在右邊的OCR有識別出來
ApplicationFrameHost_2018-08-23_14-34-53.png
看Transcript的功能

字幕翻譯的功能

既然已經有字幕了,那是否能夠自動把他翻譯成爲不同的語言呢?

可以透過右上角的下拉來選擇語言:

  1. 從下拉切換成爲 Chinese (Tridinational)
  2. 可以看到内容被翻譯成爲繁體中文
ApplicationFrameHost_2018-08-23_14-38-58.png
翻譯字幕

搜索影片功能

既然有了字幕,那麽可不可以快速找到某些片段的影片呢?

假設想看看這段影片提到了多少次Microsoft:

  1. 在右上角的輸入框輸入影片名稱
  2. 下面會列出被搜索到的部分
ApplicationFrameHost_2018-08-23_15-34-21.png
搜索Microsoft

可以想象一下,如果今天這個錄影是會議記錄,如果要找到很自己有關的片段,或者找到某一個你記得有講過的東西,直接輸入你的名字或者關鍵字就好了,是不是很方便,讓影片變得和電子書一樣,自己電子的知識庫。

從上面看到的功能裡面,可以發現很多之前介紹過的Cognitive Service服務的影子。把這些服務組合起來變成一個Solution就是Video Indexer很有意思的地方。

使用Video Indexer建立自己的影片

上面的sample影片因爲不是我們建立的,因此是沒有辦法做修改,也沒有辦法分享出去。

那麽如果要自己建立影片呢?

這邊看一下怎麽建立自己的影片。

首先,透過右上角的上箭頭去做upload:

ApplicationFrameHost_2018-08-23_13-29-40.png
右上角的上箭頭找到上傳按鈕

再來,可以選擇要從電腦上傳,還是直接給一個影片網址

這邊使用影片網址,然後使用這個影片:Overview of the Microsoft AI School

  1. 輸入影片的url
  2. 輸入影片的標題
  3. 其他看影片有沒有調整,不然就按下Upload
ApplicationFrameHost_2018-08-23_13-31-25.png
準備上傳影片

按下了之後,會直接進入到首頁,并且影片正在處理中。

好了之後,就可以點下去做播放,然後整個畫面和剛剛看的那個sample就一樣了。

可以調整預設截取的内容,譬如設定Speaker的名稱等等,可以透過點下Edit進入修改畫面:

ApplicationFrameHost_2018-08-23_16-30-07.png
進入edit畫面的按鈕

詳細的修改功能就不介紹了,應該還滿直覺,不過假設這些都調整好了,但是沒辦法分享給別人有點錦衣夜行的感覺,要把影片分享給別人,只需要調整影片的Privacy設定。

首先進入到Edit畫面,然後透過Privacy修改做設定:

ApplicationFrameHost_2018-08-23_16-36-40.png
設定Privacy為Public
接下來只要有網址的人都可以看到影片了。

Video Indexer也可以用Embed的方式,不過就留給各位去做測試啦。

結語

這篇介紹了Video Indexer這個服務。這個服務非常的有意思,除了用途之外,背後的想法是最有意思的地方: Cognitive Service有很多服務,怎麽把他們包起來使用,然後用來做什麽完全取決於想象力。這也是軟件開發有趣的地方,Sky is the limit。

這個服務就介紹到了這邊,當然如果要整合到Chatbot也是可以,不過這邊就留給大家去自由發揮啦。

Cognitive Service相關的服務就介紹到了這裡,還有很多有意思的服務,在未來有機會在介紹。

在接下來的篇幅將介紹微軟還有提供什麽工具可以使用,然後接下來有興趣可以在往那邊看。

下一篇([40]Visual Studio Tools for AI - 用VS管理Cognitive Service的服務)介紹一下工具的部分,怎麽不離開地表最强的IDE的情況下管理你的Cognitive Service。


如果文章對您有幫助,就請我喝杯飲料吧
街口支付QR Code
街口支付QR Code
台灣 Pay QR Code
台灣 Pay QR Code
Line Pay 一卡通 QR Code
Line Pay 一卡通 QR Code
街口支付QR Code
支付寶QR Code
街口支付QR Code
微信支付QR Code
comments powered by Disqus