Những ngày gần đây tôi cảm thấy đầu óc và suy nghĩ của bản thân không còn được minh mẫn và bình thường như trước đây. Tôi cảm thấy đau đầu và như bị ức chế thần kinh vậy, mọi thứ xung quanh tôi khiến tôi cảm thấy ồn ào và khó chịu vô cùng. Chỉ một tiếng click chuột của thằng bạn cùng phòng cũng làm tôi cảm thấy giật mình, gần như tôi không kiểm soát được đầu óc của mình nữa. Tôi nằm xuống và suy nghĩ, suy nghĩ về mọi thứ quanh tôi. Những hoạt động quanh tôi, con người, sự vật, sự kiện, tất cả những gì tôi trải qua từ trước tới này: Về quá khứ, hiện tại và tương lai. Tôi thấy bất lực với việc điều khiển suy nghĩ, tôi cố gắng nhắm mắt lại và cố gắng chỉ suy nghĩ về 1 điều: Tại sao mình lại thế này, tại sao?? Tôi bật điện thoại và tìm hiểu về nguyên nhân dẫn đến bệnh thần kinh, trước đây tôi chưa từng làm việc này. Tôi đang cảm thấy sợ, sợ mình mất đi khả năng điều khiển hành vi. Tôi tưởng tượng ra 1 ngày nào đó tôi gặp phải hoàn cảnh này, chắc chắn gia đình tôi sẽ rất khổ và tôi sẽ trở thành 1 gánh nặng nếu tôi không thể điều khiển được hành vi, cảm xúc của mình như hiện tại.
Tôi tự nói với bản thân rằng: Chắc chắn mình sẽ không bao giờ gặp phải chuyện này, nhưng vài phút sau tôi lại có suy nghĩ khác. Mình sẽ không thể biết được khi nào mình đang bị bệnh thần kinh hoặc liên quan đến việc điều khiển hành vi cảm xúc. Tôi dần cảm thấy sợ và cố gắng ngủ.
Như mọi ngày, đa phần thời gian của tôi là ngồi máy tính, đọc sách, lướt web và ngủ. Tôi không tham gia bất kỳ trò chơi, hoạt động mang tính giải trí nào hết. Tôi sợ những gì xảy ra với tôi ngày hôm nay lại tiếp tục lặp lại. Tôi bật facebook lên và gửi tin nhắn cho một người bạn của tôi và hẹn một buổi đi chơi, tôi nghĩ điều này có thể khiến tôi cảm thấy không còn căng thẳng nữa.
Người bạn đó của tôi đồng ý đi chơi vào tối hôm sau, đến giờ hẹn tôi gọi cho cô bạn đó nhưng không có ai bắt máy.Tôi không hiểu lý do, tôi tiếp tục gọi thêm 4 cuộc nhưng cũng không có ai bắt máy, tôi cảm thấy bứt dứt khó hiểu. Sau đó tôi lấy xe và đi lượn quanh khu tôi ở 1 vài vòng, tôi đi và suy nghĩ tại sao lại không nghe máy nhỉ? Tôi đãng trí và không tập trung lái xe, chỉ chút nữa là tôi gây ra tai nạn rồi. Sau đó tôi đi về phòng và nhắn tin facebook cho cô ấy, khoảng 30 phút sau thì cô ấy đọc tin nhắn tôi gửi. Tuy nhiên tôi không nhận được bất kỳ câu trả lời nào.
Chuyện này khiến tôi khó hiểu, và tôi lại cảm thấy bất an trong người, mọi thứ quanh tôi thật khó mà hiểu được.
Tôi sợ một ngày nào đó mình không còn nhận thức được bản thân nữa nên tôi bắt đầu tìm hiểu và tự nghiên cứu về hành vi của tôi thường ngày và ghi chép chúng lại trên blog này.
Tôi nhận ra rằng, mình phải hoàn thành mọi công việc của mình trước khi bệnh thần kinh ập đến với bản thân. Trước khi đầu óc của tôi không còn được bình thường thì tôi sẽ đưa thông tin về blog này cho người trong gia đình tôi biết. Những hành vi sau này của tôi nếu không được kiểm soát thì đó hoàn toàn là do bản thân tôi và không ai có ảnh hưởng khiến tôi trở nên như vậy cả, vì tôi cảm thấy chính bản thân tôi hiện tại đang còn ý thức được việc mình có thể bị rối loạn thần kinh trong tương lai. Ngay cả bản thân tôi còn không kiểm soát được nó thì không ai có thể khiến tôi khác đi được.
5/09/2015
5/05/2015
Lucene - A Full-Featured Text Search Engine
1. Building a Search Engine
Lê Đình Duy
PS: Bài mới hơn về Lucene có thể xem tại đây: Lucene -Thư viện mã nguồn mở hỗ trợ phát triển máy tìm kiếm
Nếu bạn có ý định xây dựng một search engine, vấn đề đặt ra đầu tiên là: Xây dựng một search engine phức tạp như thế nào? Bài viết " Why Writing Your Own Search Engine Is Hard", có thể giúp bạn hình dung phần nào. Nói một cách tóm tắt:
i. Bạn phải cần có một crawler, một con robot chuyên đi thu thập các trang web/tài liệu.
ii. Bạn phải cần có một chương trình đánh chỉ mục. Việc đánh chỉ mục sẽ giúp cho việc tìm kiếm các tài liệu liên quan đến một hay nhiều từ khóa cho trước sau này. Một ví dụ điển hình là inverted list, trong đó với mỗi từ khóa, lưu danh sách các tài liệu liên quan đến nó.
iii. Bạn cần phải có thuật toán xếp hạng kết quả trả về. Với việc có rất nhiều tài liệu liên quan đến các từ khóa mà người dùng nhập vào, vấn đề là làm thế nào để trả về kết quả gần với mong đợi của người dùng nhất. Một ví dụ điển hình là Page rank, thuật toán gắn với sự thống trị của Google trong lĩnh vực tìm kiếm hiện nay.
iv. Bạn cần phải có tài nguyên. Đây là chuyện những người làm academic có vẻ ít quan tâm nhất nhưng với các ứng dụng thực tế, đây là một trong những vấn đề mấu chốt. Bạn lưu trữ 100,000 trang web thì có thể sẽ chẳng có vấn đề gì với một máy PC, nhưng nếu bạn muốn lưu trữ hàng chục tỉ trang web (Google lưu khoảng 25 billions, số liệu năm 2006), thì đó lại là chuyện khác. Lúc này các vấn đề như phân tán dữ liệu thế nào, xử lí việc nhất quán dữ liệu thế nào (ví dụ lưu dữ liệu nhiều máy, nhưng một trong số đó bị hư), việc phân bổ các câu query thế nào, etc sẽ không đơn giản. Ngoài ra, băng thông cũng là vấn đề quan trọng không kém. Nếu muốn nhiều người có thể sử dụng dịch vụ của mình thì server phải mạnh, băng thông phải đủ lớn để có thể cho phép nhiều người cùng tải dữ liệu về một cách nhanh chóng, etc.
Như vậy, có thể thấy rằng, việc xây dựng một search engine from scratch là chuyện cực kì phức tạp. Đó cũng chính là lí do tại sao chúng ta nên tìm những open sources liên quan đến ứng dụng này. Nổi bật nhất trong số này là các ứng dụng/phần mềm dựa trên thư việnLucene.
2. Lucene
Lucene là một thư viện mã nguồn mở, được phát triển bởi Dough Cutting (hiện đang làm việc cho Yahoo). Thư viện này cung cấp các hàm cơ bản hỗ trợ cho việc đánh chỉ mục và tìm kiếm. Từ thư viện Lucene này, có nhiều kịch bản sử dụng sau:
i. Dùng Lucene tích hợp vào ứng dụng hiện có. Ví dụ tôi đang muốn phát triển một semanticvideo search engine, trong đó tôi có dữ liệu văn bản là các transcript và tôi muốn có một công cụ hỗ trợ cho việc tìm kiếm dựa trên văn bản. Bằng cách này, người dùng có thể gõ vào từ khóa President Bush để tìm các video transcript có nói về President Bush. Sử dụng các hàm trong thư viện Lucene liên quan đến việc đánh chỉ mục và tìm kiếm, tôi có thể thực hiện thao tác này khá dễ dàng.
ii. Xây dựng một search engine cho riêng bạn. Lúc này bạn cần phải có một web crawler chuyên đi thu thập các trang web trên Internet, để đem về đánh chỉ mục và cho phép tìm kiếm. Ứng dụng kiểu này có thể thấy tương tự ở trang www.baomoi.com. Trong ứng dụng này, web crawler sẽ được dùng để đi thu thập các tin từ các website (chủ yếu là tin tức, ví dụ vnexpress, tuoitre.com.vn, nld.com.vn, etc), sau đó tiến hành phân loại, lập chỉ mục để hỗ trợ tìm kiếm. Trong trường hợp cần web crawler, Nutch là một phần mềm mã nguồn mở, cũng do chính tác giả của Lucene là Dough Cutting phát triển, có thể giúp bạn việc này. Để có thể tiến hành thu thập và lưu trữ hàng triệu trang web một cách có hiệu quả ở nhiều máy khác nhau, Hadoop sử dụng công nghệ của GoogleFS có thể được tích hợp cùng. Bên cạnh đó Solr, một phần mềm mã nguồn mở dùng cho xây dựng các search server, cung cấp giao diện bằng web với người sử dụng cũng được xây dựng dựa trên thư viện Lucene.
Lucene ban đầu được viết hoàn toàn bằng Java. Sau đó được port qua các ngôn ngữ khác ví dụ như C, C++ ( CLucene), .NET (Lucene.NET ), Perl (Plucene), Ruby ( Ferret) và đặc biệt là PHP (Zend Framework ).
3. Lucene and MySQL
Nếu bạn đã từng làm về các ứng dụng của hệ thống thông tin, trong đó có sử dụng chức năng tìm kiếm của các hệ quản trị cơ sở dữ liệu, ví dụ như MySQL. Câu hỏi có thể đặt ra là: Dùng chức năng tìm kiếm của Lucene và của hệ quản trị CSDL như MySQL có gì khác nhau? Có thể chỉ ra một số ý như sau:
i. Khác với MySQL, dữ liệu được index phải được lưu trữ trong database, trong khi đó Lucene chỉ tạo chỉ mục trên dữ liệu hiện có. Bằng cách này, Lucene có thể tạo chỉ mục cho dữ liệu lưu trữ trong database, trong các thư mục của hệ thống tập tin. Hơn thế nữa, với việc dùng các plug-in về parsing, Lucene có thể đánh chỉ mục cho các tập tin pdf, html, MS Word, etc.
ii. Câu truy vấn của MySQL bị giới hạn bởi cú pháp của SQL query, trong khi câu truy vấn của Lucene gần với các hệ thống information retrieval hơn. Với Lucene, bạn có thể dùng proximity search, fuzzy search, wildcard search và quan trọng nhất là term boosting có thể giúp rank các kết quả trả về theo mức độ liên quan (relevancy).
iii. Tốc độ của Lucene tốt hơn so với MySQL trong trường hợp dữ liệu lớn.
Nhân tiện cũng nói thêm, để có thể tăng khả năng tìm kiếm của các hệ quản trị CSDL,Sphinx là một ứng dụng như vậy.
4. A Case Study
Một trong những lí do tôi phải tìm hiểu về Lucene đó là tôi đang làm về Person X. Ứng dụng này có thể tóm tắt như sau: Giả sử tôi có một cơ sở dữ liệu các ảnh cùng captions của nó (ví dụ như trang này http://www.cs.berkeley.edu/
Bước đầu tiên là thu thập dữ liệu. Một chương trình như Teleport có thể giúp tải hết các trang của site ở trên ( http://www.cs.berkeley.edu/
Bước tiếp theo là dùng Lucene để tạo chỉ mục cho tập các files trên và tiến hành tìm kiếm. Để làm điều này, trước tiên là download Lucene, phiên bản cho Java về từ địa chỉ này. Tôi dùng Windows và ko cần build lại nên chọn download bản đã build sẵn của Lucene, ví dụ như http://ftp.kddilabs.jp/infosyst
Sau khi unzip, có thể dùng Eclipse để load chương trình Demo trong đó có hỗ trợ các thao tác tạo chỉ mục và tìm kiếm. Lưu ý rằng Eclipse ko thể dùng file build.xml để tạo project nên tôi phải tự tạo một project mới trong Eclipse, trong đó src trỏ về thư mục src/demo. Sau khi khai báo trong mục Java Build Path/Libraries để sử dụng thư viện Lucene build sẵn lucene-core-2.2.0.jar, tôi có thể chạy các ứng dụng tạo chỉ mục và tìm kiếm một cách dễ dàng.
Một lưu ý là một khi đã tạo được chỉ mục, chúng ta có thể sử dụng ứng dụng Luke để có thể thực hiện các câu truy vấn với giao diện khá trực quan.
5. Future Plan
Từ việc tìm hiểu về Lucene, tôi có ý định làm một ứng dụng kiểu như site www.baomoi.com . Bước đầu tiên là thu thập dữ liệu thông qua dùng web crawler. Với web crawler, chúng ta có thể customize Nutch. Một khi đã có được dữ liệu, các ứng dụng tương tự như baomoi.comcó thể được phát triển tiếp.
Lê Đình Duy
PS: Bài mới hơn về Lucene có thể xem tại đây: Lucene -Thư viện mã nguồn mở hỗ trợ phát triển máy tìm kiếm
Video Processing with OpenCV
OpenCV có hỗ trợ xử lí video. Có 2 dạng hỗ trợ, thứ nhất là video thu nhận từ webcam và thứ hai là video đọc từ tập tin video.
Tôi chưa bao giờ dùng OpenCV để đọc file video cho xử lí của mình nên không rành lắm. Tuần rồi, tôi với Phong dùng code STIP của Ivan Laptev để extract space time interest points mới đụng chuyện này. Code STIP của Laptev (chạy trên Windows) viết bằng OpenCV, do đó việc đọc dữ liệu video được giao cho OpenCV xử lí. Rắc rối ở đây là có những tập tin video đưa vào, chương trình nó chỉ báo một câu lỗi duy nhất rồi thoát ra luôn.
Để có thể hiểu rõ hơn về hỗ trợ của OpenCV trong xử lí các tập tin video, link này là quan trọng nhất: http://opencv.willowgarage.
Có thể nói tóm tắt như thế này: Với mỗi tập tin video, có 2 khái niệm cần được phân biệt, đó là container và codec. Ví dụ AVI là container, còn DivX là codec. Container liên quan đến định dạng của tập tin video, ví dụ qui định video, audio, subtitle lưu như thế nào để chương trình đọc nó có thể đọc lên và synchronize; trong khi đó codec liên quan đến thuật toán nén dữ liệu. Sự kết hợp của container và codec sẽ cho ra nhiều output khác nhau. Chính vì sự phức tạp như vậy nên nhiều khi cùng là một tập tin có phần mở rộng là avi, nhưng có máy lại đọc được có máy lại đọc không được. Lí do chính nằm ở chỗ, codec có thể khác nhau, và nếu máy không cài phần mềm hỗ trợ codec đó thì nó không đọc được. Sự nhầm lẫn còn là do đôi lúc người ta gộp 2 khái niệm lại làm một, ví dụ khi nói đến file .mp4 cho iPhone, thực ra là người ta đang nói đến container mp4, và codec là H.264/AVC.
Trên Windows, OpenCV chỉ hỗ trợ các tập tin video được lưu theo container dạng AVI (điều này cũng dễ hiểu vì AVI là định dạng do Microsoft đề xuất), còn codec là loại dữ liệu không nén. Dữ liệu không nén tất nhiên sẽ cho kích thước rất lớn, gấp cả trăm lần so với dữ liệu được nén (ví dụ dùng H.264/AVC). Cứ tưởng tượng phải xử lí 100G video dạng nén với OpenCV, thì sẽ thấy dữ liệu dạng không nén lớn khủng khiếp như thế nào. Việc OpenCV chỉ hỗ trợ video dạng không nén, có lẽ là do vấn đề bản quyền.
Có một thực tế là dù trong danh sách này http://opencv.willowgarage.
Ngoài Virtual Dubb khá thông dụng cho việc chuyển đổi các định dạng video, phần mềm sau cũng cực kì hữu ích SUPER: http://www.erightsoft.com/
Nguồn: Blog Lê Đình Duy
Face Representation by SIFT Descriptor
.jpg)
Mặc dù đã có khá nhiều nghiên cứu về face representation cho face recognition, nhưng cách biểu diễn mà nhiều người dùng nhất vẫn là PCA. Cách biểu diễn này dùng một tập trainining faces (thường là đã được normalized to a canonical pose), mỗi face được biểu diễn trong một không gian đa chiều, mỗi chiều là một vị trí trong face. Ví dụ, face có kích thước 80x80, thì sẽ được biểu diễn trong không gian 6,400 chiều (=80x80), chiều thứ nhất tương ứng với vị trí (0, 0), chiều thứ hai (0, 1), v.v ... Trong không gian này, mỗi face sẽ tương ứng với một point. Feature vector tương ứng với point đó hình thành bằng cách lấy pixel intensity tại các điểm trong ảnh. Cách biểu diễn này cho số chiều quá lớn, sẽ dễ dẫn đến các hậu quả như over-fitting hoặc chi phí tính toán cao. PCA là phương pháp dùng để rút gọn số chiều lại. Thông thường, nếu có K training faces (K nhỏ hơn rất nhiều so với kích thước ảnh NxN), thì sau khi dùng PCA, số chiều tối đa là K.
PCA có thể tính bằng cách dùng matlab. Code bằng C++ có thể xem tại đây: csuEvalFaceRec - http://www.cs.colostate.edu/evalfacerec/algorithms5.html
Gần đây, có một cách biểu diễn khác đó là detect các feature points ở các vị trí như mắt, mũi, miệng, sau đó extract descriptors (ví dụ SIFT) tại các feature points, rồi nối lại thành feature vector, hoặc dùng theo kiểu BoW. Cách biểu diễn này được dùng khá nhiều cho các work về face identification hay face matching. Điển hình là bài của Everingham tại BMVC'06: Hello my name is Buffy - Automatic Naming of Characters in TV Video. Có cả source chạy bằng matlab cho phần feature point detection và descriptor extraction. Để xem các bài dùng code này có thể dùng Google Scholar tìm các bài cite tới bài này!
Với các face có kích thước đủ lớn (khoảng trên 100x100 pixel), chất lượng ảnh đầu vào nét, code trên chạy khá tốt. Tuy nhiên khi chạy trên dữ liệu face từ TRECVID data, phần eye corner detection không được tốt (các corner khác như mouth, nose thì vẫn tốt).
Lê Đình Duy
5/04/2015
Subscribe to:
Posts (Atom)