Shannon: Information Theory 2
A. In April 2002 an event took place which demonstrated one of the many applications of information theory. The space probe, Voyager I, launched in 1977, had sent back spectacular images of Jupiter and Saturn and then soared out of the solar System on a one-way mission to the stars. After 25 years of exposure to the freezing temperatures of deep space, the probe was beginning to show its age. Sensors and circuits were on the brink of failing and NASA experts realized that they had to do something or lose contact with their probe forever. The solution was to get a message to Voyager I to instruct it to use spares to change the failing parts. With the probe 12 billion kilometres from Earth, this was not an easy task. By means of a radio dish belonging to NASA's Deep Space Network, the message was sent out into the depths of space. Even travelling at the speed of light, it took over 11 hours to reach its target, far beyond the orbit of Pluto. Yet, incredibly, the little probe managed to hear the faint call from its home planet, and successfully made the switchover.
Vào tháng 4 năm 2002, đã xảy ra một sự kiện cho thấy một trong nhiều ứng dụng của lý thuyết thông tin. Tàu thăm dò không gian Voyager I, được phóng vào năm 1977, đã truyền về những hình ảnh ngoạn mục của Sao Mộc và Sao Thổ, sau đó lao ra khỏi Hệ Mặt Trời trong một sứ mệnh một chiều hướng tới các vì sao. Sau 25 năm tiếp xúc với nhiệt độ lạnh giá của không gian sâu, tàu bắt đầu cho thấy dấu hiệu lão hóa. Các cảm biến và mạch điện gần như sắp hỏng, và các chuyên gia của NASA nhận ra rằng họ phải làm điều gì đó nếu không sẽ mất liên lạc với tàu mãi mãi. Giải pháp được đưa ra là gửi một thông điệp tới Voyager I để chỉ dẫn nó sử dụng các bộ phận dự phòng thay thế các bộ phận đang hỏng. Với khoảng cách 12 tỷ kilômét từ Trái Đất, đây không phải là một nhiệm vụ dễ dàng. Thông qua một mâm thu phát sóng thuộc Mạng Lưới Không Gian Sâu của NASA, thông điệp được gửi đi vào sâu trong không gian. Ngay cả khi di chuyển với tốc độ ánh sáng, mất hơn 11 giờ mới tới đích, xa hơn quỹ đạo của sao Diêm Vương. Tuy nhiên, thật phi thường, tàu nhỏ vẫn nghe được tiếng gọi yếu ớt từ hành tinh của nó và đã chuyển đổi thành công.
B. It was the longest-distance repair job in history, and a triumph for the NASA engineers. But it also highlighted the astonishing power of the techniques developed by American communications engineer Claude Shannon, who had died just a year earlier. Born in 1916 in Petoskey, Michigan, Shannon showed an early talent for maths and for building gadgets and made breakthroughs in the foundations of computer technology when he was still a student. While at Bell Laboratories, Shannon developed information theory, but shunned the resulting acclaim. In the 1940s, he single-handedly created an entire science of communication which has since inveigled its way into a host of applications from DVDs to satellite communications to bar codes – any area, in short, where data has to be conveyed rapidly yet accurately.
Đây là công việc sửa chữa cách xa nhất trong lịch sử và là một chiến thắng của các kỹ sư NASA. Nhưng nó cũng làm nổi bật sức mạnh đáng kinh ngạc của những kỹ thuật do kỹ sư truyền thông người Mỹ Claude Shannon phát triển, người đã qua đời chỉ một năm trước đó. Sinh năm 1916 tại Petoskey, Michigan, Shannon đã cho thấy tài năng toán học và khả năng lắp ráp các thiết bị từ sớm, và đã có những bước đột phá trong nền tảng của công nghệ máy tính khi còn là sinh viên. Khi làm việc tại Bell Laboratories, Shannon đã phát triển lý thuyết thông tin, nhưng ông đã né tránh sự ca ngợi mà nó mang lại. Vào những năm 1940, ông đã đơn độc tạo ra một ngành khoa học giao tiếp hoàn toàn, ngành đã nhanh chóng lan tỏa vào vô số ứng dụng từ DVD đến truyền thông vệ tinh và mã vạch – bất kỳ lĩnh vực nào mà dữ liệu cần được truyền tải một cách nhanh chóng nhưng chính xác.
C. This all seems light years away from the down-to-earth uses Shannon originally had for his work, which began when he was a 22-year-old graduate engineering student at the prestigious Massachusetts Institute of Technology in 1939. He set out with an apparently simple aim: to pin down the precise meaning of the concept of 'information'. The most basic form of information, Shannon argued, is whether something is true or false – which can be captured in the binary unit, or “bit”, of the form 1 or 0. Having identified this fundamental unit, Shannon set about defining otherwise vague ideas about information and how to transmit it from place to place. In the process he discovered something surprising: it is always possible to guarantee information will get through random interference – “noise” – intact.
Tất cả điều này có vẻ xa rời so với những ứng dụng thực tế mà Shannon ban đầu hướng đến khi bắt đầu công trình của mình, khi ông là một sinh viên kỹ thuật tốt nghiệp 22 tuổi tại Viện Công nghệ Massachusetts danh giá vào năm 1939. Ông đã đặt ra mục tiêu tưởng chừng đơn giản: làm rõ ý nghĩa chính xác của khái niệm “thông tin”. Hình thức thông tin cơ bản nhất, theo Shannon, là việc một điều gì đó có đúng hay sai – điều này có thể được thể hiện qua đơn vị nhị phân, hay “bit”, có dạng 1 hoặc 0. Sau khi xác định được đơn vị cơ bản này, Shannon bắt đầu định nghĩa những ý tưởng mơ hồ về thông tin và cách truyền tải nó từ nơi này sang nơi khác. Trong quá trình đó, ông phát hiện ra điều bất ngờ: luôn có thể đảm bảo thông tin sẽ vượt qua sự can thiệp ngẫu nhiên – “nhiễu” – mà không bị hỏng.
D. Noise usually means unwanted sounds which interfere with genuine information. Information theory generalises this idea via theorems that capture the effects of noise with mathematical precision. In particular, Shannon showed that noise sets a limit on the rate which information can pass along communication channels while remaining error-free. This rate depends on the relative strengths of the signal and noise travelling down the communication channel, and on its capacity (its “bandwidth”). The resulting limit, given in units of bits per second, is the absolute maximum rate of error-free communication given signal strength and noise level. The trick, Shannon showed, is to find ways of packaging up – “coding” – information to cope with the ravages of noise, while staying within the information-carrying capacity – “bandwidth” – of the communication system being used.
“Nhiễu” thường có nghĩa là những âm thanh không mong muốn cản trở thông tin chính xác. Lý thuyết thông tin khái quát hóa ý tưởng này thông qua các định lý, giúp mô tả tác động của nhiễu một cách chính xác bằng toán học. Cụ thể, Shannon cho thấy rằng nhiễu đặt ra một giới hạn về tốc độ mà thông tin có thể truyền qua các kênh giao tiếp mà vẫn không có lỗi. Tốc độ này phụ thuộc vào cường độ tương đối của tín hiệu và nhiễu truyền đi qua kênh giao tiếp, cũng như vào dung lượng của nó (hay “băng thông”). Giới hạn được đưa ra, tính bằng đơn vị bit trên giây, là tốc độ tối đa tuyệt đối của việc giao tiếp không lỗi với cường độ tín hiệu và mức độ nhiễu nhất định. Bí quyết, theo Shannon, là tìm ra cách đóng gói – “mã hóa” – thông tin để đối phó với tác động của nhiễu, trong khi vẫn nằm trong khả năng truyền tải của hệ thống giao tiếp được sử dụng.
E. Over the years scientists have devised many such coding methods, and they have proved crucial in many technological feats. The Voyager spacecraft transmitted data using codes which added one extra bit for every single bit of information; the result was an error rate of just one bit in 10,000 – and stunningly clear pictures of the planets. Other codes have become part of everyday life – such as the Universal Product Code, or bar code, which uses a simple error-detecting system that ensures supermarket check-out lasers can read the price even on, say, a crumpled bag of crisps. As recently as 1993, engineers made a major breakthrough by discovering so-called turbo codes – which come very close to Shannon's ultimate limit for the maximum rate – and now play a key role in the mobile videophone revolution.
Qua các năm, các nhà khoa học đã phát minh ra nhiều phương pháp mã hóa như vậy, và chúng đã chứng tỏ là then chốt trong nhiều thành tựu công nghệ. Tàu vũ trụ Voyager đã truyền dữ liệu bằng cách sử dụng các mã bổ sung một bit dự phòng cho mỗi bit thông tin; kết quả là tỷ lệ lỗi chỉ là một bit trên 10.000 – và có được những hình ảnh siêu rõ nét của các hành tinh. Các mã khác đã trở thành một phần của cuộc sống hàng ngày – như Mã Sản Phẩm Phổ Quát (mã vạch), giúp hệ thống quét giá tại siêu thị có thể đọc được giá ngay cả khi bao bì có thể bị nhăn nheo. Chỉ đến năm 1993, các kỹ sư mới đạt được bước đột phá lớn khi phát hiện ra “mã turbo” – hầu như đã đạt đến giới hạn tối đa mà Shannon đề ra – và ngày nay đóng vai trò quan trọng trong cuộc cách mạng điện thoại video di động.
F. Shannon also laid the foundations of more efficient ways of storing information, by stripping out superfluous (“redundant”) bits from data which contributed little real information. As mobile phone text messages like “I CN C U” show, it is often possible to leave out a lot of data without losing much meaning. As with error correction, however, there is a limit beyond which messages become too ambiguous, and Shannon showed how to calculate this limit, opening the way to the design of compression methods that cram maximum information into the minimum space.
Shannon cũng đã đặt nền móng cho các phương pháp lưu trữ thông tin hiệu quả hơn, bằng cách loại bỏ những bit thừa (“redundant”) từ dữ liệu mà không góp phần mang lại nhiều thông tin thực sự. Như những tin nhắn văn bản trên điện thoại di động “I CN C U” cho thấy, thường có thể bỏ qua rất nhiều dữ liệu mà không làm mất đi ý nghĩa chính. Tuy nhiên, giống như việc sửa lỗi, cũng có một giới hạn mà nếu vượt qua thì thông điệp sẽ trở nên mơ hồ; Shannon đã chỉ ra cách tính toán giới hạn này, mở đường cho thiết kế các phương pháp nén giúp chèn thông tin tối đa vào không gian tối thiểu.