ทาง Google นั้นได้ประกาศ IP Blocks ผิด โดยไปประกาศ IP Address วงที่เป็นของบริการในประเทศญี่ปุ่น รวมถึงวงของ NTT Communications ที่ให้บริการลูกค้าจำนวนมากในญี่ปุ่น ทำให้ Traffic จำนวนมากที่มีปลายทางไปยัง Server ในญี่ปุ่นนั้นถูกส่งต่อไปยัง Google แทน และมีบริการจำนวนมากทั้งของธนาคาร, รัฐบาล และเอกชนที่ไม่สามารถเข้าถึงได้จากเหตุการณ์นี้ ซึ่งทาง Google เองก็ได้รีบแก้ไขปัญหานี้ภายในเวลาเพียง 8 นาทีที่เกิดเหตุเท่านั้น แต่ระบบเครือข่ายก็ต้องใช้เวลากว่าจะกลับมาสู่สภาวะปกติ และทาง Google ก็ได้ออกมาขอโทษต่อสาธารณะแล้ว อย่างไรก็ดี ทาง Google ไม่ได้ออกมาระบุชัดเจนว่าปัญหาในครั้งนี้เกิดจากความผิดพลาดของมนุษย์หรือของระบบและอุปกรณ์กันแน่
อย่างไรก็ดีกรณีนี้ Google อาจไม่ได้ผิดคนเดียว เพราะทาง Verizon ซึ่งเชื่อมต่อเครือข่ายกับ Google นั้นก็ไม่ได้ทำการกำหนดค่า Filter เพื่อป้องกันเหตุการณ์เหล่านี้เอาไว้ ทำให้การตั้งค่าผิดของ Google ในครั้งนี้ส่งผลกระทบเป็นวงกว้างนั่นเอง
An error on Google’s part has caused widespread Internet outages in Japan for about an hour, on Friday, August 25. The downtime was caused by a BGM route hijack that began at 12:22 PM local Japan time and was resolved by 1:01 PM.
BGP is a routing protocol used to interconnect the networks of major Internet service providers. The protocol relies on ISPs announcing which IP addresses are available on their networks.
A BGP route hijack is when an ISP wrongly advertises IP address blocks that are not on its network. ISPs are identified in BGP route tables by an AS (Autonomous System) number.
Google accidentally hijacked a BGP route
On Friday, Google — who is so large it has its own AS number — incorrectly advertised that IP blocks belonging to a Japanese ISPs were found on its network.
Other ISPs — including Verizon, a company that routes a large chunk of the Internet — started sending traffic that was destined for Japan to Google’s servers, which didn’t know what to do with it.
In Japan, this resulted in many online services going down. Users couldn’t access online banking portals, reservation systems, government portals, and more. Furthermore, outside users couldn’t connect to the Nintendo networks or various online marketplaces hosted in the country.
Nearly 8 million Internet connections affected
According to BGPMon, Google hijacked the traffic NTT Communications Corp., a major ISP who also supports two smaller ISPs named OCN and KDDI Corp. In total, NTT provides Internet services to 7.67 million home users and 480,000 companies.
The issue was resolved in under 40 minutes but was enough to cause panic in Japan.
The Internal Affairs and Communications Ministry has started an investigation into the incident and has requested that ISPs file detailed reports on what happened, according to local press.
Google admits mistake
A Google spokesperson admitted the company’s blunder in a statement to another local news outlet.
“We set wrong information for the network and, as a result, problems occurred. We modified the information to the correct one within eight minutes. We apologize for causing inconvenience and anxieties,” the spokesperson told The Asahi Shimbun.
It is unknown if the BGP route hijack was the result of a human error or an equipment malfunction.
Verizon also shares a part of the blame
According to an analysis by BGPMon, a company part of OpenDNS, part of Cisco, Google hijacked over 135,000 network prefixes, from all over the world, of which over 24,000 belonged to NTT, by far the most affected ISP.
“It’s easy to make configuration mistakes that can lead to incidents like this,” says Andree Toonk, one of the BGPMon engineers who has analyzed the outage.
“In this case it appears a configuration error or software problem in Google’s network led to inadvertently announcing thousands of prefixes to Verizon, who in turn propagated the leak to many of its peers,” he added.
“Since it is easy to make configurations errors, it clearly is a necessity to have filters on both sides of an EBGP session. In this case it appears Verizon had little or no filters, and accepted most if not all BGP announcements from Google which lead to widespread service disruptions,” Toonk also said. “At the minimum Verizon should probably have a maximum-prefix limit on their side and perhaps some as-path filters which would have prevented the wide spread impact.”
