Hi We cannot give this kind of inci

Hi

We cannot give this kind of incident report to customer. And why is my name even inside the incident report?? This is suitside.

PCCW bought a circuit from VQ, and VQ bought the end to end circuit from SBP.

Now the circuit got problem. 1) 1% packet loss problem. 2) the major downtime on Aug 10 for many many hours. SBP need to explain both actions done for both the solution.

For case #1. Please show all the troubleshooting steps that has been done since July which leads to a conclusion that we need to change the port on Aug 9 and 10. Every single trouble shooting event that is very signifcant to the decision of changing the port needed to be written down. i.e. loop back where, packet loss still exist, etc. test done where? Can you replicate the loss? did SBP see the loss as well?

For case #2. it has come to the decision to change the switch port. what has happened? The port changed, why the link is down? does SBP know the link is down? does SBP check with VQ whether the link is up is fine before they leave the data center? when did VQ been informed the link is down. does VQ been informed on the change of port. change of port everything should be fine?

When I go to the data center last Wednesday. I see it is not changing port so simple. The link was moved from Ciena to Cisco, from Cisco changed back to Ciena with proper SFP. I believe we have no idea what has been proposed and what has been done.

The biggest problem is it is down more than 2-3 days. the incident report from SBP must say, what time VQ call SBP. What did SBP do after that. What SBP has been telling VQ. and so on and so on. VQ then will need to look at their NOC ticketing logs to verify all these. I understand Pak Budi speak to Rajah, too and all these has to be captured as proof of communications.

Then Budi inform me that he is using "ciena compatible" brand of SFP and suspect it does not work properly. And have requested ciena vendor to ship a ciena SFP over. Budi wants a mainetenance window during Saturday which is 2-3 days later.

Later Pak Budi found out Singapore ciena and vendor are able to help by "shorten" the delivery time. Can get the SFP ready in Raffles Place at 2pm. Budi engage warm hand service from VQ.

VQ send Edmond to pick up SFP, go straight to Equinix to perform the change under SBP instruction. Edmond arrived at 2:30pm. 3pm are in data centre after changing pass and been escorted in.

Still does not work. Since SBP engage WARM HAND service, whatever thing happen in data center is SBP matter. VQ tries to help by suggesting troubleshooting steps, but it is SBP network, so, SBP will need to write those details into the incident report.

Check back the Whatsapp log.

At a time, Edmond plug in the cable into the ceina switch. Switch port got lights. When he plug the cross connect into the ciena switch port, switch port no lights. Suspect cross connect error.

At some time, Edmond, under SBP instruction, inspect the cross connect, found the cross connect was loosen at the rear end of the patch panel. Engineer(Edmond) secure the link, and the ciena switch port has lights.

Pak Rusdi then perform ping to the ceina or switch port, are able to ping and perform the zero loss. However, Pak Rusdi cannot see Hong Kong router. 10.10.10.something.

At a certain time, SBP tell VQ to speak to PCCW end customer and PCCW will take some time to arrange the router to be connected and test the ciurcuit.

At a time, PCCW inform VQ router has been connected. But cannot see the Indonesia router. Confirm Hong Kong cannot see Singapore or Indonesia.

At a time, Edmond plug in router trying to configure laptop to be 10.10.10.something to pretend it is the switch. But could not see the hong kong router. Suspect it could need special tunneling, firewall to connect to hong kong. While doing that, the same laptop are unable to see Jakarta 10.10.10.3 as well. So, at this point, the laptop cannot see Jakarta by plugging into the ciena port.

SBP recheck the configuration, and found out that there are mis-configuration somewhere. After changing the configuration, laptop can see the Jakarta IP.

VQ normalise the circuit. Pak Rusdi can see Hong Kong router Ethernet address.

SBP are able to ping to the Hong Kong router.

SBP perform ping and zero packet loss.

PCCW perform ping from Hong Kong zero packet loss.

Link is confirmed up and running and fixed. Engineers in Equinix are given permission to leave.

======

This is what I see happening. Your incident report is way too simple and did not capture what happen.

====

As a conclusion,

The mysterious packet loss is caused by a ceina compatible SFP.
SBP did change the SFP, but the packet loss is there.
SBP on Aug 10 change the port, ==> you have to explain what you do. Why change to Cisco router. And the link is shown up. then your engineer go back to Batam. Unfortunately, the link was down. Has he done the ping test? has he verify with VQ engineer on this? I have no info on this, may be Rajah and team can input on this.

SBP decided to change ciena switch SFP. To use the ciena brand.
Then, all are normal, trying to get the circuit to work.
And it works. That's it!

Don't say too much thing. Just say, two things.
1) Change the SFP. Will not use ciena compatible SFP again.
2) Cross connection loosen that cause the downtime after Aug 10.

So, SFP fixed the packet loss problem.
Tighten cross connect fixed Aug 10 loss of signal problem.
And lastly, work properly with Singapore warm body warm hand arrangement to allow third party engineers to premises to assist in troubleshooting to cut short the trouble shoot time. You may want to tell them at first you using some adhoc service, and the original warm body service not reliable. that is why you engage own engineer dispatched from Batam. Then, you seek help from VQ to sent down warm body.

In your incident report, you must say, you have have backups SFP, unfortunately all are ciena compatible. You will in future use ciena only brand. and you have make arrangement for ciena to deliver the backup on the sport 7x24 etc etc.

like that PCCW will be happy.

VQ NOC, Let me see the final incident report before we sent to PCCW. In the incident report, please indicate this link is off net and we work very close with partner together to solve the problem. we have to paint a picture that we are selling them off net, but our NOC are on the ball. And we do help all the things. At some point Wendy has escalated up to my level, and VQ full force to help in restoring the services.

Thanks.

Hasil (Bahasa Indonesia) 1:

Hai Kami tidak dapat memberikan laporan insiden semacam ini kepada pelanggan. Dan mengapa nama saya bahkan di dalam laporan kejadian?? Ini adalah suitside. PCCW membeli sirkuit dari VQ, dan VQ membeli sirkuit hingga akhir dari SBP. Sekarang sirkuit mendapat masalah. 1) masalah kehilangan paket 1%. 2) utama downtime on Aug 10 untuk banyak banyak jam. SBP perlu menjelaskan kedua tindakan yang dilakukan untuk kedua solusi.Untuk kasus #1. Tunjukkan semua langkah pemecahan masalah yang telah dilakukan sejak Juli yang mengarah ke sebuah kesimpulan bahwa kita perlu mengubah port pada Agustus 9 dan 10. Setiap masalah satu acara yang sangat signifcant untuk keputusan mengubah port diperlukan untuk ditulis. yaitu loop kembali mana, paket hilang masih ada, dll tes dilakukan mana? Anda dapat mereplikasi kerugian? Apakah SBP melihat kerugian serta?Untuk kasus #2. itu telah datang ke keputusan untuk mengubah switch port. apa yang terjadi? Pelabuhan berubah, Mengapa link ke bawah? Apakah SBP tahu link adalah down? Apakah SBP memeriksa dengan VQ Apakah link up baik sebelum mereka meninggalkan data center? ketika melakukan VQ telah informasi link ini ke bawah. Apakah VQ telah diberitahu tentang perubahan pelabuhan. mengubah Port semuanya harus baik-baik saja? Ketika saya pergi ke pusat data Rabu lalu. Saya melihat itu tidak berubah begitu sederhana port. Link dipindahkan dari CIA untuk Cisco, dari Cisco berubah kembali ke CIA dengan tepat SFP. Saya percaya kami memiliki tidak tahu apa telah diusulkan dan apa yang telah dilakukan. Masalah terbesar adalah turun lebih dari 2-3 hari. laporan kejadian dari SBP harus mengatakan, apa waktu panggilan VQ SBP. Apa yang lakukan SBP setelah itu. Apa SBP memberitahu VQ. dan seterusnya dan seterusnya. VQ maka akan perlu untuk melihat mereka NOC tiket log untuk memverifikasi semua ini. Saya mengerti Pak Budi berbicara kepada Rajah, terlalu dan semua ini harus diambil sebagai bukti komunikasi. Kemudian Budi memberitahu saya bahwa dia menggunakan merek "CIA kompatibel" SFP dan tersangka itu tidak bekerja dengan benar. Dan telah meminta vendor CIA untuk kapal CIA SFP atas. Budi ingin jendela mainetenance selama Sabtu yang merupakan 2-3 hari kemudian. Kemudian Pak Budi menemukan Singapura CIA dan penjual dapat membantu dengan "mempersingkat" waktu pengiriman. Bisa mendapatkan SFP siap di Raffles Place 2 pm. Budi tangan hangat terlibat layanan dari VQ. Kirim VQ Edmond untuk menjemput SFP, pergi langsung ke Equinix untuk melakukan perubahan bawah SBP instruksi. Edmond tiba di 2:30 pm. 3 pm di pusat data setelah mengubah lulus dan telah membawa dalam. Masih tidak bekerja. Karena SBP terlibat Layanan tangan hangat, apa pun hal terjadi di pusat data adalah masalah SBP. VQ mencoba untuk membantu dengan menyarankan langkah pemecahan masalah, tapi itu SBP jaringan, jadi, SBP akan perlu untuk menulis rincian tersebut ke dalam laporan kejadian. Periksa kembali Whatsapp log. Pada satu waktu, Edmond pasang kabel ke ceina switch. Switch port mendapat lampu. Ketika dia plug salib terhubung ke port switch CIA, port switch tidak ada lampu. Tersangka salib Hubungkan kesalahan. Pada beberapa waktu, Edmond, di bawah instruksi SBP, memeriksa cross connect, ditemukan cross connect melonggarkan di ujung belakang patch panel. Engineer(Edmond) link aman, dan port switch CIA memiliki lampu. Pak Rusdi kemudian melakukan ping ke pelabuhan ceina atau switch, mampu melakukan ping dan melakukan kerugian nol. Namun, Pak Rusdi tidak melihat Hong Kong router. 10.10.10.Something. Pada waktu tertentu, SBP beritahu VQ untuk berbicara kepada pelanggan akhir PCCW dan PCCW akan mengambil beberapa waktu untuk mengatur router untuk terhubung dan menguji ciurcuit. Pada satu waktu, PCCW menginformasikan VQ router telah terhubung. Tapi tidak bisa melihat Indonesia router. Konfirmasi Hong Kong tidak bisa melihat Singapura atau Indonesia. Pada satu waktu, Edmond pasang router berusaha mengkonfigurasi laptop untuk menjadi 10.10.10.something untuk berpura-pura itu adalah beralih. Tapi tidak bisa melihat router hong kong. Menduga hal itu bisa perlu firewall tunneling, khusus untuk terhubung ke hong kong. Sementara melakukan itu, laptop yang sama tidak mampu melihat Jakarta 10.10.10.3 juga. Jadi, pada titik ini, laptop tidak dapat melihat Jakarta dengan cara menghubungkannya ke port CIA. SBP memeriksa konfigurasi, dan menemukan bahwa ada mis-konfigurasi di suatu tempat. Setelah mengubah konfigurasi, laptop dapat melihat Jakarta IP. VQ menormalisasi sirkuit. Pak Rusdi dapat melihat Hong Kong router Ethernet alamat. SBP mampu melakukan ping ke router Hong Kong. SBP melakukan ping dan nol paket hilang. PCCW melakukan ping dari Hong Kong nol paket hilang. Link adalah dikonfirmasi berdiri dan berjalan dan tetap. Insinyur di Equinix diberi izin untuk meninggalkan. ====== Ini adalah apa yang saya lihat terjadi. Laporan kejadian ini terlalu sederhana dan tidak menangkap apa yang terjadi.==== Sebagai kesimpulan, Misterius paket hilang disebabkan oleh ceina SFP kompatibel. SBP melakukan perubahan SFP, tapi ada paket hilang. SBP on Aug 10 mengubah port, == > Anda harus menjelaskan apa yang Anda lakukan. Mengapa mengubah Cisco router. Dan link yang muncul. kemudian insinyur Anda kembali ke Batam. Sayangnya, link itu turun. Ia melakukan tes ping? telah ia verifikasi dengan insinyur VQ ini? Saya tidak memiliki informasi mengenai ini, mungkin Rajah dan tim dapat memasukkan ini. SBP memutuskan untuk mengubah CIA beralih SFP. Untuk menggunakan merek CIA. Kemudian, Semua normal, berusaha untuk mendapatkan sirkuit untuk bekerja. Dan bekerja. That's it! Tidak mengatakan terlalu banyak hal. Hanya mengatakan, dua hal. 1) perubahan SFP. Tidak akan menggunakan CIA kompatibel SFP lagi. 2) penyambungan melonggarkan yang menyebabkan downtime setelah 10 Agustus. Jadi, SFP tetap masalah kehilangan paket. Mengencangkan cross menghubungkan tetap Agust 10 hilangnya sinyal masalah. Dan akhirnya, bekerja dengan baik dengan Singapura hangat tubuh tangan hangat pengaturan untuk mengijinkan pihak ketiga insinyur untuk lokal untuk membantu dalam pemecahan masalah untuk memotong pendek kesulitan menembak waktu. Anda mungkin ingin memberitahu mereka pada awalnya Anda menggunakan beberapa layanan di adhoc, dan layanan hangat tubuh asli tidak dapat diandalkan. itu sebabnya Anda terlibat sendiri insinyur yang dikirim dari Batam. Kemudian, Anda mencari bantuan dari VQ dikirim ke bawah tubuh hangat. Dalam laporan insiden, Anda harus mengatakan, Anda harus memiliki backup SFP, sayangnya semua CIA kompatibel. Anda di masa depan akan menggunakan merek hanya CIA. dan Anda harus membuat pengaturan untuk CIA memberikan cadangan pada olahraga 7 x 24 dll dll. seperti itu PCCW akan senang.VQ NOC, biarkan aku melihat laporan kejadian akhir sebelum kami dikirim ke PCCW. Dalam laporan kejadian, silakan cantumkan link ini adalah off bersih dan kita bekerja sangat dekat dengan pasangan bersama-sama untuk memecahkan masalah. kita harus melukis gambar yang kami menjual mereka pergi bersih, namun NOC kami pada bola. Dan kami membantu semua hal. Di beberapa titik Wendy telah meningkat hingga tingkat, dan kekuatan penuh VQ untuk membantu memulihkan layanan.Terima kasih.

Hasil (Bahasa Indonesia) 2:

Hi Kami tidak bisa memberikan semacam ini insiden laporan kepada pelanggan. Dan mengapa nama saya bahkan dalam laporan insiden ?? Ini adalah suitside. PCCW membeli rangkaian dari VQ, dan VQ membeli ujung ke ujung rangkaian dari SBP. Sekarang rangkaian punya masalah. 1) masalah 1% packet loss. 2) downtime utama pada Agu 10 untuk banyak banyak jam. SBP perlu menjelaskan kedua tindakan dilakukan untuk kedua solusi. Untuk kasus # 1. Tolong tunjukkan semua langkah pemecahan masalah yang telah dilakukan sejak Juli yang mengarah pada kesimpulan bahwa kita perlu mengubah port pada Agu 9 dan 10. Setiap trouble shooting acara tunggal yang sangat signifcant dengan keputusan mengubah pelabuhan perlu ditulis bawah. yaitu loop kembali mana, packet loss masih ada, dll tes dilakukan di mana? Anda dapat meniru kerugian? tidak SBP melihat kerugian juga? Untuk kasus # 2. telah datang ke keputusan untuk mengubah port switch. apa yang telah terjadi? Pelabuhan berubah, mengapa link turun? tidak SBP tahu link turun? tidak SBP memeriksa dengan VQ apakah link tersebut sampai baik-baik saja sebelum mereka meninggalkan pusat data? kapan VQ diberitahu link turun. tidak VQ telah diberitahu tentang perubahan pelabuhan. Perubahan pelabuhan semuanya harus baik-baik? Ketika saya pergi ke pusat data Rabu lalu. Saya melihat itu tidak berubah pelabuhan begitu sederhana. Link dipindahkan dari Ciena ke Cisco, dari Cisco berubah kembali ke Ciena dengan SFP yang tepat. Saya percaya kita tidak tahu apa yang telah diusulkan dan apa yang telah dilakukan. Masalah terbesar adalah itu turun lebih dari 2-3 hari. laporan kejadian dari SBP harus mengatakan, apa waktu VQ panggilan SBP. Apa SBP lakukan setelah itu. Apa SBP telah memberitahu VQ. dan seterusnya dan seterusnya. VQ maka akan perlu untuk melihat log NOC tiket mereka untuk memverifikasi semua ini. Saya mengerti Pak Budi berbicara dengan Rajah, juga dan semua ini harus diambil sebagai bukti komunikasi. Kemudian Budi memberitahu saya bahwa dia menggunakan "Ciena kompatibel" merek SFP dan menduga itu tidak bekerja dengan benar. Dan telah meminta penjual Ciena untuk kapal SFP Ciena lebih. Budi ingin jendela mainetenance pada hari Sabtu yang merupakan 2-3 hari kemudian. Kemudian Pak Budi menemukan Singapura Ciena dan penjual dapat membantu dengan "mempersingkat" waktu pengiriman. Bisa mendapatkan SFP siap di Raffles Place at 02:00. Budi terlibat layanan tangan hangat dari VQ. VQ kirim Edmond untuk mengambil SFP, langsung ke Equinix untuk melakukan perubahan di bawah instruksi SBP. Edmond tiba di 2:30 pm. 15:00 berada di data center setelah mengubah lulus dan telah dikawal dalam. Masih tidak bekerja. Sejak SBP terlibat layanan HAND hangat, hal apa saja yang terjadi dalam data center adalah masalah SBP. VQ mencoba untuk membantu dengan menyarankan langkah pemecahan masalah, tetapi jaringan SBP, sehingga, SBP akan perlu menulis rincian mereka ke dalam laporan insiden. Periksa kembali log Whatsapp. Pada suatu waktu, Edmond pasang di kabel ke saklar ceina. Port switch mendapat lampu. Ketika ia pasang salib menghubungkan ke port switch Ciena, port switch tidak ada lampu. Lintas tersangka menghubungkan kesalahan. Pada beberapa waktu, Edmond, di bawah instruksi SBP, memeriksa silang terhubung, menemukan salib menghubungkan itu melonggarkan di bagian belakang panel patch. Engineer (Edmond) mengamankan link, dan port switch Ciena memiliki lampu. Pak Rusdi kemudian melakukan ping ke ceina atau port switch, dapat ping dan melakukan nol kehilangan. Namun, Pak Rusdi tidak bisa melihat router Hong Kong. 10.10.10.something. Pada waktu tertentu, SBP memberitahu VQ untuk berbicara dengan pelanggan PCCW akhir dan PCCW akan mengambil beberapa waktu untuk mengatur router untuk terhubung dan menguji ciurcuit itu. Pada suatu waktu, PCCW menginformasikan VQ router telah terhubung. Tapi tidak bisa melihat router Indonesia. Konfirmasi Hong Kong tidak bisa melihat Singapura atau Indonesia. Pada suatu waktu, Edmond pasang di router mencoba untuk mengkonfigurasi laptop untuk 10.10.10.something berpura-pura itu adalah saklar. Tapi tidak bisa melihat router hong kong. Tersangka itu bisa membutuhkan tunneling khusus, firewall untuk koneksi ke hong kong. Sementara melakukan itu, laptop yang sama tidak dapat melihat Jakarta 10.10.10.3 juga. Jadi, pada saat ini, laptop tidak bisa melihat Jakarta dengan cara menghubungkannya ke port Ciena. SBP recheck konfigurasi, dan menemukan bahwa ada salah konfigurasi tempat. Setelah mengubah konfigurasi, laptop dapat melihat IP Jakarta. VQ menormalkan sirkuit. Pak Rusdi bisa melihat Hong Kong router Ethernet alamat. SBP dapat melakukan ping ke router Hong Kong. SBP melakukan ping dan nol packet loss. PCCW melakukan ping dari Hong Kong loss nol packet. link dikonfirmasi dan berjalan dan tetap. Insinyur di Equinix diberi izin untuk meninggalkan. ====== Ini adalah apa yang saya lihat terjadi. Laporan insiden Anda terlalu sederhana dan tidak menangkap apa yang terjadi. ==== Sebagai kesimpulan, The packet loss misterius disebabkan oleh ceina SFP yang kompatibel. SBP melakukan mengubah SFP, tetapi packet loss yang ada. SBP pada Agu 10 mengubah port, ==> Anda harus menjelaskan apa yang Anda lakukan. Mengapa mengubah ke router Cisco. Dan link tersebut muncul. kemudian insinyur Anda kembali ke Batam. Sayangnya, link turun. Telah dilakukan tes ping? telah ia verifikasi dengan VQ insinyur di ini? Saya tidak punya info tentang ini, mungkin Rajah dan tim dapat masukan tentang ini. SBP memutuskan untuk mengubah Ciena beralih SFP. Untuk menggunakan merek Ciena. Kemudian, semua normal, mencoba untuk mendapatkan rangkaian bekerja. Dan itu berhasil. Itu saja! Jangan bicara terlalu banyak hal. Hanya mengatakan, dua hal. 1) Mengubah SFP. Tidak akan menggunakan Ciena kompatibel SFP lagi. 2) koneksi Palang melonggarkan yang menyebabkan downtime setelah Agustus 10. Jadi, SFP tetap masalah packet loss. Kencangkan lintas hubungkan tetap 10 Agustus hilangnya masalah sinyal. Dan terakhir, bekerja dengan baik dengan tubuh hangat Singapura pengaturan tangan hangat untuk memungkinkan para insinyur pihak ketiga untuk denga untuk membantu dalam pemecahan masalah untuk memotong pendek waktu kesulitan menembak. Anda mungkin ingin memberitahu mereka pada awalnya Anda menggunakan beberapa layanan adhoc, dan asli layanan tubuh hangat tidak dapat diandalkan. itu sebabnya Anda terlibat engineer sendiri dikirim dari Batam. Kemudian, Anda mencari bantuan dari VQ ke diturunkan tubuh hangat. Dalam laporan insiden Anda, Anda harus mengatakan, Anda harus memiliki backup SFP, sayangnya semua Ciena kompatibel. Anda akan digunakan di masa depan Ciena hanya merek. dan Anda telah membuat pengaturan untuk Ciena untuk memberikan backup pada olahraga 7x24 dll dll seperti itu PCCW akan senang. VQ NOC, Biarkan aku melihat laporan insiden akhir sebelum kita dikirim ke PCCW. Dalam laporan insiden, harap menunjukkan link ini adalah off net dan kami bekerja sangat dekat dengan pasangan bersama-sama untuk memecahkan masalah. kita harus melukis gambar yang kami jual mereka dari bersih, tapi NOC kami pada bola. Dan kami lakukan membantu semua hal. Di beberapa titik Wendy telah meningkat ke tingkat saya, dan VQ kekuatan penuh untuk membantu dalam memulihkan layanan. Terima kasih.