Data Engineer กับทักษะที่ต้องมี โจทย์ เครื่องมือ และความท้าทายที่ต้องเจอ

สวัสดีครับ กลับมาพบกันอีกครั้งกับบทความยาวๆ แบบที่อ่านจบรู้เล่าเอาไปโม้ต่อได้เลย วันนี้ผมจะมาแนะนำให้รู้จักกับสายอาชีพวิศวกรข้อมูล หรือ Data Engineer กัน แต่เราจะไปไกลกันมากกว่านั้น ผมจะพาไปรู้จักกับที่มาที่ไปของสายอาชีพนี้ด้วยว่ามันเกิดขึ้นมาได้อย่างไร งานปรกติทำอะไรกัน มีเครื่องมืออะไรต้องรู้จักบ้าง และปิดท้ายที่ตัวอย่างโจทย์ทางฝั่ง Data Engineer จากบริษัท Credit OK ที่ผมทำงานอยู่

บทความนี้อาจจะยาวๆ หน่อย เพราะเขียนขึ้นมาเพื่อตกผลึกความคิดสำหรับไปบรรยายให้นักศึกษามหาวิทยาลัยเทคโนโลยีพระจอมเกล้าธนบุรีฟังในหัวข้อ Introduction to Data Engineer and Data Pipeline at Credit OK และงาน CodeMania 1010 ในหัวข้อ Serverless Big Data Architecture with Google Cloud Platform ท่านผู้อ่านสามารถเข้าไปดู Slides ได้จากลิงค์นะครับ ขอขอบคุณอาจารย์และทีมงานผู้จัดงานดังกล่าวที่ให้โอกาสผมให้ได้สร้างผลงานนี้ออกมาด้วยครับ

คำเตือน บทความนี้จะเริ่มจากปูความรู้พื้นๆ แล้วค่อยลึกขึ้นเรื่อยๆ โดยเฉพาะในฝั่ง Technical เพราะการตกผลึกความรู้ที่เกิดจากการใช้งานจริง ผมต้องกราบขออภัยท่านผู้อ่านที่พื้นฐานไม่แข็งแรงด้วยนะครับ ผมไม่สามารถลงลึกเล่าในทุกๆ ประเด็นได้จริงๆ เพราะเท่านี้ก็ยืดยาวมากแล้ว แต่ก็อยากให้ลองอ่านกันก่อนนะ อย่าเพิ่งรีบปิดหนีไปกันซะก่อน 555

เอาล่ะ เราอย่ามัวรีรอกันอยู่เลย มาเข้าเรื่องกันดีกว่าครับ 🙂

Continue reading

สรุปสิ่งที่ได้ทำในปี 2019

มาถึงสิ้นปี 2019 แล้ว ก็ขอสรุปสิ่งที่ได้ทำเอาไว้ทบทวนตัวเอง ปีนี้เป็นปีที่เกิดเรื่องราวต่างๆ มากมายเหลือเกิน มากซะจนมั่นใจว่าจะต้องลืมเหตุการณ์อะไรไปหลายเหตุการณ์แน่นอนในปีนี้ ตอนนี้ความจำผมยาว 3 เดือน อย่างไรก็ดีโชคดีที่จดไดอะรี่เอาเลย เลยยังพอจำได้ว่าได้ทำอะไรลงไปบ้าง เขียนบันทึกไว้ขำๆ เอาไว้ให้ตัวเองมาทบทวน

Continue reading

ตกผลึกความคิด จากหนังสือ เลิก การคบค้าที่ไม่เป็นผล

อ่านจบไปอีกเล่มก่อนสิ้นปี หนังสือเล่มนี้ที่ชี้ให้เห็นว่า “ความจริงแล้ว ผมเป็นคนที่ EQ ต่ำเพียงใด”

คน EQ ต่ำ จะตกเป็นทาสของอารมณ์

เป็นหนังสือที่ทีแรกหยิบมาเล่นๆ เพราะจะเอาส่วนลดตั้งแต่ต้นปี หยิบมาเพราะเห็นหน้าปกและสารบัญดูดุดันดี ก็เลยอยากจะรู้ว่า ข้างในหนังสือแรงๆ อย่างนี้เขาเขียนอะไรกัน จนเพิ่งได้มาหยิบอ่านเมื่อต้นเดือน หัวใจก็โดนทิ่มแทงไปหลายแผล เนื้อหาข้างใน ตรงกับหน้าปกอยู่สัก 20% ได้ อีก 80% เป็นเนื้อหาที่อธิบายถึงการเข้าสังคม

Continue reading

ทบทวนความคิดหลังจากเลิกติด Facebook มาได้ 3 เดือน

สมัยก่อนที่ Facebook เพิ่งมาถึง พวกเราสมัครเข้ามาเล่นเกม เข้ามาเจอเพื่อนเก่าสมัยเรียน ได้พูดคุยอัพเดทชีวิตกับเพื่อน ได้กลับมาสานความสัมพันธ์กัน ได้แบ่งปันเรื่องตัวเองให้กลุ่มเพื่อนรับรู้ ได้ส่งและได้รับความรู้สึกดีๆ ร่วมกัน

ไม่นานหลังจากนั้น Facebook ก็เริ่มกลายเป็นมากกว่าแค่ชุมชนที่มีแค่กลุ่มเพื่อน กลายเป็นสถานที่เชื่อมต่อผู้คนทั้งโลกเข้าด้วยกัน ได้เห็นคนจากทุกหนแห่ง ได้เห็นข่าวสารจากทุกที่ การเปรียบเทียบสถานะทางสังคมและการยอมรับ เปลี่ยนจากระดับกลุ่มเพื่อน กลายเป็นการเปรียบเทียบในระดับที่มหภาค สิ่งที่เรามีอยู่ มันไม่เพียงพออีกต่อไปแล้ว คนอื่นเขาไปไกลมากแล้ว เราต้องเร่งแล้ว ไม่งั้นเราจะถูกทิ้งไว้เบื้องหลัง

Continue reading

What I Learned From 100 Days of Rejection – TED Talk ที่เปลี่ยนชีวิตผมไปตลอดกาล

TED Talk ของ Jia Jiang ที่เปลี่ยนชีวิตผมไปตลอดกาล

TED Talk นี้เปลี่ยนชีวิตผมอย่างไร?

สมัยตั้งแต่จำความได้ไปจนถึงตอนที่ได้เริ่มทำงานใหม่ๆ ผมเป็นคนที่มีความเป็น Introvert สูงมาก อยู่คนเดียวและปฏิเสธการเข้าสังคม และในขณะเดียวกันก็มีความเชื่อมั่นใจตัวเองสูงเช่นกัน ทำให้เวลามีปัญหา จะพยายามแก้ปัญหาด้วยตัวเองคนเดียวเสมอมา และด้วยความที่ปัญหาในวัยเด็กนั้นไม่ซับซ้อนนัก ก็เลยสามารถจัดการได้เองตลอด ก็ยิ่งทำให้ความเข้าใจผิดๆ ยิ่งพุ่งขึ้นไปอีก และไม่เคยพูดร้องขอความช่วยเหลือจากใครเลยถ้ามันไม่จำเป็นจริงๆ แถมยังเอางานชาวบ้านมาทำเองอีกต่างหากเพราะขี้เกียจต้องไปเจรจาว่าความ อาจฟังดูไม่เข้าท่า ดูไม่สมเหตุสมผล แต่นี่คือปัญหาที่เกิดขึ้นจริง และเป็นจริงเป็นจังมากสำหรับคนที่มีความโลกส่วนตัวสูง นี่คือความแตกต่างของวิธีการคิดของแต่ละคน

Continue reading

ความรัก สาม ฤดู

ความรักมีความเร่าร้อน
ความรักมีความเศร้าหมอง
ความรักมีความเย็นสบายใจ
บทเรียนความรักสามฤดู
ที่ทุกคู่รักต้องผ่านไป
เพื่อให้ได้พบรักที่ไฝ่ฝัน

Continue reading

เปลี่ยนจากคน “นอนดึก ตื่นสาย” เป็น “นอนเร็ว ตื่นเช้า” ใน 3 เดือน

วันนี้เขียนขอบันทึกถึงเรื่องราวการเปลี่ยนแปลงในตัวเองอีกครั้งที่ไม่เคยคาดคิดเลยว่าจะสามารถทำได้ ซึ่งก็ไม่แน่ใจว่าจะมีประโยชน์กับท่านผู้อ่านหรือไม่ 555 เรื่องที่ได้เปลี่ยนแปลงไปก็ตามหัวข้อคือ ตอนนี้ผมได้เปลี่ยนจากมนุษย์นกฮูกที่นอนดึกตื่นสาย กลายเป็นมนุษย์นกลาร์คที่ตื่นเช้าแล้ว (Lark เป็นนกที่ตื่นพร้อมพระอาทิตย์) มาดูกันว่ามันเปลี่ยนไปได้อย่างไร แล้วมีจังหวะการใช้ชีวิตในแต่ละวันมีการเปลี่ยนแปลงไปอย่างไร ดีขึ้น แย่ลง อย่างไรบ้าง

Continue reading

สรุปสิ่งที่ได้ทำในปี 2018

มาถึงสิ้นปี 2018 แล้ว ก็ขอสรุปสิ่งที่ได้ทำเอาไว้ทบทวนตัวเอง ปีนี้เป็นปีที่เกิดเรื่องราวต่างๆ มากมายเหลือเกิน มากซะจนมั่นใจว่าจะต้องลืมเหตุการณ์อะไรไปหลายเหตุการณ์แน่นอนในปีนี้ อย่างไรก็ดีก็จดเอาที่ยังพอจำได้ไว้ดูพัฒนาการของชีวิต

Continue reading

สรุปสิ่งที่ได้ทำในปี 2017

ใกล้จะผ่านไปอีกปีแล้ว ถึงเวลามารวบรวมความคิดว่าปีนี้ได้ทำอะไรสำเร็จไปบ้าง สำหรับปีก่อนยังนึกออกว่าต้นปีได้ทำอะไรไป แต่ปีนี้นี่จำอะไรแทบไม่ได้เลย ไม่รู้ว่าเรื่องมันเยอะขึ้นหรือว่าแก่ขึ้นแล้วความจำแย่ลง 5555 โดยหลักแล้วปีนี้สิ่งที่เปลี่ยนไปน่าจะเป็นเรื่องการเดินออกมาสู่โลกธุรกิจอย่างเอาจริงเอาจัง (ปีก่อนเป็นนักวิชาการ หันเข็ม 90 องศาเลย) เคยคิดว่าตัวเองเข้าใจโลกธุรกิจมาตลอด แต่มาปีนี้ได้พบว่าเปล่าเลย และนี่เพิ่งจะเริ่มต้นเท่านั้น สำคัญสุดของปีนี้คือได้เริ่มกลับมาเป็นมนุษย์มากยิ่งขึ้นแล้ว มีความขวานผ่าซากมีน้อยลง แต่ไม่ว่ายังไงก็ยังคงยึดมั่นในระเบียบวินัยเช่นเดิม 🙂

Continue reading

ประสบการณ์การไปงาน Conference ครั้งแรก ECTI-2016

ความจริงจะต้องเขียนเรื่องนี้นานมากแล้ว ไม่รู้ว่าทำไมถึงลืมได้ เพิ่งมาเห็นว่ายังไม่ได้เขียน (เวลาผ่านไปปีกว่าแล้ว) ในขณะที่ยังพอมีความทรงจำเหลืออยู่บ้าง ก็จะขอเขียนเท่าที่จำได้ก็ละกัน อาจจะอ่านไม่มันเท่าไหร่สำหรับอันนี้เพราะว่าความทรงจำมันไม่สดละ

เรื่องนี้เป็นประสบการณ์การไปงาน Conference วิชาการครั้งแรก เป็นอีกหนึ่งความฝันของเด็กที่ไม่ได้เก่งอะไร ที่ได้เขียน Paper เป็นภาษาอังกฤษ และได้ออกไปนำเสนอให้กับนักวิชาการในระดับนานาชาติ (ถึงแม้งานจะจัดที่เหมืองไทยก็เถอะ) ซึ่งต้องบอกว่าเป็นช่วงเวลา 3 วันที่รู้สึกสนุกกับการผจญภัยอย่างมาก ไม่คิดว่าจะได้เจอประสบการณ์ดีๆ อะไรแบบนี้

Continue reading