Web scraping

Readings and class materials for Tuesday, October 31, 2023

Nowadays, we manage a very huge part of our life online. This has an important side-effect: we can collect enormous data from the web for our researches. You can access data about shops, blogs, social media etc. The target of this chapter is to give a brief introduction how you can collect this data effectively. We will need a new package for this purpose: rvest

We will scrape the data from hasznaltauto, which is the online second hand car market of Hungary. Lets navigate to the page in our browser and lets click on search.

www.hasznaltauto.hu/

Now we have to copy and paste the new url from the browser to Rstudio. This will be the first link we want to visit while scraping. Lets assign this url as url in R.

url <- "https://www.hasznaltauto.hu/talalatilista/PCOG2VGRR3RDAD [...]" # long url

Click on the search button.

The next step is load the website into your R session. This can be done by the read_html function from the rvest package.

page <- read_html(url)

page
{html_document}
<html lang="hu-HU">
[1] <head>\n<meta http-equiv="Content-Type" content="text/html; charset=UTF-8 ...
[2] <body>\n    <script type="text/javascript">window.dataLayer = window.data ...

Naviagtion on the page

Now we can see the webpage as html codes in RStudio. This is the same what you get if you open developer view in your browser.

Developer view in browser.

In the developer view, you can find the information that is relevant to you and select it using the html_nodes function. Alternatively, however, there is a simpler method. Add Selector Gadget to your browser. This add-on helps you find the ID of an item by clicking on it. This way, you can navigate without having web development skills. We can easily install this add-on in chrome and edge, just search for its name and the first hit should be this.

Add Selector Gadget to your browser.

You can activate the add-on from the menu of your browser.

First, find the IDs for the car ads. To do this, first select the name of a specific car and then mark everything you do not want to include. The target is to make every car ads title to yellow or green, but nothing else should be green.

Using Selector Gadget to find IDs for the car ads.

If you have the ID you are looking for, put it in the html_nodes function. The code above selects the ad titles from the page.

my_node <- page %>% 
  html_nodes(".cim-kontener a")

my_node
{xml_nodeset (130)}
 [1] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
 [2] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/suzuki/vitara/ ...
 [3] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/suzuki/vitara/ ...
 [4] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
 [5] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/opel/astra_l/o ...
 [6] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/opel/astra_l/o ...
 [7] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
 [8] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/nissan/x-trail ...
 [9] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/nissan/x-trail ...
[10] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
[11] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/nissan/qashqai ...
[12] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/nissan/qashqai ...
[13] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
[14] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/suzuki/s-cross ...
[15] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/suzuki/s-cross ...
[16] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
[17] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/peugeot/5008/p ...
[18] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/peugeot/5008/p ...
[19] <a class="btn hagomb hagomb-nagy parkoloBtn parkolo-nolabel" data-hirkod ...
[20] <a class="" href="https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/p ...
...

But this is still an html_code.If we want to keep the text of the element, we use the html_text function, but if we are interested in the url it points to, we use thehtml_attr function. In the latter case, it is always necessary to specify the href element, ie which web page you are referring to.

name_of_the_car <- my_node %>% 
  html_text()

name_of_the_car
  [1] "P"                                                                                                                                       
  [2] "SUZUKI VITARA 1.4 Hybrid GL+ akár: 2.1 millió ár-előny+0% THM!"                                                                          
  [3] "SUZUKI VITARA 1.4 Hybrid GL+ akár: 2.1 millió ár-előny+0% THM!"                                                                          
  [4] "P"                                                                                                                                       
  [5] "OPEL ASTRA L 1.2 T Business Edition"                                                                                                     
  [6] "OPEL ASTRA L 1.2 T Business Edition"                                                                                                     
  [7] "P"                                                                                                                                       
  [8] "NISSAN X-TRAIL 1.5 VC-T Mild Hybrid Xtronic Acenta FIX 0%THM !"                                                                          
  [9] "NISSAN X-TRAIL 1.5 VC-T Mild Hybrid Xtronic Acenta FIX 0%THM !"                                                                          
 [10] "P"                                                                                                                                       
 [11] "NISSAN QASHQAI 1.3 DIG-T Mild Hybrid Tekna X-Tronic FIX 0%THM ! Készletről!"                                                             
 [12] "NISSAN QASHQAI 1.3 DIG-T Mild Hybrid Tekna X-Tronic FIX 0%THM ! Készletről!"                                                             
 [13] "P"                                                                                                                                       
 [14] "SUZUKI S-CROSS 1.4 Hybrid GL+ akár: 2.1 milliós árelőny + 0% THM!"                                                                       
 [15] "SUZUKI S-CROSS 1.4 Hybrid GL+ akár: 2.1 milliós árelőny + 0% THM!"                                                                       
 [16] "P"                                                                                                                                       
 [17] "PEUGEOT 5008 1.2 PureTech Active Pack (7 személyes ) AZONNAL ELVIHETŐ! ÉV VÉGÉIG AKCIÓS 3.3% THM-MEL!"                                   
 [18] "PEUGEOT 5008 1.2 PureTech Active Pack (7 személyes ) AZONNAL ELVIHETŐ! ÉV VÉGÉIG AKCIÓS 3.3% THM-MEL!"                                   
 [19] "P"                                                                                                                                       
 [20] "PEUGEOT 3008 1.2 PureTech Active Pack"                                                                                                   
 [21] "PEUGEOT 3008 1.2 PureTech Active Pack"                                                                                                   
 [22] "P"                                                                                                                                       
 [23] "MAZDA 6 Sportkombi G194 20th Anniversary - KÉSZLETEN"                                                                                    
 [24] "MAZDA 6 Sportkombi G194 20th Anniversary - KÉSZLETEN"                                                                                    
 [25] "P"                                                                                                                                       
 [26] "OPEL GRANDLAND 1.5 CDTI Business Edition (Automata) hamarosan megérkezik"                                                                
 [27] "OPEL GRANDLAND 1.5 CDTI Business Edition (Automata) hamarosan megérkezik"                                                                
 [28] "P"                                                                                                                                       
 [29] "KIA SORENTO 1.6 T-GDI PHEV Platinum 4WD (Automata) PLUG IN HYBRID! ÖSSZKERÉK! TÖBB SZÍNBEN AZONNAL!"                                     
 [30] "KIA SORENTO 1.6 T-GDI PHEV Platinum 4WD (Automata) PLUG IN HYBRID! ÖSSZKERÉK! TÖBB SZÍNBEN AZONNAL!"                                     
 [31] "P"                                                                                                                                       
 [32] "PEUGEOT 308 SW 1.6 PureTech PHEV GT EAT8 AZONNAL ELVIHETŐ!"                                                                              
 [33] "PEUGEOT 308 SW 1.6 PureTech PHEV GT EAT8 AZONNAL ELVIHETŐ!"                                                                              
 [34] "P"                                                                                                                                       
 [35] "PEUGEOT 208 1.2 PureTech Active Pack EAT8"                                                                                               
 [36] "PEUGEOT 208 1.2 PureTech Active Pack EAT8"                                                                                               
 [37] "P"                                                                                                                                       
 [38] "PEUGEOT RIFTER e-Rifter 50kWh Active Pack KIZÁRÓLAG GYÁRTÁSRENDELÉSBŐL!"                                                                 
 [39] "PEUGEOT RIFTER e-Rifter 50kWh Active Pack KIZÁRÓLAG GYÁRTÁSRENDELÉSBŐL!"                                                                 
 [40] "P"                                                                                                                                       
 [41] "SSANGYONG REXTON 2.2 e-XDI Premium 4WD (Automata) (7 személyes ) TESZTAUTÓ!"                                                             
 [42] "SSANGYONG REXTON 2.2 e-XDI Premium 4WD (Automata) (7 személyes ) TESZTAUTÓ!"                                                             
 [43] "P"                                                                                                                                       
 [44] "OPEL CORSA F 1.2 Edition Akciós modell kimagasló kedvezménnyel!!!"                                                                       
 [45] "OPEL CORSA F 1.2 Edition Akciós modell kimagasló kedvezménnyel!!!"                                                                       
 [46] "P"                                                                                                                                       
 [47] "KIA CEE'D Ceed 1.0 T-GDI Silver Magyar. Szervizkönyv. Kamera. Áfás"                                                                      
 [48] "KIA CEE'D Ceed 1.0 T-GDI Silver Magyar. Szervizkönyv. Kamera. Áfás"                                                                      
 [49] "P"                                                                                                                                       
 [50] "OPEL CROSSLAND 1.2 T Edition Kiemelt akciós modell !!!"                                                                                  
 [51] "OPEL CROSSLAND 1.2 T Edition Kiemelt akciós modell !!!"                                                                                  
 [52] "P"                                                                                                                                       
 [53] "SSANGYONG KORANDO 1.5 Turbo GDI Clever KÜLÖNBÖZŐ FELSZERELTSÉGEK SZINEK AZONNAL RAKTÁRRÓL!"                                              
 [54] "SSANGYONG KORANDO 1.5 Turbo GDI Clever KÜLÖNBÖZŐ FELSZERELTSÉGEK SZINEK AZONNAL RAKTÁRRÓL!"                                              
 [55] "P"                                                                                                                                       
 [56] "HYUNDAI TUCSON 1.6 T-GDI hybrid Executive Plus (Automata) Készletről azonnal! 230LE Hybrid!"                                             
 [57] "HYUNDAI TUCSON 1.6 T-GDI hybrid Executive Plus (Automata) Készletről azonnal! 230LE Hybrid!"                                             
 [58] "P"                                                                                                                                       
 [59] "MERCEDES-BENZ C 220 T CDI BlueEFFICIENCY Avantgarde AMG LINE!!!HARMANKARDON!!GYÖNYÖRŰ ÁLLAPOT!!"                                         
 [60] "MERCEDES-BENZ C 220 T CDI BlueEFFICIENCY Avantgarde AMG LINE!!!HARMANKARDON!!GYÖNYÖRŰ ÁLLAPOT!!"                                         
 [61] "P"                                                                                                                                       
 [62] "OPEL MOKKA 1.2 T Edition Kiemelt akciós modell utolérhetetlen áron!!!Egyedi lízingakció!!!"                                              
 [63] "OPEL MOKKA 1.2 T Edition Kiemelt akciós modell utolérhetetlen áron!!!Egyedi lízingakció!!!"                                              
 [64] "P"                                                                                                                                       
 [65] "PEUGEOT 408 1.2 PureTech Allure Pack EAT8 TESZTAUTÓ! 2024 FEBRUÁRI ÁTVÉTELLEL!"                                                          
 [66] "PEUGEOT 408 1.2 PureTech Allure Pack EAT8 TESZTAUTÓ! 2024 FEBRUÁRI ÁTVÉTELLEL!"                                                          
 [67] "P"                                                                                                                                       
 [68] "SSANGYONG TIVOLI 1.5 GDi-T Style ÚJ FORMA. BEVÁLT TARTALOM RENDELJE MEG NÁLUNK AZ ÚJ TIVOLIT!"                                           
 [69] "SSANGYONG TIVOLI 1.5 GDi-T Style ÚJ FORMA. BEVÁLT TARTALOM RENDELJE MEG NÁLUNK AZ ÚJ TIVOLIT!"                                           
 [70] "P"                                                                                                                                       
 [71] "SSANGYONG TORRES 1.5 Turbo GDI Club MEGÉRKEZETT AZ ÚJ TORRES PRÓBÁLJA KI ÉS RENDELJE MEG NÁLUNK!"                                        
 [72] "SSANGYONG TORRES 1.5 Turbo GDI Club MEGÉRKEZETT AZ ÚJ TORRES PRÓBÁLJA KI ÉS RENDELJE MEG NÁLUNK!"                                        
 [73] "P"                                                                                                                                       
 [74] "AUDI A6 ALLROAD 55 TFSI quattro S-tronic EGYEDI SZÍN. BANG&OLUFSEN HIFI !!"                                                              
 [75] "AUDI A6 ALLROAD 55 TFSI quattro S-tronic EGYEDI SZÍN. BANG&OLUFSEN HIFI !!"                                                              
 [76] "P"                                                                                                                                       
 [77] "MAZDA CX-5 2.5i e-Skyactiv Homura AWD (Automata) NAVI! Márkakereskedésből!"                                                              
 [78] "MAZDA CX-5 2.5i e-Skyactiv Homura AWD (Automata) NAVI! Márkakereskedésből!"                                                              
 [79] "P"                                                                                                                                       
 [80] "KIA NIRO 1.6 GDI HEV Silver DCT"                                                                                                         
 [81] "KIA NIRO 1.6 GDI HEV Silver DCT"                                                                                                         
 [82] "P"                                                                                                                                       
 [83] "KIA XCEED 1.5 T-GDI X-Gold Készletről egyedi kedvezménnyel!"                                                                             
 [84] "KIA XCEED 1.5 T-GDI X-Gold Készletről egyedi kedvezménnyel!"                                                                             
 [85] "P"                                                                                                                                       
 [86] "SKODA SUPERB 2.0 TDI SCR Style 4x4 DSG Magyarországi!1.tul.!Végig vezetett szervizkönyv!"                                                
 [87] "SKODA SUPERB 2.0 TDI SCR Style 4x4 DSG Magyarországi!1.tul.!Végig vezetett szervizkönyv!"                                                
 [88] "P"                                                                                                                                       
 [89] "SKODA OCTAVIA 2.0 CR TDI Elegance Magyarországi!Kitűnő műszaki állapot!Vezetett szervízkönyv!"                                           
 [90] "SKODA OCTAVIA 2.0 CR TDI Elegance Magyarországi!Kitűnő műszaki állapot!Vezetett szervízkönyv!"                                           
 [91] "P"                                                                                                                                       
 [92] "MERCEDES-BENZ C 160 LED Fényszórók / AGILITY CONTROL futómű / Tolatókamera"                                                              
 [93] "P"                                                                                                                                       
 [94] "MERCEDES-BENZ CLA 200 Progressive 7G-DCT Magyarországi ISP"                                                                              
 [95] "P"                                                                                                                                       
 [96] "MERCEDES-BENZ C 180 9G-TRONIC Mild hybrid drive Újszerű. ÁFÁ-s! 9.99%THM"                                                                
 [97] "P"                                                                                                                                       
 [98] "MERCEDES-BENZ GLC 250 d 4Matic 9G-TRONIC 1.tulajd. vezetett szervizk! 9.99%THM"                                                          
 [99] "P"                                                                                                                                       
[100] "BMW X4 xDrive20d (Automata) Adaptív LED.Msport futómű.Akár 2év Garanciával!"                                                             
[101] "P"                                                                                                                                       
[102] "MERCEDES-BENZ A 180 d AMG Line 8G-DCT Mo.-i. Garanciális. ISP 2026.05.-ig. AMG Line. Panoráma tető"                                      
[103] "P"                                                                                                                                       
[104] "BMW 730d xDrive (Automata) Laser világítás.BowersWilkinson.HeadUPDisplay.Panoráma tető.akár 2 év Garanciáva"                             
[105] "P"                                                                                                                                       
[106] "MERCEDES-AMG A-OSZTÁLY AMG A 35 Magyar!"                                                                                                 
[107] "P"                                                                                                                                       
[108] "BMW 330e M Sport (Automata)"                                                                                                             
[109] "P"                                                                                                                                       
[110] "MERCEDES-BENZ EQA 250 Gyönyörű állapot. Gyári garancia 9.99%THM"                                                                         
[111] "P"                                                                                                                                       
[112] "MERCEDES-BENZ GLA 200 d Progressive Line 8G-DCT ÁFÁ-s / Hosszútávú bérleti lehetőség / Kedvező finanszírozási opciók!"                   
[113] "P"                                                                                                                                       
[114] "MERCEDES-BENZ S 560 4Matic 9G-TRONIC / Áfás / Garanciális / Sérülésmentes / Állófűtés / Iwc Schaffhausen analóg óra"                     
[115] "P"                                                                                                                                       
[116] "MERCEDES-BENZ GLC 300 de 4Matic 9G-TRONIC Plug-in hybrid ÁFÁ-S/Hosszútávú bérleti lehetőség!/Kedvező EUR alapú finanszírozási lehetőség!"
[117] "P"                                                                                                                                       
[118] "MERCEDES-BENZ GLC 300 de 4Matic 9G-TRONIC Plug-in hybrid ÁFÁ-s/ Hosszútávú bérleti lehetőség/ Kedvező finanszírozási opciók!"            
[119] "P"                                                                                                                                       
[120] "MERCEDES-BENZ GLE 350 de 4Matic 9G-TRONIC Plug-in hybrid 1.tulajd. vezetett szervizk. 9.99%THM!"                                         
[121] "P"                                                                                                                                       
[122] "MERCEDES-BENZ GLE 400 d 4Matic 9G-TRONIC ÁFÁ-s/ Garanciális. Integrált szerviz-csomag: 2026.12.hó-ig!"                                   
[123] "P"                                                                                                                                       
[124] "MERCEDES-BENZ S 400 d L 4Matic 9G-TRONIC Nettó ár: 42 511 811 Ft"                                                                        
[125] "P"                                                                                                                                       
[126] "OPEL CORSA F 1.2 BEST Magyarországon elsőnek forgalomba helyezett! Garanciális gépjármű"                                                 
[127] "P"                                                                                                                                       
[128] "SKODA OCTAVIA 1.0 TSI Ambition MAGYARORSZÁGI. 87694 KM. FÉNYEZÉSMENTES KAROSSZÉRIA. 3 ÉV GARANCIA!"                                      
[129] "P"                                                                                                                                       
[130] "HYUNDAI I30 1.6 T-GDi VEZETETT SZERVIZKÖNYV - PANORÁMATETŐ - 186LE - FŰTHETŐ KORMÁNY - 3 ÉV GARANCIA!"

Data from tables

A random example of car ad.

You can see that the data is tabulated on the page. This is the best option for us, as you don’t have to search for the item ID on the page one by one (as before with the ad title). You can simply apply the html_table function to a loaded page, which collects all the tables on the it.

car_url <- "https://www.hasznaltauto.hu/szemelyauto/suzuki/vitara/suzuki_vitara_1.4_hybrid_gl_plusz_akar_2.1_millio_ar-elony_plusz_0_thm-18561661#sid=662a20d7-dd8c-4ede-965c-8736e82d6024"

info_tables <- read_html(car_url) %>% 
  html_table(fill = TRUE)

info_tables
[[1]]
# A tibble: 44 × 2
   `Ár, költségek`                                               `Ár, költségek`
   <chr>                                                         <chr>          
 1 "Vételár:"                                                    "Ár nélkül"    
 2 "Általános adatok"                                            "Általános ada…
 3 "Átvehető:"                                                   "2023."        
 4 "Évjárat:"                                                    "2023"         
 5 "Állapot:"                                                    "Normál"       
 6 "Kivitel:"                                                    "Városi terepj…
 7 "Nemzetközi járműelőélet"                                     "Nemzetközi já…
 8 "Informálódj az alvázszámról a nemzetközi autó-előélet szolg… "Informálódj a…
 9 "Hazai járműelőélet"                                          "Hazai járműel…
10 "Informálódj az alvázszámról a magyarországi autó-előélet sz… "Informálódj a…
# ℹ 34 more rows

What is the type of info_tables? Since it collects all the tables it can find from the page, it is a list of data frames.

I will reveal that in some cases we will see that there are multiple tables on a page (certain types of info are taken separately) and we want to avoid an irrelevant single column table causing an error (step 1).

Our goal is to be able to gather all the data about the car into a single two-column table. To join all two column tables (step 3), they must also have the same name (step 2).

info_tables %>% 
  keep(~ ncol(.) == 2) %>%  # keep tables that have 2 columns
  map(set_names, "x", "y") %>%  # set the names to x and y for each table
  bind_rows() # join the tables to one sinle table
# A tibble: 44 × 2
   x                                                                       y    
   <chr>                                                                   <chr>
 1 "Vételár:"                                                              "Ár …
 2 "Általános adatok"                                                      "Ált…
 3 "Átvehető:"                                                             "202…
 4 "Évjárat:"                                                              "202…
 5 "Állapot:"                                                              "Nor…
 6 "Kivitel:"                                                              "Vár…
 7 "Nemzetközi járműelőélet"                                               "Nem…
 8 "Informálódj az alvázszámról a nemzetközi autó-előélet szolgáltatás ha… "Inf…
 9 "Hazai járműelőélet"                                                    "Haz…
10 "Informálódj az alvázszámról a magyarországi autó-előélet szolgáltatás… "Inf…
# ℹ 34 more rows

We see that this works, the output now is one single table. Lets use this method on all the links. To do this, we need to write a function.

get_data <- function(url_to_car) {
  url_to_car %>% 
    read_html() %>% 
    html_table(fill = TRUE) %>% 
    keep(~ ncol(.) == 2) %>% 
    map(~ set_names(., "x", "y")) %>% 
    bind_rows()
}
get_data(car_url)
# A tibble: 44 × 2
   x                                                                       y    
   <chr>                                                                   <chr>
 1 "Vételár:"                                                              "Ár …
 2 "Általános adatok"                                                      "Ált…
 3 "Átvehető:"                                                             "202…
 4 "Évjárat:"                                                              "202…
 5 "Állapot:"                                                              "Nor…
 6 "Kivitel:"                                                              "Vár…
 7 "Nemzetközi járműelőélet"                                               "Nem…
 8 "Informálódj az alvázszámról a nemzetközi autó-előélet szolgáltatás ha… "Inf…
 9 "Hazai járműelőélet"                                                    "Haz…
10 "Informálódj az alvázszámról a magyarországi autó-előélet szolgáltatás… "Inf…
# ℹ 34 more rows

The resulting table can all be collected in a single column of our table. Each cell will be a table that we all collected from a given link.

This can also take a serious amount of time if we want to retrieve data from hundreds of cars at once. You should always use only a few. Use the sample_n function to randomly select a few lines to test if everything works as expected.

cars_add_df %>% 
  sample_n(size = 3) %>% # remove this line at the end if everything is fine
  mutate(
    data = map(url_to_cars, get_data)
  )
# A tibble: 3 × 3
  url_to_cars                                                  ad_title data    
  <chr>                                                        <chr>    <list>  
1 https://www.hasznaltauto.hu/szemelyauto/peugeot/5008/peugeo… PEUGEOT… <tibble>
2 https://www.hasznaltauto.hu/szemelyauto/kia/niro/kia_niro_1… KIA NIR… <tibble>
3 https://www.hasznaltauto.hu/szemelyauto/toyota/auris/toyota… TOYOTA … <tibble>

Currently, our small table is also nested in a cell. Expand it!

cars_add_df %>% 
  sample_n(size = 3) %>% # remove this line at the end if everything is fine
  mutate(
    data = map(url_to_cars, get_data)
  ) %>% 
  unnest()
# A tibble: 107 × 4
   url_to_cars                                              ad_title x     y    
   <chr>                                                    <chr>    <chr> <chr>
 1 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Ala… "9 8…
 2 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Ext… "11 …
 3 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Akc… "9 8…
 4 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Akc… "Érd…
 5 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Vét… "€ 2…
 6 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Fin… "Fin…
 7 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Ált… "Ált…
 8 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Átv… "202…
 9 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Fut… "Új …
10 https://www.hasznaltauto.hu/szemelyauto/peugeot/3008/pe… PEUGEOT… "Évj… "202…
# ℹ 97 more rows

Now that we have a lot of rows instead of 3, the url in the first row is repeated as many times as the number of rows in the table next to it so far.

Since the x column now has the variable name and the y column has the value of the variable, we need another super useful function we’ve seen before: pivot_wider!

cars_add_df %>% 
  sample_n(size = 3) %>% # remove this line at the end if everything is fine
  mutate(
    data = map(url_to_cars, get_data)
  ) %>% 
  unnest() %>% 
  pivot_wider(names_from = "x", values_from = "y")
# A tibble: 3 × 55
  url_to_cars      ad_title `Alaptípus ára:` `Extrákkal növelt ár:` `Akciós ár:`
  <chr>            <chr>    <chr>            <chr>                  <chr>       
1 https://www.has… PEUGEOT… 9 840 000 Ft     11 700 000 Ft          9 840 000 Ft
2 https://www.has… MERCEDE… <NA>             <NA>                   <NA>        
3 https://www.has… MERCEDE… <NA>             <NA>                   <NA>        
# ℹ 50 more variables: `Akció feltételei:` <chr>, `Vételár EUR:` <chr>,
#   `Finanszírozás kalkulátor                    \n                \n            \n        \n    \n            \n            HIRDETÉS` <chr>,
#   `Általános adatok` <chr>, `Átvehető:` <chr>, `Futásidő:` <chr>,
#   `Évjárat:` <chr>, `Állapot:` <chr>, `Kivitel:` <chr>,
#   `Nemzetközi járműelőélet` <chr>,
#   `Informálódj az alvázszámról a nemzetközi autó-előélet szolgáltatás használatához!    \n    \n    \n        \n            Előélet lekérdezése` <chr>,
#   `Hazai járműelőélet` <chr>, …

The last thing that causes this headache for this task is the special characters used in the Hungarian language. The janitor, on the other hand, handles this smoothly as well.

We can now download all the cars if we wish!

cars_data_df <- cars_add_df %>% 
  mutate(
    data = map(url_to_cars, get_data)
  ) %>% 
  unnest() %>% 
  pivot_wider(names_from = "x", values_from = "y") %>% 
  janitor::clean_names()

Footnotes

  1. You can also use it on lists and vectors.↩︎